（这是一篇关于很枯燥的技术，很枯燥的历史文本，和不太枯燥的统计的 blog）
看过一篇关于《全宋词》词频统计文章，挺有趣的，想用类似的方法处理一下《资治通鉴》，所以就趁周末花了几个小时作了一下。
词是长短句，统计两个字组成的词频比较合适，《通鉴》是古文，文字结构不同，所以我统计了单字频，两字词词频，三字词词频，四字词词频，和五字词词频。同时也记录各个统计单位（字或词）出现的卷数。《通鉴》294卷，从三家分晋到五代结束共共1362年，所以卷数可以作为时间的度量。
《全宋词》的词频是用 R 作的。R 虽然是不错的统计软件，也是我的最爱之一，但是 R 并不适合作文本分析，更不适合来作数据库操作。所以就用了 C# 和 Kdb +3.0。 C# 用来分析文本，.Net 是懒人的福音，并且多线程运算非常简单，能够大大提升文本处理速度，Kdb+用来储存数据，它差不多是性能最好的 in-memory 数据库了，从它的网站上能下载到免费版本。这个分析里数据库是重头戏，因为需要查询数百万行的数据 row，如果用 MySQL，估计会龟速到死。另外 Kdb + 本身只有 300多K，不用安装，很方便。还有就是 Kdb+ 的 Q 语言也能满足编程需要。
Kdb+ 的网站提供了各种语言 API 的源码，C# 的 API 不支持多线程，所以需要在适当的地方加锁。Kdb 唯一的问题是不支持 UTF-8。它用的是 UTF-7，所以在注入中文文字数据的时候可能会出现乱码，为了省事，从 C# 里 publish 数据的时候，直接 publish 为三字节的 int[] 了。query kdb 时用了一个免费的 GUI QPad。QPad 似乎是用 Java 写的，它的编码默认是 UTF-8，所以在 query Kdb 的时候直接把三字节的 int vector cast 成 char，在 QPad 里显示的就是中文了，所以也很方便。
产生数据的 C# 代码非常简单，发布数据的时候自动生成 Kdb 的 schema。使用的《资治通鉴》的文本是网上广为流传的国学网简体版，在生成数据前，先用 C# 作了预处理，主要是用正则表达式替换掉了现代语言的“污染”（譬如：“后一页”，公元xxx年 等）
下表是各个字、词频的数据量：
| 类别 | 数据行数 |
| 单字 | 2,586,329 |
| 双字 | 2,102,023 |
| 三字 | 1,633,875 |
| 四字 | 1,221,713 |
| 五字 | 851,403 |
从上表看，《资治通鉴》应该有近两百六十万字。
单字的字频统计如下：
| 排名 | 字 | 次数 | 百分比 | 累积百分比 |
| 1 | 之 | 66087 | 2.56% | 2.56% |
| 2 | 以 | 39874 | 1.54% | 4.10% |
| 3 | 为 | 35677 | 1.38% | 5.48% |
| 4 | 不 | 34376 | 1.33% | 6.81% |
| 5 | 王 | 21578 | 0.83% | 7.64% |
| 6 | 曰 | 21279 | 0.82% | 8.46% |
| 7 | 于 | 20182 | 0.78% | 9.24% |
| 8 | 其 | 20100 | 0.78% | 10.02% |
| 9 | 人 | 19035 | 0.74% | 10.76% |
| 10 | 将 | 18209 | 0.70% | 11.46% |
| 11 | 军 | 18083 | 0.70% | 12.16% |
| 12 | 使 | 17160 | 0.66% | 12.82% |
| 13 | 州 | 16116 | 0.62% | 13.45% |
| 14 | 大 | 16031 | 0.62% | 14.07% |
| 15 | 子 | 15600 | 0.60% | 14.67% |
| 16 | 而 | 15558 | 0.60% | 15.27% |
| 17 | 上 | 15252 | 0.59% | 15.86% |
| 18 | 兵 | 14746 | 0.57% | 16.43% |
| 19 | 者 | 12826 | 0.50% | 16.93% |
| 20 | 有 | 12536 | 0.48% | 17.41% |
“之”字当之无愧的排在了第一位。第一个非虚词是“王”，它包含了姓和爵位，第一个动词是“曰”。“人”的频率也很高，“将”，“军” 在双字词频中也会遇到。“帝”字排名32，“后”字排名33。但是因为是简体字，“后”并不专指皇\王后。
下面是价值观念的排名：
| 排名 | 字 | 次数 | 百分比 |
| 152 | 义 | 3507 | 0.14% |
| 181 | 忠 | 3004 | 0.12% |
| 223 | 孝 | 2475 | 0.10% |
| 240 | 礼 | 2287 | 0.09% |
| 253 | 信 | 2190 | 0.08% |
| 294 | 仁 | 1935 | 0.07% |
| 767 | 智 | 694 | 0.03% |
义、忠、孝排名在前，智排名最后，倒正印证了司马温公那句话：“凡取人之术，苟不得圣人、君子而与之，与其得小人，不若得愚人。”当然这个数据里噪音很多。
另外还有很多有趣的东西，就不一一叙述了。下面看一下两个字的词频：
| 排名 | 词 | 最早卷数 | 次数 | 百分比 |
| 1 | 将军 | 1 | 6,176 | 0.29% |
| 2 | 刺史 | 21 | 4,790 | 0.23% |
| 3 | 州刺 | 21 | 4,110 | 0.20% |
| 4 | 节度 | 29 | 3,698 | 0.18% |
| 5 | 以为 | 1 | 3,479 | 0.17% |
| 6 | 度使 | 203 | 3,202 | 0.15% |
| 7 | 天下 | 1 | 2,972 | 0.14% |
| 8 | 尚书 | 20 | 2,742 | 0.13% |
| 9 | 太子 | 1 | 2,584 | 0.12% |
| 10 | 陛下 | 6 | 2,492 | 0.12% |
| 11 | 不能 | 1 | 2,375 | 0.11% |
| 12 | 不可 | 1 | 2,351 | 0.11% |
| 13 | 太后 | 3 | 2,165 | 0.10% |
| 14 | 皇帝 | 6 | 2,050 | 0.10% |
| 15 | 太守 | 5 | 2,010 | 0.10% |
| 16 | 大将 | 6 | 1,813 | 0.09% |
| 17 | 遣使 | 4 | 1,501 | 0.07% |
| 18 | 司马 | 1 | 1,480 | 0.07% |
| 19 | 二月 | 4 | 1,477 | 0.07% |
| 20 | 馀人 | 2 | 1,463 | 0.07% |
“将军”出现的频率最高，在第一卷里就出现了，“度史”显然是“节度使”里出现的，虽然在203卷才出现，但是它居然出现了3202次，唉，唐朝啊！“节度”一次出现的要比“节度使”早。“皇帝”一次最早在第6卷出现，其实那时还是昭襄王元年，但是因为文本中出现了“秦始皇帝上”。
两字地名出现的最多的是“长安”，排名43，最早出现在第5卷，不过那里的“长安”并不是长安城，而是赵国的长安君。“洛阳”其次，排名81，最早出现在第2卷，三家分晋不久，洛阳附近就成了三晋与秦国的战场。
三个字的词频：
| 排名 | 词 | 最早卷数 | 次数 | 百分比 |
| 1 | 州刺史 | 21 | 4102 | 0.25% |
| 2 | 节度使 | 210 | 3195 | 0.20% |
| 3 | 大将军 | 6 | 1547 | 0.09% |
| 4 | 平章事 | 203 | 933 | 0.06% |
| 5 | 同平章 | 203 | 901 | 0.06% |
| 6 | 十二月 | 4 | 704 | 0.04% |
| 7 | 之子也 | 13 | 700 | 0.04% |
| 8 | 十一月 | 7 | 686 | 0.04% |
| 9 | 部尚书 | 70 | 655 | 0.04% |
| 10 | 指挥使 | 254 | 578 | 0.04% |
比较有趣的是“之子也”，老子英雄儿好汉。
四字字频：
| 排名 | 词 | 最早卷数 | 次数 | 百分比 |
| 1 | 同平章事 | 203 | 900 | 0.07% |
| 2 | 仪同三司 | 49 | 403 | 0.03% |
| 3 | 都指挥使 | 254 | 374 | 0.03% |
| 4 | 日有食之 | 1 | 368 | 0.03% |
| 5 | 中书侍郎 | 73 | 325 | 0.03% |
| 6 | 节度使李 | 217 | 312 | 0.03% |
| 7 | 散骑常侍 | 69 | 308 | 0.03% |
| 8 | 开府仪同 | 79 | 300 | 0.02% |
| 9 | 府仪同三 | 79 | 283 | 0.02% |
| 10 | 御史大夫 | 9 | 281 | 0.02% |
鉴于“州刺史”在三字字频中频繁出现，所以频率出现比较高的各个州刺史的频率单列出来：
| 排名 | 词 | 最早卷数 | 次数 | 百分比 |
| 15 | 豫州刺史 | 58 | 220 | 0.02% |
| 19 | 荆州刺史 | 49 | 195 | 0.02% |
| 26 | 兗州刺史 | 37 | 172 | 0.01% |
| 32 | 徐州刺史 | 30 | 167 | 0.01% |
| 38 | 扬州刺史 | 24 | 152 | 0.01% |
| 42 | 雍州刺史 | 65 | 147 | 0.01% |
| 52 | 江州刺史 | 86 | 122 | 0.01% |
| 64 | 益州刺史 | 39 | 113 | 0.01% |
| 68 | 二州刺史 | 49 | 111 | 0.01% |
| 74 | 秦州刺史 | 79 | 109 | 0.01% |
| 101 | 青州刺史 | 21 | 91 | 0.01% |
| 105 | 梁州刺史 | 84 | 90 | 0.01% |
| 107 | 冀州刺史 | 27 | 88 | 0.01% |
| 114 | 并州刺史 | 52 | 84 | 0.01% |
| 135 | 凉州刺史 | 31 | 71 | 0.01% |
| 165 | 幽州刺史 | 50 | 62 | 0.01% |
| 196 | 广州刺史 | 80 | 55 | 0.00% |
豫州刺史第58卷时才登场，但是雄踞第一，而豫、荆、兖、徐、扬也勾勒出了中国政治地理的热点。顺便提一句，最早登场的豫州刺史是王允，而最早登场的荆州刺史是杨震。
五字词已经没有太大的意义：
| 排名 | 词 | 最早卷数 | 次数 | 百分比 |
| 1 | 府仪同三司 | 79 | 283 | 0.03% |
| 2 | 开府仪同三 | 79 | 283 | 0.03% |
| 3 | 尚书左仆射 | 77 | 167 | 0.02% |
| 4 | 皇帝上之下 | 10 | 140 | 0.02% |
| 5 | 为中书侍郎 | 84 | 118 | 0.01% |
| 6 | 尚书右仆射 | 81 | 115 | 0.01% |
| 7 | 军都指挥使 | 256 | 111 | 0.01% |
| 8 | 骠骑大将军 | 39 | 107 | 0.01% |
| 9 | 河东节度使 | 214 | 101 | 0.01% |
| 10 | 督中外诸军 | 74 | 97 | 0.01% |
最后看看慕容家的英杰们谁的全名被提到的次数最多：
| 词 | 次数 |
| 慕容彦超 | 27 |
| 慕容垂 | 26 |
| 慕容廆 | 24 |
| 慕容绍宗 | 15 |
| 慕容恪 | 18 |
| 慕容评 | 18 |
| 慕容皝 | 17 |
| 慕容农 | 15 |
| 慕容翰 | 15 |
| 慕容仁 | 12 |
| 慕容白曜 | 10 |
似乎是慕容彦超险胜慕容垂……慢着！慕容垂最初的名字是慕容霸，而慕容霸被提及了10次，所以慕容垂以 36 次远远胜出 （慕容缺这个全名并没有出现在《通鉴》中：））。