发帖
雷达卡
近来热议“东风何处是人间”，具体背景可以google之。
不用分词的蛮力统计规律是很赞的想法，这方法也是基于数学和统计研究文学的基本方法吧，纯属外行之言。
闲来无事，用SAS模仿之，取字长为2和3的所有词组，考虑标点的短句。文本使用随便下载的《全宋词》。由于没有做很精细的排版读入，所以有部分词牌名以及乱码出现，但是无关大局。仅供参考，希望博君一笑。
以下是2，3字长各自的出现频率top20排名
词 频数 排名
东风 1329 1
何处 1186 2
人间 1151 3
风流 818 4
归去 797 5
春风 779 6
西风 759 7
归来 743 8
相思 727 9
江南 713 10
梅花 697 11
千里 654 12
回首 633 13
明月 631 14
如今 628 15
多少 627 16
阑干 602 17
万里 583 18
一笑 574 19
年年 570 20
正道是：东风何处是？人间风流归去。春风西风？归来相思！江南梅花，千里回首望明月......
词 频数 排名
倚阑干 114 1
知何处 96 2
广寒宫 91 3
到如今 89 4
东风吹 84 5
水调歌 75 6
留不住 75 7
调歌头 73 8
人何处 73 9
三十六 70 10
有谁知 70 11
歌头（ 67 12
西风吹 64 13
云深处 63 14
人不见 62 15
人间世 60 16
不知何 56 17
满江红 55 18
不如归 54 19
与谁同 54 20
这个会有词牌名出现，读入太粗糙了......
附上代码，无注释，清吐槽......
代码：
data a;
infile "E:全宋词.txt";
input x:$1.;
str=compress(_infile_);
if kindex(str,"，") or kindex(str,"。");
keep str;
run;
data _null_;
if _N_=1 then do;
declare hash myhash();
myhash.definekey("y");
myhash.definedata("y","cnt");
myhash.definedone();
end;
set a END=EOF;
h=1;
do until (compress(kscan(str,h,"，。、")=""));
x=kscan(str,h,"，。、");
do i=1 to klength(x);
do j=2 to min(3,klength(x)-i+1);
y=ksubstr(x,i,j);
rc=myhash.find();
if rc then do;
cnt=1;
rc=myhash.add();
end;
else do;
cnt+1;
rc=myhash.replace();
end;
end;
end;
h+1;
end;
if EOF then do;
rc=myhash.output(dataset:"b");
end;
run;
京公网安备 11010802022788号
