请教大家，如何做到这种识别和匹配？

相似文件 换一批

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

请教大家，如何做到这种识别和匹配？
1、原始数据


2、字典


3、预期效果

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：原始数据 如何

　　SAS新手，表示没有什么思路可以直接编程实现，坐等大神解答；

　　从楼主提供的数据来看，都是非结构化的数据，想要直接进行匹配感觉有难度，一点解决思路是先对数据进行预处理，转换成结构化数据，比如

　　table1
　　name    place
　　A公司　海淀　
　　B公司　和平
　　C公司　玄武
　　．．．

　table2
　　province    city    place
　　北京      　北京　东城
　　北京      　北京　西城
　　．．．
　　天津      　天津　和平
　　．．．


之后使用SAS merge语句等进行匹配合并就是了，如果数据量小的话，感觉可行，如果数据量大的话，就不好说了，坐等大神

　　

冯枫Fery 发表于 2016-4-29 09:08
　　SAS新手，表示没有什么思路可以直接编程实现，坐等大神解答；

　　从楼主提供的数据来看，都是非结构 ...

数据量比较大，可能只能采用自动提取关键词，然后再识别，才能做到。

可以试试如下思路。
1. 将字典的表转成 long_table， 即每一个县区为一行
2. 将这个 long_table 定义为数据步的 hash-table
3. 对hash table 做循环 (iterate), 用find()函数查找匹配的县区名
4. 用 output 输出找到的县区名

yongyitian 发表于 2016-5-2 05:22
可以试试如下思路。
1. 将字典的表转成 long_table， 即每一个县区为一行
2. 将这个 long_table 定义为数 ...

非常感谢您的帮助。

yongyitian 发表于 2016-5-2 05:22
可以试试如下思路。
1. 将字典的表转成 long_table， 即每一个县区为一行
2. 将这个 long_table 定义为数 ...

更倾向于join

最后一步需要仔细检查duplication，手动选择

teqel 发表于 2016-5-2 10:46
更倾向于join

最后一步需要仔细检查duplication，手动选择

不同省市下的相同地名需要在后处理时清理.

1. data company;
   
2. input name $  place $30.;
   
3. datalines;
   
4. CompanyA   HaiDianQuZhongGuanCun
   
5. CompanyB   BeiFangHePingDongDaJie
   
6. CompanyC   TianJinXuanWuQuJieFangLu
   
7. CompanyD   JiangSuShengYeYanErZu
   
8. CompanyE   FengXianBaiHuoDaLou
   
9. CompanyF   TianTianYiXingZhuangDaSha
   
10. ; run;
    
11. 
    
12. data dic;
    
13. input Provience $   DiShi $  XianQU & $200. ;
    
14. datalines;
    
15. BeiJing   BeiJing   DongCheng|XiCheng|ChongWen|HaiDian
    
16. TianJin   TianJin   HePing|HeDong|HeXi|NanKai|HeBei|NHongQiao|TangGu
    
17. JiangSu   NanJing   XuanWu|BaiXia|QingHuai|JianAn|GuLou|XiaGuan
    
18. JaingSu   WuXi      TaiAn|NanChang|BeiTang|BinHu|XiShang|JiangYin|YiXing
    
19. JiangSu   XuZhou    YunLong|JiuLi|JiaWang|FengXian|PeiXian|TongShan
    
20. JiangSu   ChangZhou ZhongLou|TianNing|QiYeNian|XinBei|WuJin
    
21. JiangSu   SuZhou    JinLan|CangLang|PingJiang|HuQiu
    
22. ; run;
    
23. 
    
24. data dic_long;
    
25.    set dic;
    
26.    length a1 $20;
    
27.    i=0;
    
28.    do until(a1 = " ");
    
29.    i+1;
    
30.    a1 = scan(XianQU, i, "|");
    
31.    if not missing(a1) then output;
    
32.    end;
    
33.    drop XianQU i;
    
34. run;
    
35. 
    
36. data want;
    
37. if _n_ = 1 then do;
    
38. length provience $8 dishi $8 a1 $20;
    
39.    declare hash h (dataset: "dic_long");
    
40.    declare hiter h_iter ("h");
    
41.       h.defineKey('a1', 'Provience', 'DiShi');
    
42.       h.defineData('Provience', 'DiShi', 'a1');
    
43.       h.defineDone();
    
44.    call missing(Provience, DiShi, a1);
    
45. end;
    
46.   set company;            
    
47.   rc = h_iter.first();
    
48.   do while (rc=0);
    
49.    if find(place, compress(a1) ) then output;
    
50.   rc = h_iter.next();
    
51.   end;
    
52.   drop rc;
    
53. run;

复制代码