Web数据采集工具分享

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

有一个免费的用于数据挖掘和情报采集的网页数据抓取工具MetaSeeker，能够精确地将网页内容转换成结构化数据，抓取到的数据存成XML文件，含有语义元数据，便于数据挖掘和数据集成。源代码开放，可以看到设计思路很独特，重在互联网内容的语义标注以促进现有互联网内容向语义网络时代迁移。

MetaSeeker是个工具包，里面有三个软件工具：
1，MetaStudio，网页内容语义标注工具，根据语义标注自动生成数据抓取规则，图形界面免编程
2，DataScraper，网站数据抓取工具，用定题网络爬虫连续大批量抓取网页内容并结构化，采用一个十分精巧的工作流引擎驱动
3，SliceSearch，异构数据对象综合搜索引擎，可以快速部署垂直搜索、综合搜索、对象搜索、实时搜索等，是一个对象管理系统

MetaSeeker从GooSeeker网站（ [url=http://www.gooseeker.com]http://www.gooseeker.com[/url] ）免费下载，此网站是一个关于信息采集、数据挖掘和网络内容著作权的知识共享平台。

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏3 回帖

关键词：Web数据采集 数据采集 WEB Studio search 数据挖掘 Web数据采集 共享软件

好，顶一下

是在做市场推广的广告吗？

进去看了一下，没有免费的下载吧？

网站上有下载链接：http://www.gooseeker.com/cn/node/download/front

只是这个页面上的文字有点多，要看明白怎样下载，文字中有个链接。

我现在就用这个工具在做open souce intelligence，我有个课题，一直没有下定决心做，我怕被巨头封杀，主要想提取搜索引擎的搜索结果挖掘出一些搜索引擎营销的情报，今天跟几个高手讨论了半天也没有结果，我担心这是对搜索引擎的索引的一个局部的反向工程。

3# appher

进去看了一下

转眼过了6年，我的帖子还在，还有4000多浏览量，也是蛮开心的。回顾过去的6年，我竟然一直在做web数据挖掘，坚持实现自己的价值。现在是大数据时代了，我把自己的软件和技能想象成一块砖块，希望大家能够用他们建设自己的大数据大厦。

我认为自己目前在走第三个阶段——社区化阶段：集搜客GooSeeker正在将大数据具象化和亲民化——凝炼成多层面的大数据资源，让最广泛的人可以利用大数据：
集方法——大数据应用场景、分析模型、研究报告，以及Web数据挖掘攻略
集数据——集搜客网络爬虫软件
集工具——天据棱镜系列软件（中文信息处理和商业情报挖掘）、天据天眼系列软件（电商营销和经营分析）
集朋友——大数据挖掘互助平台