避免蜘蛛陷阱的技巧

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

避免蜘蛛陷阱的技巧
　　蜘蛛陷阱是阻止蜘蛛程序爬行网站的障碍物，虽然网页界面看起来
非常正常，但这些蜘蛛陷阱会对蜘蛛程序造成障碍。哪些做法不利于蜘
蛛爬行和抓取呢
?怎么去避免这些蜘蛛陷阱呢
?下面随小编来了解一下
!　　1、登录要求
　　有些企业站和个人站设置一定要用户注册登录后，才能看到相关
的文章内容，这种对蜘蛛不是很友好，因为蜘蛛无法提交注册，更无法
输入用户名和密码登录查看内容。对于蜘蛛来说，用户直接点击查看到
的内容也是蜘蛛所能看到的内容。如果你的网站有这种情况，请取消这
一功能，但网站如果有
VIP用户或部分资源，是可以这样设置的。
　　2、动态URL　　动态
URL可以简单理解为在
URL中加入过多的符号或者网址参
数，虽然随着搜索引擎的技术发展，动态
URL对于蜘蛛的抓取已经越
来越不是问题了，但是从搜索引擎友好度上讲，静态哪陷是伪静态相对
来说都比动态
URL要好。URL优化将在本章第
6节中讨论。
/　　3、强制用
Cookies
　　强制用
Cookies
对于搜索引擎来说相当于直接禁用了
Cookies
，而有些网站为了实现某些功能。会采取强制
C ...

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：cookies Cookie 搜索引擎 Cook 技术发展