发帖
雷达卡
1：最近在某互联网营销社区看到一个帖子(光年社区)，讲的是网站抓取下降的厉害，缩水9成。题主之言是网站使用了CDN的问题，理由也很直白：cdn的动态ip造成百度蜘蛛抓取困难，导致收录下降。
2：前段时间，Seo party QQ群的某小伙伴网站联通出现问题，我顺便ping了一下域名，发现前后10分钟内其ip变了3次。当时颇为惊讶，细想一下肯定也是cdn惹的祸。
那么问题来了：是否应该对网站设置cdn服务?
正方观点：
雅虎作为搜索服务的先驱，在网站使用cdn服务上还是比较推崇的。对于web前端来说，网站页面加载速度是十分重要的。这也体现了搜索引擎排名为人服务的精神，毕竟一个打开都费劲的页面，首先就会流失相当一部分用户，起码展示率是很有问题的，更遑论转化率了。
网页前端制作人员都熟悉的一项内容就是“雅虎军规”，其中就直言，应该对于网站应用cdn服务，以便于不同区域用户都可以不受地域网络环境的影响，流畅的访问网站。
Yslow——一款源于雅虎军规而设计的用以检测页面加载速度的浏览器插件，其中更是将cdn服务作为其一项评分标准。
反方观点：
百度作为国内互联网搜索的唯一巨头，无疑在业内具备独一无二的话语权。在百度spider工程师有关cdn问题的回答中，我们能够提取出以下信息：
Cdn的动态ip确实无法被baiduspider有效抓取，原文搬运如下：“CDN这 里存在一个问题：不同的CDN服务商在全国分布的节点数不同，站点在使用CDN服务时，同一地区CDN给蜘蛛返回的IP地址要和给用 户的一致。那么现实 情况是，部分CDN服务商出于成本考虑与资源使用率的问题，会在不告知用户的情况下变更IP地址以节约成本，这样就导致蜘蛛在去抓的时 候，会遇到新IP 和老IP的问题，在站点没有告知更换IP的情况下，蜘蛛会认为站点目前存在问题，首先是减少抓取量，其次会判断是否把不可访问的页面下掉。”
百度给出的建议是利用站长平台对于ip变更的情况作为错误报告提交给百度：
恕搜索引擎排名小编吐槽：cdn服务商随意变更ip的问题很明显是基于其运营能力的不足，这种本来就 带有随意性的行为，一般都不会负责任的告知网站站长，那么对于站长而言又如何监督呢?而且cdn节点千千万，谁又能不遗余力的投入如此大的精力来对付费服 务进行人为监管，并实时提交百度处理。?明显这种方法是不具备操作性的。
总结陈词：
对于必须使用cdn服务的网站，尽量选择口碑和实力俱佳的cdn服务商，提高cdn服务的稳定性，不至于太过频繁和随意的变更ip。
百度应该改善抓取策略，毕竟依靠ip段给蜘蛛分配抓取任务的模式，似乎不太合理。毕竟 依靠url抓取页面信息才是搜索原理的基础，这种跳过解析的方法或许技术上没有问题，但是作为seoer的我怎么感觉有点别扭.
京公网安备 11010802022788号
