« 上一篇 网站文章内容编辑SEO技巧收藏:怎么用DOS命令删除WINDOWS服务器海量小文件 下一篇 »

SEO大烦恼:百度蜘蛛疯狂抓取 服务器当机!

所有SEO同仁都在追求百度蜘蛛的亲睐,唯恐百度蜘蛛不关顾网站。但是今天SEO祥子却碰到另类烦恼:百度蜘蛛疯狂抓取网站,导致单核+2GB内存的VPS主机连续当机数小时。看来,SEO们对百度蜘蛛的烦恼除了百度搜索引擎不来抓取网站,还有抓取频率过高!

而祥子目前并不准备采取更多的措施,权当百度蜘蛛对小站的一次“压力测试”。如果百度蜘蛛持续高频抓取,哥不得不降底它的频率。废话不多说,直接上图,有图有真相:

1)从百度站长工具“抓取频次”可见,昨天百度成功抓取104443次:


2)分析服务器日志可见,IIS日志录得百度蜘蛛抓取次数为108581,两处数据可验证百度实际抓取数据是准确的(其它爬虫情况:神马搜索683次,360好搜879次,谷歌搜索40389次,搜狗搜索5466次。 值得一提的是,谷歌曾经也是疯狂抓取本站达每天20万次以上,被祥子限制了抓取频率。):


3)从百度站长工具百度蜘蛛压力反馈页可见,百度目前对网站的抓取计划是每天417772次!没错,你没有看错,每天42万次抓取!百度这是不给我的服务器留生路呀!


4)由于百度的抓取,从GA谷歌分析数据可见,昨天至目前,网站一直处于卡顿状态,流量较平时更低,且期间有数小时当机:


5)做为深圳最牛逼的SEO之一,此时此刻,祥子我只想静静,不要问我静静是谁!





2017-04-08更新:


我了个去,上周再次全面升级服务器,随之而来,百度蜘蛛暴增。


2017-04-08单站蜘蛛,百度:386,592。