« 上一篇 SEO顾问服务协议模版分享:访问不了Google Analytics请设置google映射IP 下一篇 »

SEO案例:新站上线一小时各大搜索引擎抓站效率与特点

如果问SEO或站长们一个问题:网站上线后第一件事应该干什么?
我相信很多SEOer们的回答不外呼是“发表原创文章”、“站外推广”之类。但是SEO祥子在这里给大家另外一个方向,供各位建站后参考:网站上线第一件事,应该先查看WEB日志文件,分析各大搜索引擎对新站的反应,并针对WEB日志找出某些问题并制定针对不同搜索引擎的优化策略。

当然,我们建站前对网站肯定进行过多次优化与测试,相信在功能上应该没有问题。但是网站的结构、链接、robots.txt等设置直接影响到是否对搜索引擎友好。SEO祥子博客www.seoxiangzi.com在约一个半小时前开始解析,在一个小时前解析生效(本人所在地区是深圳)。解析生效后,手动将网站提交给了GOOGLE、BAIDU、BING、YAHOO、搜狗、搜搜、有道、中国搜索等搜索引擎。

我们先来看一下新站上线一小时内,哪些搜索引擎来爬站了:

1、百度搜索引擎(爬虫名称BaicuSpider):7个;
2、谷歌蜘蛛程序(GoogleBot):共抓取34个URL;
3、BING搜索(Msnbot, Bingbot):Msnbot抓取4个URL,没有bingbot的爬站记录;
4、其它搜索引擎均没有来抓取我的博客。
从此案例可见,新站的爬站效率最高的依次是:谷歌,百度,必应,其它搜索引擎。


各搜索引擎第一次抓取网站哪些内容,该如何有针对性优化?

Google新站抓取特点及新站优化重点:

  首先抓取/robots.txt,然后多次更新RSS页面(共12次),其次抓取首页,最后抓取二次页面(共20个)。
可见,针对谷歌搜索引擎的优化,robots.txt与rss比较重要。因为google遵守robots协议的程度比较高,googlebot爬行任何一个网站都是从robots.txt开始。网站想在google搜索里取得比较好的表现,robots.txt文件是比较重要的,它直接明确的告诉googlebot抓取网站的权限,很大程度上提高爬虫的效率。接下来是rss,同样,一个良好的rss相当于给搜索引擎一个更新的URL地图,为以后搜索引擎更快的更新网站内容提供了指引。

BAIDU蜘蛛程度抓取新站的特点:

baiduspider抓站则比较直白-- 抓取首页,不断的抓取首页,在SEO祥子博客上线1小时内共抓取了7条记录,全站是首页!这可能意味着两点:第一是百度是个比较保守的网站,对新网站的认可不是那么容易;第二,如果你的网站没什么外链,baiduspider是不会更新你网站内页的!OK,多给百度一点时间,发展外链,做原创内容吧!

Msnbot对新网站的特点:

看起来,Msnbot跟Googlebot的习性更为相似。msnbot共抓取4页次:robots.txt与rss各两次。可见Msnbot收录新的特点介于Google与Baidu之间。奇怪的是,Bing曾在2010年发布公告称Bingbot将取代Msnbot,但是时下已是2013年3月,为何它的爬站蜘蛛仍然叫做Msnbot,这是题外话,以后有机会再研究。