SEO祥子博客

深圳SEO顾问|SEO专家|深圳SEO优化|搜索引擎优化SEO|网站SEO数据分析|SEO外包服务。

一文看懂robots怎么写:蜘蛛协议robots.txt写法实例详解

robots.txt是SEO同行们在制定一个网站优化方案时需要首要考虑的一个问题,任何网站进行SEO优化前,你需要首先写一个非常规范的robots.txt。robots怎么写,这几乎是你制定SEO优化方案、提升你网站SEO表现最具性价比的工作,没有之一。robots.txt是什么?robots.txt(统一小写)是一种存放于网站根目录下的ASCII编码的文本文件(其实UTF-8也没任何问题),它通常告诉网络搜索引擎的漫游器(又称网络蜘蛛),此网站中的哪些内容是不应被搜索引擎的漫游器获取的,哪些是可以被漫游器获取的。因为一些系统中的URL是大小写敏感的,所以robots.txt的文件名应统一为小写。robots.txt应放置于网站的根目录下。如果想单独定义搜索引擎的漫游器访问子目录时的行为,那么可以将自定的设置合并到根目录下的robots.txt,或者使用robots元数据(Metadata,又称元数据)。


Robots协议

SEO常识:不同HTTP返回码搜索引擎如何处理

HTTP常见返回状态表现在用户端通常是网页能打开、网不能访问。页反馈在搜索引擎的蜘蛛程序则会表现在具体的状态码,如我们通常知道的:200表示正常访问、301为永久重定向、302临时重定向、404页面无法访问、501服务器故障 等等。那么,搜索引擎蜘蛛发起访问时,对于不同的HTTP返回状态是如何处理呢?2xx(200访问成功):HTTP 结果代码,表示成功的“有条件地允许”抓取结果。3xx(访问被重定向):一般情况下,系统会跟踪重定向,直到发现有效的结果(或确认出现循环)。我们会跟踪有限次数的重定向(适用于 HTTP/1.0 的 RFC 1945 最多允许 5 次重定向),然后便会停止,并将其处理为 404 错误。我们并未定义如何处理指向禁止网址的 robots.txt 重定向,并且不建议用户这么做。同样,我们也未定义如何根据返回 2xx 的 HTML 内容处理 robots.txt 文件的逻辑重定向(框架、JavaScript 或元刷新型重定向),并且不建议用户这么做。

【谷歌蜘蛛名称大全】绝对不仅仅只是你知道的Googlebot

正如所有国内SEO所知,百度蜘蛛名称叫作BaiduSpider,而谷歌蜘蛛名称叫作GoogleBot。但是不限于此,谷歌不同产品的抓取UA(User-Agent)是不一样的。可以理解为每个产品都是独立项目在运行。当然,它们的名称也可能是一样,比如谷歌PC版蜘蛛和移动端蜘蛛的名称都是Googlebot。以下为谷歌所有产品抓取工具的蜘蛛名称(谷歌官方称之为:用户代理令牌或产品令牌)与User-Agent(完整的用户代理字符串)。

抓取工具
(产品)

用户代理令牌
(产品令牌)(蜘蛛名称)

SEO行业

2019年四大SEO行业趋势

1、语音搜索;2、品牌打造和转化;3、用户体验;4、网站安全。

SEO全国

SEO(Search Engine Optimization):

SEO汉译为搜索引擎优化。是一种方式:利用搜索引擎的规则提高网站在有关搜索引擎内的自然排名。目的是:为网站提供生态式的自我营销解决方案,让其在行业内占据领先地位,获得品牌收益;SEO包含站外SEO和站内SEO两方面;为了从搜索引擎中获得更多的免费流量,从网站结构、内容建设方案、用户互动传播、页面等角度进行合理规划,还会使搜索引擎中显示的网站相关信息对用户来说更具有吸引力。

最新爬虫漏洞研究:利用谷歌Googlebot实现XSS攻击

所有的SEO从业者,尤其是早期谷歌尚未退出中国市场就进入SEO行业或英文网站SEO人员可能对谷歌搜索引擎的一些特性会很了解。区别于国内诸如百度、360等搜索引,谷歌有一个非常明显的特点:对网页的抓取和收录有着非常高的开放度。讲人话:谷歌更容易收录你的网页!不要以为SEO祥子跑题了。本文探讨主题是“谷歌Googlebot XSS攻击漏洞”。而这个漏洞利用过程确实以谷歌的收录速度作为一个前提。如果谷歌跟百度或其它搜索引擎一样,对网页的索引具有较高的门槛,那么网络攻击者或许很难利用这个漏洞并给其它用户带来风险。


Mobile-first indexing enabled for anywebsite--英文站谷歌SEO值得拥有

根据SEO祥子对谷歌搜索引擎排名算法的观察与分析,谷歌大约于2015年开始非常重视网页在使用移动设备访问时的用户体验。对于在移动设备(手机、平板电脑)上访问用户体验优秀的网站,往往能轻易的获取更好的搜索排名与谷歌搜索流量。如果有一天,你的谷歌网站管理员账户收到一封标题为“Mobile-first indexing enabled for anywebsite”的邮件(anywebsite指你的域名),那么恭喜你!你的网站已经获得谷歌移动设备访问友好性的认可,你将会更容易获量谷歌移动端的搜索流量。


SEO关于内容的困惑:专注原创OR采集伪原创?

SEO业内盛传所谓的“内容为王 外链为皇”,这里的内容当然说的是原创内容。那么,你一定会迷惑:中文网站排名中里的网站,并没有哪个网站是可以显著看得出是“专注提供高同量原创内容”的? (当然,这里还存一个问题是部分网站并不以百度或其经搜索引擎做为主要引流渠道 。)【今天不想写了,下次继续,是个很有意思的话题,我一定会再补充    】

百度收录做到1818万后:我还在等你,百度!

最近听SEO圈内盛谈百度又推出某算法2.0更新上线。嗯,又“上线”,那哥的网站又该涨指标了!因为我维护的网站,一般都是尽可能按照最完美的搜索引擎为标准来策划并执行的,而并不是针对“现在的”百度。所以,要个算法升级意味着更符合完美搜索引擎规则的网站会取得更好的表现。没错,在这个XX算法2.0上线的第二天,哥的个人站在百度站长资源平台可查到索引量涨了,由之前一直稳定的1550万左右增长至1753万。同样的套路,应该会有同样的结果:小站在百度的收录量在1550万维持了近一年时间后,终于,即将大幅增长!



随笔:网站稳定性对SEO排名还是很重要的

在深圳SEO交流群里看到多位业界高手在群里吹水,各自博客都是百度深圳SEO排名首页的主。哥忧伤的查了下,深圳SEO,祥子博客第41位!哥虽然鲜有精力维护博客,平均一个月写不了一篇文章,有时发点内容还是转载的,但是哥曾经死守 深圳SEO 这个词的百度首页2-3位。为什么排名为个呢?原因很简单,事情是这个样子:大概在2017年初,博客被一个BC平台入侵,被植入木马病毒,网站全被改成了一些敏感的内容。正如前面说的博客很少维护,所以这种情况大概维持了一周左右,然后博客的排名一去不复返。

«1234567»
最近发表
本月最热文章
最新留言
控制面板
Tags列表
关于SEO栏目:
SEO祥子是知名的深圳SEO专家,为众多大中型互联网企业提供SEO顾问服务,SEO栏目旨在与同行们交流SEO经验与技巧。本栏目主要内容包括:SEO经验,seo技术,SEO技巧,百度SEO,seo搜索引擎优化 ,seo搜索优化,seo网站优化等。

Powered By Z-Blog 2.1 Phoenix Build 130128

SEO祥子博客: 是一个分享SEO经验,关注搜索引擎算法、网站分析、WEB趋势、建站与运营的博客。是一个值得搞网站的人关注的原创SEO博客。
SEO祥子是知名的深圳SEO顾问与搜索引擎优化专家,曾任职于日IP超十万级网站的SEO总监,目前没时间承接深圳SEO外包项目与各种SEO顾问服务。祥子SEO博客是一个分享深圳SEO技术、深圳SEO优化技巧、SEO数据分析技术的SEO博客。SEO全国 SEO行业
导航: 1 50 150 250 350 450 550 650 750 850 950 1050 1150 1250 1350 1450 1550 1650 1750 1850 1950 2050 2150 2250 2350 2425
| QQ:50208986 | SEO祥子 在G+订阅 RSS 2.0粤ICP备15051338号-1