【节省带宽 提高服务器性能:用Robots禁止常见非主流搜索引擎掉抓取】SEO资讯-SEO祥子博客
【节省带宽 提高服务器性能:用Robots禁止常见非主流搜索引擎掉抓取】SEO资讯-SEO祥子博客
照着做就对了!不要问为什么。
user-agent: Yahoo! Slurp
disallow: /
user-agent: Bingbot
disallow: /
user-agent: Msnbot
disallow: /
user-agent: ia_archiver
disallow: /
user-agent: YodaoBot
disallow: /
user-agent: Iaskspider
disallow: /
user-agent: Yahoo!
disallow: /
user-agent: Yahoo! Slurp China
disallow: /
user-agent: YisouSpider
disallow: /
user-agent: EasouSpider
disallow: /
user-agent: JikeSpider
disallow: /
user-agent: EtaoSpider
disallow: /
user-agent: YandexBot
disallow: /
user-agent: AhrefsBot
disallow: /
user-agent: ezooms.bot
disallow: /
user-agent: msnbot-media
disallow: /
文章发布时间与标签:
发布时间:2017-03-01 21:19:55