« 上一篇 收藏:怎么用DOS命令删除WINDOWS服务器海量小文件PHP报错解决:file_get_contents(): php_network_getaddresses 下一篇 »

节省带宽 提高服务器性能:用Robots禁止常见非主流搜索引擎掉抓取

照着做就对了!不要问为什么。


user-agent: Yahoo! Slurp

disallow: /

user-agent: Bingbot

disallow: /

user-agent: Msnbot

disallow: /

user-agent: ia_archiver

disallow: /

user-agent: YodaoBot

disallow: /

user-agent: Iaskspider

disallow: /

user-agent: Yahoo!

disallow: /

user-agent: Yahoo! Slurp China

disallow: /

user-agent: YisouSpider

disallow: /

user-agent: EasouSpider

disallow: /

user-agent: JikeSpider

disallow: /

user-agent: EtaoSpider

disallow: /

user-agent: YandexBot

disallow: /

user-agent: AhrefsBot

disallow: /

user-agent: ezooms.bot

disallow: /

user-agent: msnbot-media

disallow: /