云码酷 发表于 2018-4-26 21:51:31

【Robots.txt】谷歌针对智能手机推出的新型Googlebot

　　来自谷歌博客消息：原来谷歌抓取移动设备的蜘蛛统称为Googlebot移动版，谷歌分析称受此项更新影响的网址不到0.001%，而此项更新可让站长更好地控制对其内容的抓取和编入索引操作。

　　由于功能手机和智能手机的功能存在很大差异，站长一旦屏蔽了Googlebot那么移动版的则全部屏蔽。而这次谷歌称：谷歌将针对智能手机的新型Googlebot用户代理。

　　这个蜘蛛大概是未来3、4周后开始工作，且不再将针对智能手机的“Googlebot-Mobile”用作用户代理。之后，针对智能手机的用户代理将直接使用“Googlebot”进行标识。这样即使屏蔽了功能手机的收录，但针对智能手机的优化不会有影响。

　　针对智能手机的新型Googlebot用户代理：

　　Mozilla/5.0 （iPhone; CPU iPhone OS 6_0 like Mac OS X） AppleWebKit/536.26 （KHTML, like Gecko） Version/6.0 Mobile/10A5376e Safari/8536.25 （compatible; Googlebot/2.1; +http://www.google.com/bot.html）

　　针对智能手机的Googlebot-Mobile用户代理（即将停止使用）：

　　Mozilla/5.0 （iPhone; CPU iPhone OS 6_0 like Mac OS X） AppleWebKit/536.26 （KHTML, like Gecko） Version/6.0 Mobile/10A5376e Safari/8536.25 （compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html）

　　请注意此项用户代理更新带来的以下重大影响：针对智能手机的新型Googlebot抓取工具将遵从Googlebot（而非Googlebot-Mobile）的robots.txt指令、robots元标记指令和HTTP header指令。例如，使用新型抓取工具后，以下robots.txt指令将屏蔽针对智能手机的新型Googlebot用户代理以及常规Googlebot执行的所有抓取操作：

　　User-agent: Googlebot

　　Disallow: /

　　以下robots.txt指令将屏蔽Google的功能手机抓取工具执行的抓取操作：

　　User-agent: Googlebot-Mobile

　　Disallow: /

　　作者：卢松松（微信LuSongSong），转载请保留出处！

j2kfk 发表于 2018-4-27 09:49:25

在撸一遍。。。

cs9v 发表于 2018-4-27 19:29:46

嘘，低调。
页: [1]
查看完整版本: 【Robots.txt】谷歌针对智能手机推出的新型Googlebot