百度百科屏蔽谷歌/必應(yīng)等搜索引擎 防止內(nèi)容被抓取訓(xùn)練AI

近日百度百科開(kāi)始屏蔽谷歌和必應(yīng)等大多數(shù)搜索引擎，預(yù)計(jì)是為了阻止這些搜索引擎和其他爬蟲(chóng)，未經(jīng)授權(quán)抓取百度百科的內(nèi)容用于訓(xùn)練AI。

百度百科的robots.txt文件顯示，目前僅有百度搜索、搜狗搜索、中國(guó)搜索(Chinaso)、YYSpider和宜搜搜索(EasouSpider)等少數(shù)幾個(gè)搜索引擎被允許抓取其內(nèi)容。

谷歌搜索、必應(yīng)搜索、微軟MSN、UC瀏覽器的Yisouspider以及其他一切搜索引擎爬蟲(chóng)均被明確禁止抓取百度百科的內(nèi)容。

雖然360搜索沒(méi)有在封禁列表中單獨(dú)列出，但百度百科的策略是禁止一切非白名單爬蟲(chóng)抓取，所以360搜索和其他搜索引擎也都是被屏蔽的。

不過(guò)百度百科這種做法其實(shí)也只是防君子不防小人，肯定還有很多爬蟲(chóng)通過(guò)各種方式繼續(xù)抓取內(nèi)容然后拿去訓(xùn)練AI。