百度與360公司爬蟲機(jī)器人不正當(dāng)競(jìng)爭(zhēng)糾紛案,又被稱為Robots協(xié)議案,是中國(guó)搜索領(lǐng)域爬蟲機(jī)器人競(jìng)爭(zhēng)第一案,該案關(guān)系互聯(lián)網(wǎng)行業(yè)尤其是搜索引擎的基本游戲規(guī)則而廣泛被業(yè)界、政府和網(wǎng)民關(guān)注。8月7日,該案宣判,北京市第一中級(jí)人民法院駁回了百度有關(guān)不正當(dāng)競(jìng)爭(zhēng)的訴求,表明百度單方面利用歧視性Robots協(xié)議打擊競(jìng)爭(zhēng)對(duì)手的行為不會(huì)被公眾和法庭所支持,而360則可以繼續(xù)抓取百度的內(nèi)容網(wǎng)站。
據(jù)悉,Robots協(xié)議由荷蘭籍網(wǎng)絡(luò)工程師Martijn Koster于1994年首次提出,是一個(gè)被放置在網(wǎng)站中的.TXT文件,為搜索引擎爬蟲做出提示,設(shè)置允許與不允許兩種語(yǔ)句,網(wǎng)絡(luò)爬蟲據(jù)此“自覺地”抓取或者不抓取該網(wǎng)頁(yè)內(nèi)容。Robots協(xié)議的目的,是為了保障著作權(quán)、保護(hù)個(gè)人隱私,盡可能地讓互聯(lián)網(wǎng)健康發(fā)展。
雖然名為“協(xié)議”,但Robots協(xié)議只是行業(yè)慣用的說(shuō)法。它既不是法律意義上的協(xié)議,也不是國(guó)際組織采納的標(biāo)準(zhǔn),因此不受任何機(jī)構(gòu)保護(hù)。而百度的Robots協(xié)議的特別之處,在于其白名單機(jī)制——允許除360之外的搜索引擎訪問百度網(wǎng)站,這種白名單在全球是絕無(wú)僅有的。
“從百度對(duì)360的訴訟來(lái)看,有不公平競(jìng)爭(zhēng)之嫌!敝鸌T人士于剛表示,把Robots協(xié)議的作用強(qiáng)調(diào)于奇虎360身上,而自己卻在抓取其他搜索引擎內(nèi)容或網(wǎng)站里的視頻、音樂文件時(shí)忽視Robots協(xié)議。這樣的行為,并非Robots協(xié)議初衷。
己所不欲勿施于人,為何百度在robots協(xié)議面前,采用兩套做法?答案很簡(jiǎn)單,打擊和封堵直接競(jìng)爭(zhēng)對(duì)手360搜索的自由發(fā)展。
業(yè)內(nèi)人士分析,360的產(chǎn)品一向以迅速擴(kuò)張著稱,當(dāng)年白手起家的安全產(chǎn)品如此,今日擁有幾億用戶并有入口優(yōu)勢(shì)的360更不容小覷。而搜索,是百度的根本,百度不會(huì)坐以待斃,眼看著搜索市場(chǎng)被360分割。
據(jù)庭審資料顯示,谷歌退出中國(guó)市場(chǎng)前,國(guó)內(nèi)的搜索引擎市場(chǎng)百度占到60%,谷歌占到20%。在谷歌退出中國(guó)市場(chǎng)后,百度占到了80%的市場(chǎng)。2012年8月16日,360正式推出搜索引擎,并在上線6天后,占據(jù)中國(guó)搜索市場(chǎng)10%的份額,成為僅次于百度的第二大搜索流量來(lái)源。至2013年9月,百度的市場(chǎng)份額從81.49%直線下降到63.14%,而360搜索則占到了19.04%。
所以,為了反制360,百度迅速采取了措施,將所有來(lái)自360搜索的用戶請(qǐng)求跳轉(zhuǎn)至百度首頁(yè),用戶需要二次點(diǎn)擊才能得到搜索的結(jié)果。另一方面,便是在百度知道、百科、貼吧等產(chǎn)品在Robots文件中禁止360搜索抓取索引。根據(jù)用戶協(xié)議,這些內(nèi)容的版權(quán)并不歸屬于百度,而是歸生產(chǎn)和制造這些內(nèi)容的用戶所有。
即使是百度公司的專家證人,也在庭審中表示設(shè)置Robots協(xié)議一是從技術(shù)角度,避免網(wǎng)站服務(wù)器被攻擊癱瘓;二是從內(nèi)容角度,避免用戶留在其他網(wǎng)站而不到自己的網(wǎng)站瀏覽。對(duì)于限制搜索引擎抓取應(yīng)有的行業(yè)公認(rèn)合理的正當(dāng)理由,百度專家證人也說(shuō)不出來(lái)。
中國(guó)政法大學(xué)法制新聞研究中心研究員陳杰人一針見血地指出,百度建立Robots協(xié)議白名單,只限制360搜索進(jìn)行內(nèi)容抓取,具有一定的歧視性,其目的顯然不是維護(hù)產(chǎn)品間游戲規(guī)則的健康有序,而是將Robots協(xié)議作為一種打壓對(duì)手的競(jìng)爭(zhēng)工具。
眾所周知,作為全球最大的中文搜索引擎,百度搜索的強(qiáng)大,不僅體現(xiàn)在其爬蟲機(jī)器人的抓取能力,還體現(xiàn)在百度自身就是一個(gè)有海量信息的內(nèi)容網(wǎng)站。百度知道、百度百科、百度經(jīng)驗(yàn)、百度音樂和百度旅游等內(nèi)容網(wǎng)站囊括的信息量之巨,足以決定像360這樣的搜索新手的生死存亡:如果360搜索無(wú)法提供上述百度內(nèi)容網(wǎng)站的信息,必然被網(wǎng)民認(rèn)為信息不全而夭折。