當(dāng)AI時(shí)代遇上AI爬蟲(chóng)

• 2018年8月1日 ZhangHongYuan來(lái)源：新浪 1350 89
• 繁體

• 

  2018-2023年中國(guó)量子通信行業(yè)發(fā)展評(píng)估與投資前景預(yù)測(cè)分析報(bào)告

  量子通信是指利用量子糾纏效應(yīng)進(jìn)行信息傳遞的一種新型的通訊方式。量子通訊是近二十年發(fā)展起來(lái)的新型交叉學(xué)科，是量子論和信息論相結(jié)合的新的研究領(lǐng)域。量子通信主要涉及：量子密碼通信、量子遠(yuǎn)...

因?yàn)榕老x(chóng)技術(shù)造成的大量IP訪(fǎng)問(wèn)網(wǎng)站侵占帶寬資源、以及用戶(hù)隱私和知識(shí)產(chǎn)權(quán)等危害，很多互聯(lián)網(wǎng)企業(yè)都會(huì)花大力氣進(jìn)行“反爬蟲(chóng)”。

在一大堆技術(shù)術(shù)語(yǔ)里，最為被普通人所熟知的大概就是“爬蟲(chóng)”了。其實(shí)爬蟲(chóng)這個(gè)名字就已經(jīng)特別好地表現(xiàn)出了這項(xiàng)技術(shù)的作用——像密密麻麻的蟲(chóng)子一樣分布在網(wǎng)絡(luò)上，爬行至每一個(gè)角落獲取數(shù)據(jù);也一定程度上表達(dá)了人們對(duì)這項(xiàng)技術(shù)的情感傾向——蟲(chóng)子或許無(wú)害，但總是不受歡迎的。

有關(guān)爬蟲(chóng)的功能、益處或危害，此前已經(jīng)有過(guò)很多討論。因?yàn)榕老x(chóng)技術(shù)造成的大量IP訪(fǎng)問(wèn)網(wǎng)站侵占帶寬資源、以及用戶(hù)隱私和知識(shí)產(chǎn)權(quán)等危害，很多互聯(lián)網(wǎng)企業(yè)都會(huì)花大力氣進(jìn)行“反爬蟲(chóng)”。

相比爬蟲(chóng)技術(shù)本身，反爬蟲(chóng)其實(shí)更加復(fù)雜，發(fā)展歷程也更加有趣。

我們?nèi)绾畏磁老x(chóng)?

先禮后兵、再對(duì)簿公堂

幾乎是和爬蟲(chóng)技術(shù)誕生的同一時(shí)刻，反爬蟲(chóng)技術(shù)也誕生了。在90年代開(kāi)始有搜索引擎網(wǎng)站利用爬蟲(chóng)技術(shù)抓取網(wǎng)站時(shí)，一些搜索引擎從業(yè)者和網(wǎng)站站長(zhǎng)通過(guò)郵件討論定下了一項(xiàng)“君子協(xié)議”—— robots.txt。即網(wǎng)站有權(quán)規(guī)定網(wǎng)站中哪些內(nèi)容可以被爬蟲(chóng)抓取，哪些內(nèi)容不可以被爬蟲(chóng)抓取。這樣既可以保護(hù)隱私和敏感信息，又可以被搜索引擎收錄、增加流量。

爬蟲(chóng)技術(shù)剛剛誕生時(shí)我們還處于上古時(shí)代，互聯(lián)網(wǎng)是一片賢者云集的樂(lè)土，大多數(shù)從業(yè)者都會(huì)默守這一協(xié)定，畢竟那時(shí)候信息和數(shù)據(jù)都沒(méi)什么油水可撈。但很快互聯(lián)網(wǎng)上開(kāi)始充斥著商品信息、機(jī)票價(jià)格、個(gè)人隱私……在利益的誘惑下，自然有些人會(huì)開(kāi)始違法爬蟲(chóng)協(xié)議了。

當(dāng)君子協(xié)議失效，我們開(kāi)始改用技術(shù)手段阻攔爬蟲(chóng)的入侵。比如從訪(fǎng)問(wèn)數(shù)量上發(fā)現(xiàn)爬蟲(chóng)，當(dāng)我們?cè)谀骋痪W(wǎng)站瀏覽過(guò)快時(shí)，系統(tǒng)往往會(huì)要求輸入驗(yàn)證碼，就是因?yàn)檫@種快速瀏覽的行為很接近爬蟲(chóng)?；蛘呤遣欢ㄆ诟淖僅TML標(biāo)簽，使之無(wú)法與Web排序匹配來(lái)限制爬蟲(chóng)。

但是即便如此，我們也沒(méi)有任何方法可以禁止爬蟲(chóng)在網(wǎng)站中出入，只能加大爬蟲(chóng)的訪(fǎng)問(wèn)難度。如果網(wǎng)站可以供給人類(lèi)訪(fǎng)問(wèn)，就一定也可以被爬蟲(chóng)訪(fǎng)問(wèn)。而且如果從底層完全組織爬蟲(chóng)抓取，也很可能讓網(wǎng)站無(wú)法被搜索引擎收錄。

所以，在所有的先禮后兵都對(duì)爬蟲(chóng)失效時(shí)。最后反爬蟲(chóng)的手段只有最后一項(xiàng)——對(duì)簿公堂。

兩場(chǎng)官司和十七年，

爬蟲(chóng)沒(méi)變，我們變了

歷史上第一樁關(guān)于爬蟲(chóng)的官司誕生在2000年，eBay將一家聚合價(jià)格信息的比價(jià)網(wǎng)站BE告上了法庭，eBay聲稱(chēng)自己已經(jīng)將哪些信息不能抓取寫(xiě)進(jìn)了爬蟲(chóng)協(xié)議中，但BE違反了這一協(xié)議。但BE認(rèn)為eBay上的內(nèi)容屬于用戶(hù)集體貢獻(xiàn)而不歸用戶(hù)所有，爬蟲(chóng)協(xié)議不能用作法律參考。

最后經(jīng)過(guò)業(yè)內(nèi)反復(fù)討論和法庭上的幾輪唇槍舌戰(zhàn)，最終以eBay勝訴告終，也開(kāi)了用爬蟲(chóng)協(xié)議作為主要參考的先河。

但這也引起了很多人的不滿(mǎn)，難道爬蟲(chóng)能不能爬、怎么爬、誰(shuí)的爬蟲(chóng)能爬，都得由被爬的公司決定嗎?掌握了這種權(quán)力時(shí)，商業(yè)世界的唯利和自私立刻暴露無(wú)遺。

有一個(gè)說(shuō)法是，互聯(lián)網(wǎng)上50%的流量都是爬蟲(chóng)創(chuàng)造的。這個(gè)說(shuō)法雖然夸張了點(diǎn)，但也體現(xiàn)出了爬蟲(chóng)的無(wú)處不在。爬蟲(chóng)之所以無(wú)處不在，是因?yàn)榕老x(chóng)可以為互聯(lián)網(wǎng)企業(yè)帶來(lái)收益。

就拿電商網(wǎng)站來(lái)說(shuō)，很多電商網(wǎng)站是愿意被比價(jià)網(wǎng)站或者其他購(gòu)物信息網(wǎng)站爬取信息的，因?yàn)檫@樣能夠給他們的商品帶來(lái)更多流量。但他們不愿意被其他電商網(wǎng)站獲取價(jià)格信息和商品描述，因?yàn)閾?dān)心其他電商網(wǎng)站惡意比價(jià)或進(jìn)行抄襲。同時(shí)他們又經(jīng)常去爬其他電商網(wǎng)站的數(shù)據(jù)，希望能夠看到別人的價(jià)格。

這種糾結(jié)又復(fù)雜的心情就像學(xué)霸間的競(jìng)爭(zhēng)，學(xué)霸可以給學(xué)渣抄筆記，因?yàn)橹缹W(xué)渣再怎么努力也就是六七十分的水平，但學(xué)霸對(duì)其他學(xué)霸一定會(huì)嚴(yán)防死守，因?yàn)橹挥袑W(xué)霸和學(xué)霸之間才有真正的競(jìng)爭(zhēng)。所以像京東和淘寶這樣的“頂級(jí)學(xué)霸”都會(huì)在協(xié)議中寫(xiě)清楚，禁止對(duì)方爬取數(shù)據(jù)。當(dāng)然，至于雙方是否遵守這一君子協(xié)定就很難說(shuō)了。

同時(shí)也有一些網(wǎng)站，一開(kāi)始會(huì)默許其他網(wǎng)站爬取數(shù)據(jù)，一段時(shí)間過(guò)后卻又會(huì)將爬取數(shù)據(jù)的網(wǎng)站告上法庭。最典型的例子就是領(lǐng)英，領(lǐng)英在2017年曾經(jīng)將一家名為HiQ的數(shù)據(jù)分析企業(yè)告上法庭，原因是認(rèn)定這家企業(yè)抓取領(lǐng)英用戶(hù)的就職狀態(tài)信息，提供給另外兩家利用機(jī)器學(xué)習(xí)分析員工跳槽傾向和職業(yè)技能的企業(yè)。

結(jié)果卻是即使打著保護(hù)用戶(hù)隱私的旗號(hào)，領(lǐng)英仍然敗訴并且被聯(lián)邦法庭要求開(kāi)放數(shù)據(jù)接口。原因是HiQ已經(jīng)這樣爬取領(lǐng)英的數(shù)據(jù)長(zhǎng)達(dá)五年，領(lǐng)英一直知情并且曾經(jīng)去參加過(guò)HiQ組織的論壇峰會(huì)。如今領(lǐng)英自己開(kāi)展了和HiQ類(lèi)似的業(yè)務(wù)，就要斷了HiQ的生路。

從2000年到2017年，之所以會(huì)有這兩場(chǎng)結(jié)局截然不同的官司，是因?yàn)槲覀冎圃炫老x(chóng)和反爬蟲(chóng)的初衷都發(fā)生了變化。從一開(kāi)始的獲取信息和保護(hù)隱私，變成了如今的獲取商業(yè)利益和反制對(duì)手。

延伸閱讀

推薦閱讀

猜您喜歡