當(dāng)AI時(shí)代遇上AI爬蟲

• 2018年8月1日 ZhangHongYuan來(lái)源：新浪 1350 89
• 繁體

• 

  2018-2023年中國(guó)量子通信行業(yè)發(fā)展評(píng)估與投資前景預(yù)測(cè)分析報(bào)告

  量子通信是指利用量子糾纏效應(yīng)進(jìn)行信息傳遞的一種新型的通訊方式。量子通訊是近二十年發(fā)展起來(lái)的新型交叉學(xué)科，是量子論和信息論相結(jié)合的新的研究領(lǐng)域。量子通信主要涉及：量子密碼通信、量子遠(yuǎn)...

因?yàn)榕老x技術(shù)造成的大量IP訪問網(wǎng)站侵占帶寬資源、以及用戶隱私和知識(shí)產(chǎn)權(quán)等危害，很多互聯(lián)網(wǎng)企業(yè)都會(huì)花大力氣進(jìn)行“反爬蟲”。

爬蟲制造者說：

道德是反爬蟲的最好方法?

就著這個(gè)話題，我們還和兩位碼Python的程序員朋友聊了聊。

要知道程序員們是一種非常具有個(gè)性的生物，很難在問題中達(dá)成一致，尤其是在“什么才是最好的語(yǔ)言”、“早期的錘子手機(jī)是不是垃圾”這樣的問題上。但在反爬蟲的問題上，程序員們似乎呈現(xiàn)出了空前的一致。

一位就職于小型OTA的程序員表示，公司在剛剛起步時(shí)經(jīng)常會(huì)要求他們爬取旅游網(wǎng)站的旅游路線，這時(shí)他們通常會(huì)選擇中青旅遨游網(wǎng)這樣傳統(tǒng)企業(yè)基因更濃厚的網(wǎng)站，因?yàn)樗麄儭胺磁老x能力幾乎為0”。

而另一位大廠程序員表示，公司通常會(huì)把爬取數(shù)據(jù)這樣的臟活累活外包出去，而在反爬蟲時(shí)，如果數(shù)據(jù)爬取方技術(shù)足夠好，不給服務(wù)器帶來(lái)過分的帶寬壓力，在滿足了KPI前提下他們甚至?xí)犚恢谎坶]一只眼。

同時(shí)雙方都承認(rèn)，有時(shí)候會(huì)自己出于興趣制作一些小爬蟲程序，方便獲取一些數(shù)據(jù)。

在提到爬蟲技術(shù)的合法性時(shí)，他們告訴我，法律很難阻止爬蟲技術(shù)。除非在競(jìng)品之間、涉及到對(duì)用戶原創(chuàng)內(nèi)容的批量搬運(yùn)，類似之前360快視頻批量搬運(yùn)B站視頻、以及近期出現(xiàn)的大眾點(diǎn)評(píng)批量搬運(yùn)小紅書內(nèi)容等等。至于那些爬取他人數(shù)據(jù)用作分析的，一方面難以取證確定對(duì)象，另一方面整個(gè)訴訟過程會(huì)非常漫長(zhǎng)，企業(yè)很難清楚的展現(xiàn)出自己哪里受了損失，通常是以“不正當(dāng)競(jìng)爭(zhēng)”這樣的萬(wàn)金油控訴對(duì)方。

當(dāng)我們問到他們，從技術(shù)角度有沒有什么好的反爬蟲手段時(shí)，他們告訴我最好的反爬蟲手段并非技術(shù)也并非法律，而是公關(guān)——帶上截圖找?guī)讉€(gè)媒體爆料一下，帶點(diǎn)侵權(quán)、入侵?jǐn)?shù)據(jù)庫(kù)、隱私信息方面的影射，就可以立刻從道德的制高點(diǎn)搞臭對(duì)方，讓人不會(huì)注意到你司的反爬蟲技術(shù)不到位。如果對(duì)方是上市公司，效果更佳。

當(dāng)AI時(shí)代遇上AI爬蟲，

戰(zhàn)爭(zhēng)才剛剛開始

“道德反爬蟲”雖然只是笑談，但一定程度上表示出了企業(yè)技術(shù)人員對(duì)爬蟲的無(wú)可奈何。但可以預(yù)見的是，隨著大數(shù)據(jù)和機(jī)器學(xué)習(xí)應(yīng)用越來(lái)越廣，對(duì)爬蟲睜一只眼閉一只眼、與爬蟲和平共處的時(shí)代很快就要過去了。

最主要的問題是，爬蟲的出現(xiàn)會(huì)極大地增加數(shù)據(jù)分析難度。

當(dāng)數(shù)據(jù)分析企業(yè)利用爬蟲獲取數(shù)據(jù)進(jìn)行分析時(shí)，大量爬蟲的存在正在讓這些數(shù)據(jù)失實(shí)。文章瀏覽量的失實(shí)讓我們誤判人們對(duì)新聞事實(shí)的關(guān)注程度、爬蟲衍生出的虛擬IP需要在數(shù)據(jù)清洗時(shí)剔除……技術(shù)越高超的爬蟲，在行為模式上就越接近真人，也就更加增加數(shù)據(jù)分析時(shí)的難度。久而久之，那些我們以為從人類行為中尋找規(guī)律的算法，反而尋找到的是機(jī)器人的行為規(guī)律。

同時(shí)爬蟲帶來(lái)的流量波動(dòng)也會(huì)讓機(jī)器學(xué)習(xí)算法產(chǎn)生誤判。

最典型的例子是機(jī)票的動(dòng)態(tài)定價(jià)，網(wǎng)站會(huì)結(jié)合當(dāng)下瀏覽量判定機(jī)票的搶手程度并且調(diào)整價(jià)格。這時(shí)如果有大量爬蟲在瀏覽網(wǎng)站，算法就會(huì)給出和實(shí)際情況并不符合的定價(jià)，也損傷了消費(fèi)者購(gòu)買到廉價(jià)產(chǎn)品的權(quán)益。

甚至一些數(shù)據(jù)分析企業(yè)還打出了“AI爬蟲”的招牌，讓爬蟲腳本的行為模式更加接普通用戶，讓被爬的企業(yè)難以發(fā)掘，甚至還會(huì)利用圖像識(shí)別技術(shù)破解網(wǎng)站用作攔截的驗(yàn)證碼。

在這種情況下，網(wǎng)站分辨人與機(jī)器人就變得更加困難也更加重要。很多網(wǎng)站也開始利用機(jī)器學(xué)習(xí)技術(shù)反制AI爬蟲，比如為圖形驗(yàn)證碼動(dòng)態(tài)打碼應(yīng)對(duì)圖像識(shí)別。同時(shí)現(xiàn)在PC和移動(dòng)終端的硬件技術(shù)發(fā)展，也讓生物識(shí)別這種更復(fù)雜的驗(yàn)證手段有可能加入戰(zhàn)斗。雙方正在站在同一水平線上，利用技術(shù)互相斗法。

可以說爬蟲技術(shù)和反爬蟲技術(shù)之間斗爭(zhēng)了十幾年，可真正的“戰(zhàn)爭(zhēng)”卻從現(xiàn)在才剛剛開始。在徹底制服惡意爬蟲之前，對(duì)于一切大數(shù)據(jù)、精準(zhǔn)預(yù)測(cè)之類的“吹噓”，我們最好保持著三分懷疑。

延伸閱讀

推薦閱讀

猜您喜歡