建站
咨詢
售后
建站咨詢
新聞中心
有一個詞叫做“三月爬蟲”，指的是有些學(xué)生臨到畢業(yè)了，需要收集數(shù)據(jù)寫畢業(yè)論文，于是在網(wǎng)上隨便找了幾篇教程，學(xué)了點requests甚至是urllib和正則表達式的皮毛，就開始寫爬蟲瘋狂從網(wǎng)上爬數(shù)據(jù)。這些爬蟲幾乎沒有做任何隱藏自己的舉動，不換IP，不設(shè)置headers，不限制速度，極易被有反爬的網(wǎng)站封鎖，極易給沒反爬的小網(wǎng)站造成流量壓力。
后來，他們又不知道看了哪篇文章，知道要使用代理IP，要修改UserAgent。于是，他們真的就只在headers設(shè)置UserAgent，其他項一概不設(shè)置。你給他指出來，他還振振有詞：你看我這樣能爬到數(shù)據(jù)啊，headers里面其他項目沒有用。
事實真的是這樣嗎?
我們來做個實驗，首先使用Chrome訪問http://httpbin.org/headers 這個網(wǎng)站可以顯示當(dāng)前你的headers。運行效果如下圖所示：
然后，再使用requests不設(shè)置headers請求這個URL，運行效果如下圖所示：
最后，我們僅僅設(shè)置一個UserAgent看看效果：
可以看出來，僅僅設(shè)置一個UserAgent，與用瀏覽器訪問的 Headers 還是有很多不一樣的地方。缺了很多項。網(wǎng)站只需要檢測缺的這幾項，就能確定你是用程序發(fā)起的請求還是用瀏覽器發(fā)的請求。
說回微信網(wǎng)頁版的問題。很多人使用wxpy或者itchat這種第三方庫通過Python控制自己的微信號，實現(xiàn)很多自動化操作。但不久以后就反饋說自己被限制登錄網(wǎng)頁版微信了，以為是不是自己的行為被微信發(fā)現(xiàn)了，例如一秒鐘內(nèi)發(fā)了幾十條消息，或者同時回復(fù)了好幾個人的消息。
但我要說的是，你們太高估自己了，微信要發(fā)現(xiàn)你們，根本就不用這么麻煩。它直接檢查headers就可以了。
我們來看一下wxpy的源代碼中，涉及到網(wǎng)絡(luò)請求的地方：
wxpy是基于itchat二次開發(fā)的，登錄功能是通過 itchat 來實現(xiàn)的。我們再來看看itchat里面發(fā)起網(wǎng)絡(luò)請求的地方：
其中的 self.core.s就是一個 requests 的 Session，如下圖所示：
看到了嗎?這兩個庫，他們在headers里面只放了UserAgent，其他字段都沒有放。所以在你登錄的瞬間，微信就已經(jīng)知道你這個賬號沒有用瀏覽器登錄了!
所以，那些用了wxpy或者itchat就被限制登錄網(wǎng)頁版微信的人，不要懷疑，你們就是被這兩個庫給害了。這兩個庫里面涉及到網(wǎng)絡(luò)請求的相關(guān)代碼，水平一看就是一個學(xué)了兩三天爬蟲的人寫出來的代碼。
你用這兩個庫就是讓你的微信號去送死。
不僅僅是這兩個庫，我們再看看很多人使用的Python 彈幕包，更夸張，在獲取斗魚直播信息的時候，直接用requests請求網(wǎng)址，連headers都沒有設(shè)置，如下圖所示：
這純粹就是送死行為。
現(xiàn)在大網(wǎng)站的機器行為對抗團隊一般會把檢測爬蟲與封禁爬蟲分開。因為反爬蟲策略多了以后，不可避免存在誤傷的情況，為了盡可能降低誤傷率，檢查爬蟲時會對請求的可疑性進行打分，當(dāng)你出現(xiàn)疑似爬蟲行為時，給你的請求加上一些分數(shù)，某些行為分數(shù)高，某些行為分數(shù)低。當(dāng)你總積分達到一定程度時，再調(diào)用封禁的流程。
由于 HTTP是無狀態(tài)的，如果你要爬的網(wǎng)站不需要登錄，那么也許你頻繁更換 IP 有用(阿布云的代理池就是被這樣污染的)。
但是對于微信這種需要登錄的情況，你的所有可疑行為的積分都會直接關(guān)聯(lián)到你的這個賬號上。于是，一開始可能你用 wxpy 登錄網(wǎng)頁版微信沒問題，這個時候你的可疑性積分還不夠高，可能確實有一些老古董瀏覽器的 Headers 就是少了很多項?但是你已經(jīng)在懷疑名單里面了。一旦你又出現(xiàn)了其他可疑行為導(dǎo)致可疑性積分繼續(xù)增加，那么當(dāng)微信已經(jīng)可以100%確信你就是用的自動化程序登錄網(wǎng)頁版微信的時候，封禁你就是自然而然的事情了。
當(dāng)前標(biāo)題：為什么你會被限制登錄網(wǎng)頁版微信？
文章位置：http://m.5511xx.com/article/cdggoed.html
