建站
咨詢
售后
建站咨詢
新聞中心
今天，我們來學習如何利用Python爬取抖音APP數(shù)據(jù)。
成都創(chuàng)新互聯(lián)公司專注于中大型企業(yè)的成都網(wǎng)站設計、做網(wǎng)站和網(wǎng)站改版、網(wǎng)站營銷服務，追求商業(yè)策劃與數(shù)據(jù)分析、創(chuàng)意藝術(shù)與技術(shù)開發(fā)的融合，累計客戶上千，服務滿意度達97%。幫助廣大客戶順利對接上互聯(lián)網(wǎng)浪潮，準確優(yōu)選出符合自己需要的互聯(lián)網(wǎng)運用，我們將一直專注品牌網(wǎng)站建設和互聯(lián)網(wǎng)程序開發(fā)，在前進的路上，與客戶一起成長！
利用Python爬取抖音APP數(shù)據(jù)需要使用到的工具有：
- 編程工具：pycharm
- app抓包工具：mitmproxy
- app自動化工具：appium
- 運行環(huán)境：windows10
思路：
假設已經(jīng)配置好我們所需要的工具
1、使用mitmproxy對手機app抓包獲取我們想要的內(nèi)容
2、利用appium自動化測試工具，驅(qū)動app模擬人的動作(滑動、點擊等)
3、將1和2相結(jié)合達到自動化爬蟲的效果
mitmproxy/mitmdump抓包
確保已經(jīng)安裝好了mitmproxy，并且手機和PC處于同一個局域網(wǎng)下，同時也配置好了mitmproxy的CA證書，網(wǎng)上有很多相關(guān)的配置教程，這里我就略過了。
因為mitmproxy不支持windows系統(tǒng)，所以這里用的是它的組件之一mitmdump，它是mitmproxy的命令行接口，可以利用它對接我們的Python腳本，用Python實現(xiàn)監(jiān)聽后的處理。
在配置好mitmproxy之后,在控制臺上輸入mitmdump并在手機上打開抖音app，mitmdump會呈現(xiàn)手機上的所有請求，如下圖：
可以在抖音app一直往下滑，看mitmdump所展示的請求，會發(fā)現(xiàn)前綴分別為：
這3個類型前綴的url正是我們的目標抖音視頻url。
那接下來就要編寫python腳本將視頻下載下來，需要使用 mitmdump -s scripts.py(此處為python文件名)來執(zhí)行腳本。
代碼寫得比較粗糙，不過基本的邏輯還是比較清晰的，這樣我們就可以把抖音的視頻下載下來，不過這個方法有個缺陷，就是獲取視頻需要人來不斷地滑動抖音的下一個視頻，這時候我們可以用一個強大的appium自動化測試工具來解決。
Appium對手機進行模擬操作
確保已經(jīng)配置好appium所依賴的環(huán)境Android和SDK，網(wǎng)上也有許多教程，這里我就不說了。
appium的用法很簡單，首先我們先打開appium，啟動界面如下：
點擊Start Server按鈕即可啟動appium服務。
將Android手機通過數(shù)據(jù)線與PC相連，同時打開USE調(diào)試功能，可以輸入adb命令(具體可以去網(wǎng)上查找)測試連接情況，若出現(xiàn)以下結(jié)果，則說明連接成功。
model是設備名，后面配置需要用到。之后點擊下圖箭頭所指的按鈕就會出現(xiàn)一個配置頁面：
在右下角的JSON Representation配置啟動app的Desired Capabilities參數(shù)，分別是paltformName、deviceName、appPackage、appActivity。
platformName:平臺名稱，一般是Android或iOS。
deviceName:設備名稱，手機的具體類型
appPackage:App程序包名
appActivity:入口Activity名，通常以.開頭
platformName和deviceName比較容易獲得，而appPackage和appActivity這兩個可以通過以下方法獲取到。
在控制臺上輸入 adb logcat>D:\log.log 命令，并且在手機打開抖音app，然后在D盤中打開log.log文件，查找Displayed關(guān)鍵字。
由上圖可以知道Displayed后面的 com.ss.android.ugc.aweme對應的是appPackage，.main.MainActivity對應的是appActivity，最后我們的配置結(jié)果如下：
再點擊Start Session即可啟動Android手機上的抖音app并進入到啟動頁面，同時PC上會彈出一個調(diào)試窗口，從這個窗口可以預覽當前手機頁面，還可以對手機模擬各種操作，在本文不是重點，所以略過。
在下面我們將使用python腳本來驅(qū)動app，直接在pycharm運行即可。
效果如下圖：
新聞標題：好看的抖音視頻不小心劃過去找不到了怎么辦，Python幫你解決煩惱
文章分享：http://m.5511xx.com/article/djoheje.html
