建站
咨詢
售后
建站咨詢
新聞中心
今天要跟大家分享一個小說爬取案例--------起點(diǎn)小說的小說下載。
創(chuàng)新互聯(lián)成立于2013年，是專業(yè)互聯(lián)網(wǎng)技術(shù)服務(wù)公司，擁有項目成都網(wǎng)站制作、做網(wǎng)站網(wǎng)站策劃，項目實(shí)施與項目整合能力。我們以讓每一個夢想脫穎而出為使命，1280元平潭做網(wǎng)站,已為上家服務(wù),為平潭各地企業(yè)和個人服務(wù),聯(lián)系電話:13518219792
在做這個案例之前，我們需要對其進(jìn)行分析，
1.界面分析，如圖：
通過分析很容易就找到了我們的get請求參數(shù)，然后獲取相應(yīng)頁面的小說名和鏈接：
獲取到數(shù)據(jù)之后，我們就隨機(jī)挑選一篇小說來進(jìn)行下載，我們選第一篇，
然后打開它的文章目錄，可以看到是這樣的，如圖：
基本上這篇小說很長，可以看到它卷一和卷二是免費(fèi)的，后面的收費(fèi)，那么今天我們就只爬免費(fèi)的章節(jié)。
那么我們現(xiàn)在開始分析網(wǎng)頁結(jié)構(gòu)，如圖：
那么，我們可以先把卷一的名字和章節(jié)數(shù)以及章節(jié)下的每個章節(jié)的名字都打印出來。
首先我們可以分析下這個網(wǎng)頁地址，如圖：
- https://book.qidian.com/info/1014243481#Catalog
發(fā)覺前面的沒變，基本就是后面的變了，增加了一個info/1014243481#Catalog,下面開始分析：
info：信息的意思，
1014243481：小說對應(yīng)的ID，
#Catalog：數(shù)據(jù)補(bǔ)全，無太大意義
因為剛剛已經(jīng)將文章鏈接的內(nèi)容爬取出來，所以現(xiàn)在只需要拼接一個#Catalog 即可：
下面我們就可以對它發(fā)起請求然后在分析它的頁面了，首先發(fā)起get請求，按照前面的網(wǎng)頁分析結(jié)構(gòu)來看，我們應(yīng)該這樣寫：
可以看出，因為這里有異步加載，所以我們的請求不會一下子全部顯示出來，需要不斷的請求，當(dāng)然最好加個延遲。
這樣我們就獲取到了這個頁面所有的小說，也可以這樣，因為我們沒找接口，所以強(qiáng)行解析只能解析部分內(nèi)容，但是也很全面了。如圖：
找的還算挺詳細(xì)，只不過沒有找接口時所拿到的數(shù)據(jù)那么規(guī)范好看了。
本文題目：手把手教你用Python網(wǎng)絡(luò)爬蟲實(shí)現(xiàn)起點(diǎn)小說下載
網(wǎng)站路徑：http://m.5511xx.com/article/cddpide.html
