建站
咨詢
售后
建站咨詢
新聞中心
話不多說，直接本主題!
從網(wǎng)站建設(shè)到定制行業(yè)解決方案，為提供成都做網(wǎng)站、網(wǎng)站建設(shè)服務(wù)體系，各種行業(yè)企業(yè)客戶提供網(wǎng)站建設(shè)解決方案，助力業(yè)務(wù)快速發(fā)展。創(chuàng)新互聯(lián)將不斷加快創(chuàng)新步伐，提供優(yōu)質(zhì)的建站服務(wù)。
如何于海量的互聯(lián)網(wǎng)網(wǎng)站中獲取有用資源信息,對網(wǎng)站的進一步優(yōu)化有重要作用。為了提高網(wǎng)站資源獲取的準確性及效率,本文提出一種基于Python的本地網(wǎng)站自動化爬蟲程序設(shè)計,采用搜索查詢工信部網(wǎng)站備案號呈現(xiàn)全量甘肅本地網(wǎng)站的方案,實現(xiàn)內(nèi)容爬取高效及全面。最后針對甘肅移動資源進行網(wǎng)站優(yōu)化,提高本地網(wǎng)站質(zhì)量。
Python網(wǎng)站爬蟲原理
基于Python網(wǎng)站爬取工具[2]包含網(wǎng)站爬取、網(wǎng)站分析、數(shù)據(jù)存儲共3個模塊，如圖1所示。
網(wǎng)站爬蟲程序流程
1.1 網(wǎng)站爬蟲方案
網(wǎng)站爬蟲系統(tǒng)通過搜索網(wǎng)站中的超鏈接信息不斷獲得網(wǎng)絡(luò)上的其它網(wǎng)站信息，并自動篩選有用信息[。因此首先需要確定如何獲取網(wǎng)站信息，本文提出4種網(wǎng)站爬蟲方案。
1.1.1 DNS查詢方案
通過DNS系統(tǒng)訪問日志獲取。優(yōu)點：網(wǎng)內(nèi)最準確數(shù)據(jù)來源;缺點：本地網(wǎng)站排名DNS解析次數(shù)TOP十萬以后。
1.1.2 CP流量排名查詢方案
通過亞馬遜免費網(wǎng)站訪問量查詢。優(yōu)點：按網(wǎng)站瀏覽量顯示，排名變化趨勢數(shù)據(jù)可查詢;缺點：數(shù)據(jù)不全，以大型CP為主，本地網(wǎng)站無法統(tǒng)計。
1.1.3 搜索引擎排名查詢方案
通過百度、搜狗等搜索引擎查詢。優(yōu)點：全網(wǎng)網(wǎng)站收錄較全;缺點：存在CP付費排名優(yōu)先的風險，本地民生網(wǎng)站排名靠后。
1.1.4 工信部網(wǎng)站備案號查詢方案
通過工信部網(wǎng)站備案號查詢。優(yōu)點：所有網(wǎng)站信息均通過工信部備案，全網(wǎng)數(shù)據(jù)最全;缺點：部分網(wǎng)站可能本省DNS無解析數(shù)據(jù)。
通過分析四種方案的優(yōu)缺點，本文選用基于工信部網(wǎng)站備案號查詢方案。
1.2 網(wǎng)站爬蟲流程
1.2.1 構(gòu)造網(wǎng)站
- url_base=″http：//icp.chinaz.com/隴ICP備″+year_get+num+″號″
URL不同網(wǎng)站備案號不同，需通過程序構(gòu)造備案號完成遍歷。
1.2.2 獲取HTML信息
查看網(wǎng)頁源代碼，詳細處理涉及正則匹配等。
1.2.3提取網(wǎng)站域名
關(guān)聯(lián)提取網(wǎng)站全量有用信息。
1.2.4 DNS解析網(wǎng)站IP
調(diào)用甘肅移動公網(wǎng)DNS地址，實現(xiàn)批量DNS解析。
1.2.5獲取IP地址歸屬
通過阿里API返回IP地址信息的json串，獲取IP地址歸屬。
1.2.6呈現(xiàn)網(wǎng)站信息
通過EXCEL導出全量網(wǎng)站信息。
分享題目：重點來了，Python網(wǎng)站爬蟲原理！瓜子，礦泉水備好，慢慢品！
轉(zhuǎn)載源于：http://m.5511xx.com/article/coeghcd.html
