建站
咨詢
售后
建站咨詢
新聞中心
本文轉(zhuǎn)載自微信公眾號「菜J學(xué)Python」，作者游世九黎。轉(zhuǎn)載本文請聯(lián)系菜J學(xué)Python公眾號。
創(chuàng)新互聯(lián)公司是專業(yè)的揚(yáng)中網(wǎng)站建設(shè)公司，揚(yáng)中接單;提供成都做網(wǎng)站、成都網(wǎng)站設(shè)計(jì),網(wǎng)頁設(shè)計(jì),網(wǎng)站設(shè)計(jì),建網(wǎng)站,PHP網(wǎng)站建設(shè)等專業(yè)做網(wǎng)站服務(wù);采用PHP框架,可快速的進(jìn)行揚(yáng)中網(wǎng)站開發(fā)網(wǎng)頁制作和功能擴(kuò)展;專業(yè)做搜索引擎喜愛的網(wǎng)站,專業(yè)的做網(wǎng)站團(tuán)隊(duì),希望更多企業(yè)前來合作!
大家好，我是J哥，本文來自我的好友游世久黎的投稿。
相信很多設(shè)計(jì)小伙伴有好的靈感，但是沒有好的設(shè)計(jì)素材,今天它來了。攝圖網(wǎng)4000張?jiān)O(shè)計(jì)素材，取之不盡，如下圖所示：
好了，廢話不多說，開始用Python采集。
01需求分析
采集攝圖網(wǎng)的素材圖片，目標(biāo)網(wǎng)址-->請求數(shù)據(jù)-->解析數(shù)據(jù)-->提取數(shù)據(jù)-->保存數(shù)據(jù)。
02技術(shù)棧
首先我們用到的技術(shù)包括：urllib，requests，bs4等。
03采集流程
1、分析網(wǎng)頁結(jié)構(gòu)
打開網(wǎng)址:https://699pic.com/paihang/tupian.html,分析網(wǎng)頁結(jié)構(gòu),我們可以看到首頁圖片數(shù)據(jù)雜論,這里我們爬取的是"今日熱門"的圖片,點(diǎn)擊發(fā)現(xiàn)更多:來到目標(biāo)頁面,拖動滾輪滑到底部,發(fā)現(xiàn)有40個分頁,也就是我們今天要爬取的4000張?jiān)O(shè)計(jì)圖片：
2、發(fā)起請求
接著對列表中的每一條url進(jìn)行遍歷,然后發(fā)起請求：
- for url in urllist:
- resp = requests.get(url,headers=hd)
- html = resp.content.decode('utf-8')
3、數(shù)據(jù)解析
得到了一個html對象,爬取頁面數(shù)據(jù)信息后,需要對頁面進(jìn)行解析,這里我使用到的解析庫是bs4(偏愛),當(dāng)然xpath也是可以的。通過分析頁面元素,我們發(fā)現(xiàn)每個翻頁里面的圖片都有這樣的規(guī)律：
因此可以通過bs4的select方法抓取所有class='lazy'的img標(biāo)簽,得到一個列表,然后通過測試發(fā)現(xiàn)圖片的鏈接存放在img標(biāo)簽的data-original屬性里,通過img.attrs['data-original']得到,再與'https:'進(jìn)行字符串拼接,得到完整圖片鏈接。
- for img in imgs:
- img_url = img.attrs['data-original']
- total_url = base_http_str + img_url
- print(total_url)
- # print('--'*60)
- imgurllist.append(total_url)
4.提取保存數(shù)據(jù)
最后運(yùn)用urllib中的urlretrive方法,把圖片保存到本地。
- def writeData(imgurllist):
- for index,url in enumerate(imgurllist):
- urllib.request.urlretrieve(url,'image/'+ '%s.png'%index)
- print('第%s張圖片下載完成'%index)
04運(yùn)行爬蟲
運(yùn)行爬蟲代碼，效果如下：
圖片就下載完成了，不過運(yùn)用傳統(tǒng)方法有點(diǎn)慢，下次試試多線程，提升爬蟲效率。
當(dāng)前名稱：手把手教你用Python爬取某圖網(wǎng)4000張圖片
URL網(wǎng)址：http://m.5511xx.com/article/cdppcid.html
