日韩无码专区无码一级三级片|91人人爱网站中日韩无码电影|厨房大战丰满熟妇|AV高清无码在线免费观看|另类AV日韩少妇熟女|中文日本大黄一级黄色片|色情在线视频免费|亚洲成人特黄a片|黄片wwwav色图欧美|欧亚乱色一区二区三区

RELATEED CONSULTING
相關(guān)咨詢(xún)
選擇下列產(chǎn)品馬上在線溝通
服務(wù)時(shí)間：8:30-17:00
你可能遇到了下面的問(wèn)題
關(guān)閉右側(cè)工具欄

新聞中心

這里有您想知道的互聯(lián)網(wǎng)營(yíng)銷(xiāo)解決方案
Python爬蟲(chóng)抓取智聯(lián)招聘（基礎(chǔ)版）

對(duì)于每個(gè)上班族來(lái)說(shuō)，總要經(jīng)歷幾次換工作，如何在網(wǎng)上挑到心儀的工作？如何提前為心儀工作的面試做準(zhǔn)備？今天我們來(lái)抓取智聯(lián)招聘的招聘信息，助你換工作成功！

創(chuàng)新互聯(lián)專(zhuān)注于企業(yè)成都全網(wǎng)營(yíng)銷(xiāo)推廣、網(wǎng)站重做改版、吐魯番網(wǎng)站定制設(shè)計(jì)、自適應(yīng)品牌網(wǎng)站建設(shè)、H5高端網(wǎng)站建設(shè)、成都做商城網(wǎng)站、集團(tuán)公司官網(wǎng)建設(shè)、外貿(mào)網(wǎng)站制作、高端網(wǎng)站制作、響應(yīng)式網(wǎng)頁(yè)設(shè)計(jì)等建站業(yè)務(wù)，價(jià)格優(yōu)惠性?xún)r(jià)比高，為吐魯番等各大城市提供網(wǎng)站開(kāi)發(fā)制作服務(wù)。

運(yùn)行平臺(tái)： Windows

Python版本： Python3.6

IDE： Sublime Text

其他工具：  Chrome瀏覽器

1、網(wǎng)頁(yè)分析

1.1 分析請(qǐng)求地址

以北京海淀區(qū)的python工程師為例進(jìn)行網(wǎng)頁(yè)分析。打開(kāi)智聯(lián)招聘首頁(yè)，選擇北京地區(qū)，在搜索框輸入"python工程師"，點(diǎn)擊"搜工作"：

接下來(lái)跳轉(zhuǎn)到搜索結(jié)果頁(yè)面，按"F12"打開(kāi)開(kāi)發(fā)者工具，然后在"熱門(mén)地區(qū)"欄選擇"海淀"，我們看一下地址欄：

由地址欄后半部分searchresult.ashx?jl=北京&kw=python工程師&sm=0&isfilter=1&p=1&re=2005可以看出，我們要自己構(gòu)造地址了。接下來(lái)要對(duì)開(kāi)發(fā)者工具進(jìn)行分析，按照如圖所示步驟找到我們需要的數(shù)據(jù)：Request Headers和Query String Parameters ：

構(gòu)造請(qǐng)求地址：

 
 
 
      
  
  
  1. paras = {  
    2.   
  
  
  2.    'jl': '北京',                # 搜索城市  
    3.   
  
  
  3.    'kw': 'python工程師',        # 搜索關(guān)鍵詞   
    4.   
  
  
  4.    'isadv': 0,                    # 是否打開(kāi)更詳細(xì)搜索選項(xiàng)  
    5.   
  
  
  5.    'isfilter': 1,                # 是否對(duì)結(jié)果過(guò)濾  
    6.   
  
  
  6.    'p': 1,                        # 頁(yè)數(shù)  
    7.   
  
  
  7.    're': 2005                    # region的縮寫(xiě)，地區(qū)，2005代表海淀  
    8.   
  
  
  8. }   
    9.   
  
  
  9.  
    10.   
  
  
  10. url = 'https://sou.zhaopin.com/jobs/searchresult.ashx?' + urlencode(paras) 
    11.

請(qǐng)求頭：

 
 
 
      
  
  
  1. headers = {  
    2.   
  
  
  2.    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36',  
    3.   
  
  
  3.    'Host': 'sou.zhaopin.com',  
    4.   
  
  
  4.    'Referer': 'https://www.zhaopin.com/',  
    5.   
  
  
  5.    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',  
    6.   
  
  
  6.    'Accept-Encoding': 'gzip, deflate, br',  
    7.   
  
  
  7.    'Accept-Language': 'zh-CN,zh;q=0.9' 
    8.   
  
  
  8.  } 
    9.

1.2 分析有用數(shù)據(jù)

接下來(lái)我們要分析有用數(shù)據(jù)，從搜索結(jié)果中我們需要的數(shù)據(jù)有：職位名稱(chēng)、公司名稱(chēng)、公司詳情頁(yè)地址、職位月薪：

通過(guò)網(wǎng)頁(yè)元素定位找到這幾項(xiàng)在HTML文件中的位置，如下圖所示：

用正則表達(dá)式對(duì)這四項(xiàng)內(nèi)容進(jìn)行提取：

 
 
 
      
  
  
  1. # 正則表達(dá)式進(jìn)行解析  
    2.   
  
  
  2. pattern = re.compile('(.*?).*?'        # 匹配職位信息  
    3.   
  
  
  3.    '(.*?).*?'     # 匹配公司網(wǎng)址和公司名稱(chēng)  
    4.   
  
  
  4.    '(.*?)', re.S)                                # 匹配月薪      
    5.   
  
  
  5.  
    6.   
  
  
  6.  
    7.   
  
  
  7. # 匹配所有符合條件的內(nèi)容  
    8.   
  
  
  8. items = re.findall(pattern, html) 
    9.

注意：解析出來(lái)的部分職位名稱(chēng)帶有標(biāo)簽，如下圖所示：

那么在解析之后要對(duì)該數(shù)據(jù)進(jìn)行處理剔除標(biāo)簽，用如下代碼實(shí)現(xiàn)：

 
 
 
      
  
  
  1. for item in items:  
    2.   
  
  
  2.    job_name = item[0]  
    3.   
  
  
  3.    job_name = job_name.replace('', '')  
    4.   
  
  
  4.    job_name = job_name.replace('', '')  
    5.   
  
  
  5.    yield {  
    6.   
  
  
  6.        'job': job_name,  
    7.   
  
  
  7.        'website': item[1],  
    8.   
  
  
  8.        'company': item[2],  
    9.   
  
  
  9.        'salary': item[3]  
    10.   
  
  
  10.    } 
    11.

2、寫(xiě)入文件

我們獲取到的數(shù)據(jù)每個(gè)職位的信息項(xiàng)都相同，可以寫(xiě)到數(shù)據(jù)庫(kù)中，但是本文選擇了csv文件，以下為百度百科解釋?zhuān)?/p>

逗號(hào)分隔值（Comma-Separated Values，CSV，有時(shí)也稱(chēng)為字符分隔值，因?yàn)榉指糇址部梢圆皇嵌禾?hào)），其文件以純文本形式存儲(chǔ)表格數(shù)據(jù)（數(shù)字和文本）。純文本意味著該文件是一個(gè)字符序列，不含必須像二進(jìn)制數(shù)字那樣被解讀的數(shù)據(jù)。

由于python內(nèi)置了csv文件操作的庫(kù)函數(shù)，所以很方便：

 
 
 
      
  
  
  1. import csv  
    2.   
  
  
  2. def write_csv_headers(path, headers):  
    3.   
  
  
  3.    '''  
    4.   
  
  
  4.    寫(xiě)入表頭  
    5.   
  
  
  5.    '''  
    6.   
  
  
  6.    with open(path, 'a', encoding='gb18030', newline='') as f:  
    7.   
  
  
  7.        f_csv = csv.DictWriter(f, headers)  
    8.   
  
  
  8.        f_csv.writeheader()  
    9.   
  
  
  9.  
    10.   
  
  
  10. def write_csv_rows(path, headers, rows):  
    11.   
  
  
  11.    '''  
    12.   
  
  
  12.    寫(xiě)入行  
    13.   
  
  
  13.    '''  
    14.   
  
  
  14.    with open(path, 'a', encoding='gb18030', newline='') as f: 
    15.   
  
  
  15.        f_csv = csv.DictWriter(f, headers)  
    16.   
  
  
  16.        f_csv.writerows(rows) 
    17.

3、進(jìn)度顯示

要想找到理想工作，一定要對(duì)更多的職位進(jìn)行篩選，那么我們抓取的數(shù)據(jù)量一定很大，幾十頁(yè)、幾百頁(yè)甚至幾千頁(yè)，那么我們要掌握抓取進(jìn)度心里才能更加踏實(shí)啊，所以要加入進(jìn)度條顯示功能。

本文選擇tqdm 進(jìn)行進(jìn)度顯示，來(lái)看一下酷炫結(jié)果（圖片來(lái)源網(wǎng)絡(luò)）：

執(zhí)行以下命令進(jìn)行安裝：pip install tqdm。

簡(jiǎn)單示例：

 
 
 
      
  
  
  1. from tqdm import tqdm  
    2.   
  
  
  2. from time import sleep   
    3.   
  
  
  3. for i in tqdm(range(1000)):  
    4.   
  
  
  4.    sleep(0.01)
    5.

4、完整代碼

以上是所有功能的分析，如下為完整代碼：

 
 
 
      
  
  
  1. #-*- coding: utf-8 -*-  
    2.   
  
  
  2. import re  
    3.   
  
  
  3. import csv  
    4.   
  
  
  4. import requests  
    5.   
  
  
  5. from tqdm import tqdm  
    6.   
  
  
  6. from urllib.parse import urlencode  
    7.   
  
  
  7. from requests.exceptions import RequestException  
    8.   
  
  
  8.  
    9.   
  
  
  9. def get_one_page(city, keyword, region, page):  
    10.   
  
  
  10.    '''  
    11.   
  
  
  11.    獲取網(wǎng)頁(yè)html內(nèi)容并返回  
    12.   
  
  
  12.    '''  
    13.   
  
  
  13.    paras = {  
    14.   
  
  
  14.        'jl': city,         # 搜索城市  
    15.   
  
  
  15.        'kw': keyword,      # 搜索關(guān)鍵詞   
    16.   
  
  
  16.        'isadv': 0,         # 是否打開(kāi)更詳細(xì)搜索選項(xiàng)  
    17.   
  
  
  17.        'isfilter': 1,      # 是否對(duì)結(jié)果過(guò)濾  
    18.   
  
  
  18.        'p': page,          # 頁(yè)數(shù)  
    19.   
  
  
  19.        're': region        # region的縮寫(xiě)，地區(qū)，2005代表海淀 
    20.   
  
  
  20.    }  
    21.   
  
  
  21.  
    22.   
  
  
  22.    headers = {  
    23.   
  
  
  23.        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36',  
    24.   
  
  
  24.        'Host': 'sou.zhaopin.com',  
    25.   
  
  
  25.        'Referer': 'https://www.zhaopin.com/',  
    26.   
  
  
  26.        'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',  
    27.   
  
  
  27.        'Accept-Encoding': 'gzip, deflate, br',  
    28.   
  
  
  28.        'Accept-Language': 'zh-CN,zh;q=0.9'  
    29.   
  
  
  29.    }  
    30.   
  
  
  30.  
    31.   
  
  
  31.    url = 'https://sou.zhaopin.com/jobs/searchresult.ashx?' + urlencode(paras)  
    32.   
  
  
  32.    try:  
    33.   
  
  
  33.        # 獲取網(wǎng)頁(yè)內(nèi)容，返回html數(shù)據(jù)  
    34.   
  
  
  34.        response = requests.get(url, headers=headers)  
    35.   
  
  
  35.        # 通過(guò)狀態(tài)碼判斷是否獲取成功  
    36.   
  
  
  36.        if response.status_code == 200:  
    37.   
  
  
  37.            return response.text  
    38.   
  
  
  38.        return None  
    39.   
  
  
  39.    except RequestException as e:  
    40.   
  
  
  40.        return None   
    41.   
  
  
  41.  
    42.   
  
  
  42. def parse_one_page(html):  
    43.   
  
  
  43.    '''  
    44.   
  
  
  44.    解析HTML代碼，提取有用信息并返回  
    45.   
  
  
  45.    '''  
    46.   
  
  
  46.    # 正則表達(dá)式進(jìn)行解析  
    47.   
  
  
  47.    pattern = re.compile('(.*?).*?'        # 匹配職位信息  
    48.   
  
  
  48.        '(.*?).*?'     # 匹配公司網(wǎng)址和公司名稱(chēng)  
    49.   
  
  
  49.        '(.*?)', re.S)                                # 匹配月薪        
    50.   
  
  
  50.   
    51.   
  
  
  51.    # 匹配所有符合條件的內(nèi)容  
    52.   
  
  
  52.    items = re.findall(pattern, html)      
    53.   
  
  
  53.  
    54.   
  
  
  54.    for item in items:  
    55.   
  
  
  55.        job_name = item[0]  
    56.   
  
  
  56.        job_name = job_name.replace('', '')  
    57.   
  
  
  57.        job_name = job_name.replace('', '')  
    58.   
  
  
  58.        yield {  
    59.   
  
  
  59.            'job': job_name,  
    60.   
  
  
  60.            'website': item[1],  
    61.   
  
  
  61.            'company': item[2],  
    62.   
  
  
  62.            'salary': item[3]  
    63.   
  
  
  63.        }  
    64.   
  
  
  64.  
    65.   
  
  
  65. def write_csv_file(path, headers, rows):  
    66.   
  
  
  66.    '''  
    67.   
  
  
  67.    將表頭和行寫(xiě)入csv文件  
    68.   
  
  
  68.    '''  
    69.   
  
  
  69.    # 加入encoding防止中文寫(xiě)入報(bào)錯(cuò)  
    70.   
  
  
  70.    # newline參數(shù)防止每寫(xiě)入一行都多一個(gè)空行  
    71.   
  
  
  71.    with open(path, 'a', encoding='gb18030', newline='') as f:  
    72.   
  
  
  72.        f_csv = csv.DictWriter(f, headers)  
    73.   
  
  
  73.        f_csv.writeheader()  
    74.   
  
  
  74.        f_csv.writerows(rows)  
    75.   
  
  
  75.  
    76.   
  
  
  76. def write_csv_headers(path, headers):  
    77.   
  
  
  77.    '''  
    78.   
  
  
  78.    寫(xiě)入表頭  
    79.   
  
  
  79.    '''  
    80.   
  
  
  80.    with open(path, 'a', encoding='gb18030', newline='') as f:  
    81.   
  
  
  81.        f_csv = csv.DictWriter(f, headers)  
    82.   
  
  
  82.        f_csv.writeheader()  
    83.   
  
  
  83.  
    84.   
  
  
  84. def write_csv_rows(path, headers, rows):  
    85.   
  
  
  85.    '''  
    86.   
  
  
  86.    寫(xiě)入行  
    87.   
  
  
  87.    '''  
    88.   
  
  
  88.    with open(path, 'a', encoding='gb18030', newline='') as f:  
    89.   
  
  
  89.        f_csv = csv.DictWriter(f, headers)  
    90.   
  
  
  90.        f_csv.writerows(rows)  
    91.   
  
  
  91.  
    92.   
  
  
  92. def main(city, keyword, region, pages):  
    93.   
  
  
  93.    '''  
    94.   
  
  
  94.    主函數(shù)  
    95.   
  
  
  95.    '''  
    96.   
  
  
  96.    filename = 'zl_' + city + '_' + keyword + '.csv'  
    97.   
  
  
  97.    headers = ['job', 'website', 'company', 'salary']  
    98.   
  
  
  98.    write_csv_headers(filename, headers)  
    99.   
  
  
  99.    for i in tqdm(range(pages)):  
    100.   
  
  
  100.        '''  
    101.   
  
  
  101.        獲取該頁(yè)中所有職位信息，寫(xiě)入csv文件  
    102.   
  
  
  102.        '''  
    103.   
  
  
  103.        jobs = []  
    104.   
  
  
  104.        html = get_one_page(city, keyword, region, i)  
    105.   
  
  
  105.        items = parse_one_page(html)  
    106.   
  
  
  106.        for item in items:  
    107.   
  
  
  107.            jobs.append(item)  
    108.   
  
  
  108.        write_csv_rows(filename, headers, jobs)   
    109.   
  
  
  109.  
    110.   
  
  
  110. if __name__ == '__main__':  
    111.   
  
  
  111.    main('北京', 'python工程師', 2005, 10) 
    112.

上面代碼執(zhí)行效果如圖所示：

執(zhí)行完成后會(huì)在py同級(jí)文件夾下會(huì)生成名為：zl_北京_python工程師.csv的文件，打開(kāi)之后效果如下：


本文名稱(chēng)：Python爬蟲(chóng)抓取智聯(lián)招聘（基礎(chǔ)版）
網(wǎng)站鏈接：http://m.5511xx.com/article/cciijoj.html