建站
咨詢
售后
建站咨詢
新聞中心
本篇文章使用python中的pymysql庫連接MySQL數(shù)據(jù)庫，并完成建表，數(shù)據(jù)寫入和查詢的過程。為了保證內(nèi)容的完整性，我們將內(nèi)容分為兩個 階段，***階段簡單介紹數(shù)據(jù)的爬取過程?？催^之前爬蟲文章的同學(xué)請直接忽略。第二階段介紹將爬去的數(shù)據(jù)寫入MySQL數(shù)據(jù)庫的過程。
讓客戶滿意是我們工作的目標(biāo)，不斷超越客戶的期望值來自于我們對這個行業(yè)的熱愛。我們立志把好的技術(shù)通過有效、簡單的方式提供給客戶，將通過不懈努力成為客戶在信息化領(lǐng)域值得信任、有價值的長期合作伙伴，公司提供的服務(wù)項目有：域名注冊、網(wǎng)絡(luò)空間、營銷軟件、網(wǎng)站建設(shè)、?？稻W(wǎng)站維護、網(wǎng)站推廣。
1，使用python抓取并提取數(shù)據(jù)
***階段介紹數(shù)據(jù)爬取過程，首先導(dǎo)入所需的庫文件，主要包括requests，re和pandas三個庫。具體作用在注釋中進行了說明，這里不再贅述。
- #導(dǎo)入requests庫(請求和頁面抓取)
- import requests
- #導(dǎo)入正則庫(從頁面代碼中提取信息)
- import re
- #導(dǎo)入科學(xué)計算庫(拼表及各種分析匯總)
- import pandas as pd
設(shè)置爬取請求中的頭文件信息。
- #設(shè)置請求中頭文件的信息
- headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64
- Safari/537.11',
- 'Accept':'text/html;q=0.9,*/*;q=0.8',
- 'Accept-Charset':'ISO-8859-1,utf-8;q=0.7,*;q=0.3',
- 'Connection':'close',
- 'Referer':'https://www.baidu.com/'
- }
開始抓取數(shù)據(jù)，并查看抓取到的網(wǎng)頁內(nèi)容。這里我們所需要的數(shù)據(jù)還在頁面源碼中，需要使用正則表達式進行提取。
- #抓取并保存頁面信息
- r=requests.get('http://www.p2peye.com/shuju/ptsj/',headers=headers)
- html=r.content
- #對抓取的頁面進行編碼
- html=str(html, encoding = "GBK")
- #查看抓取的頁面源碼
- html
使正則表達式從抓取到的網(wǎng)頁源碼中提取所需數(shù)據(jù)。這里我們一共提取9個字段。
- #使用正則提取title字段信息
- title=re.findall(r'"return false".*?title="(.*?)"',html)
- #使用正則提取total字段信息
- total=re.findall(r'"total">(.*?)萬<',html)
- #使用正則提取rate字段信息
- rate=re.findall(r'"rate">(.*?)<',html)
- #使用正則提取pnum字段信息
- pnum=re.findall(r'"pnum">(.*?)人<',html)
- #使用正則提取cycle字段信息
- cycle=re.findall(r'"cycle">(.*?)月<',html)
- #使用正則提取plnum字段信息
- p1num=re.findall(r'"p1num">(.*?)人<',html)
- #使用正則提取fuload字段信息
- fuload=re.findall(r'"fuload">(.*?)分鐘<',html)
- #使用正則提取alltotal字段信息
- alltotal=re.findall(r'"alltotal">(.*?)萬<',html)
- #使用正則提取captial字段信息
- capital=re.findall(r'"capital">(.*?)萬<',html)
查看其中一個字段的信息，這里我們查看平臺名稱title的提取結(jié)果。
- #查看title字段信息
- title
到這里***階段的數(shù)據(jù)爬取工作完成了，現(xiàn)在我們有9個字段的數(shù)據(jù)，在下一階段中我們將連接MySQL數(shù)據(jù)庫，并將這9個字段的數(shù)據(jù)寫到數(shù)據(jù)庫里。
2，連接MySQL數(shù)據(jù)庫寫入并讀取數(shù)據(jù)
在第二階段，我們使用python的pymysql庫連接MySQL數(shù)據(jù)庫。如果你是***次使用這個庫需要先通過pip install pymysql進行安裝，然后導(dǎo)入pymysql庫文件。
- #導(dǎo)入pymysql庫
- import pymysql
首先連接MySQL數(shù)據(jù)庫，這里需要輸入數(shù)據(jù)庫的ip地址，用戶名，密碼，數(shù)據(jù)庫名稱，端口號等信息。我在這里只簡單些了ip地址，用戶名和數(shù)據(jù)庫名稱。每個參數(shù)的內(nèi)容請按你數(shù)據(jù)庫的實際信息進行填寫。
- #打開數(shù)據(jù)庫連接
- db = pymysql.connect("192.168.0.1","root","","shuju_test" )
使用 cursor()創(chuàng)建一個游標(biāo)對象
- # 使用 cursor() 方法創(chuàng)建一個游標(biāo)對象 cursor
- cursor = db.cursor()
在數(shù)據(jù)庫中創(chuàng)建一個包含9個字段的數(shù)據(jù)表，用于寫入數(shù)據(jù)。這里具體分為兩步，***步寫出創(chuàng)建數(shù)據(jù)表的SQL語句。第二步使用execute()執(zhí)行SQL語句
- #創(chuàng)建一個表
- sql1 = "CREATE TABLE wdty7( title varchar(255), total varchar(255), rate varchar(255), people_num varchar(255), cycle
- varchar(255), people_lend_num varchar(255), full_load varchar(255), all_total varchar(255), capital varchar(255)) "
- # 使用 execute() 方法執(zhí)行 SQL 語句
- cursor.execute(sql1)
創(chuàng)建完數(shù)據(jù)表后，開始寫入數(shù)據(jù)，這里我們使用for循環(huán)向數(shù)據(jù)表中逐條寫入9個字段的數(shù)據(jù)。
- #向表中創(chuàng)建新的記錄
- for i in range(len(title)):
- sql="INSERT INTO `wdty6`(`title`, `total`, `rate`, `people_num`, `cycle`, `people_lend_num`, `full_load`, `all_total`,
- `capital`)VALUES ( %s, %s, %s, %s, %s, %s, %s, %s, %s);"
- values=(title[i].encode("utf-7").decode("latin1"),total[i],rate[i],pnum[i],cycle[i],p1num[i],fuload[i],alltotal
- [i],capital[i])
- cursor.execute(sql,values)
- db.commit()
創(chuàng)建一個查詢語句并使用execute()方法執(zhí)行查詢。
- #設(shè)置查詢語句
- sql1="SELECT * FROM wdty6 where cycle>0.6;"
- # 使用 execute() 方法執(zhí)行 SQL 查詢
- cursor.execute(sql1)
使用fetchall()獲取剛才寫入的所有9個字段的數(shù)據(jù)，并保存在data中。
- #使用fetchall()方法獲取所有數(shù)據(jù)
- data = cursor.fetchall()
將data中的數(shù)據(jù)轉(zhuǎn)為pandas的DataFrame格式。
- #將獲取數(shù)據(jù)
- import pandas as pd
- columns=["title", "total", "rate", "people_num", "cycle", "people_lend_num", "full_load", "all_total", "capital"]
- df = pd.DataFrame(list(data),columns=columns)
查看從數(shù)據(jù)庫中提取的數(shù)據(jù)，這里有個問題，平臺名稱title字段中的中文在寫入數(shù)據(jù)庫后變成了亂碼，應(yīng)該是編碼轉(zhuǎn)換的問題。目前還沒有找到解決辦法。如有知道解決辦法的朋友請賜教。
- #查看數(shù)據(jù)表
- df.head()
***，完成所有操作后關(guān)閉數(shù)據(jù)庫的連接。
- # 關(guān)閉數(shù)據(jù)庫連接
- db.close()
網(wǎng)頁題目：使用Python連接MySQL數(shù)據(jù)庫
網(wǎng)頁路徑：http://m.5511xx.com/article/cccesco.html
