什麼是Python爬蟲？一篇文章帶你全面瞭解爬蟲
一、什麼叫爬蟲
爬蟲，又名“網絡爬蟲”，就是能夠自動訪問互聯網並將網站內容下載下來的程序。它也是搜索引擎的基礎，像百度和GOOGLE都是憑藉強大的網絡爬蟲，來檢索海量的互聯網信息的然後存儲到雲端，爲網友提供優質的搜索服務的。
二、爬蟲有什麼用
你可能會說，除了做搜索引擎的公司，學爬蟲有什麼用呢？哈哈，總算有人問到點子上了。打個比方吧：企業A建了個用戶論壇，很多用戶在論壇上留言講自己的使用體驗等等。現在A需要了解用戶需求，分析用戶偏好，爲下一輪產品迭代更新做準備。那麼數據如何獲取，當然是需要爬蟲軟件從論壇上獲取咯。所以除了百度、GOOGLE之外，很多企業都在高薪招聘爬蟲工程師。你到任何招聘網站上搜“爬蟲工程師”看看崗位數量和薪資範圍就懂爬蟲有多熱門了。
三、爬蟲的原理
發起請求：通過HTTP協議向目標站點發送請求（一個request），然後等待目標站點服務器的響應。
獲取響應內容：如果服務器能正常響應，會得到一個Response。Response的內容便是所要獲取的頁面內容，響應的內容可能有HTML，Json串，二進制數據（如圖片視頻）等等。
解析內容：得到的內容可能是HTML，可以用正則表達式、網頁解析庫進行解析；可能是Json，可以直接轉爲Json對象解析；可能是二進制數據，可以做保存或者進一步的處理。
保存數據：數據解析完成後，將保存下來。既可以存爲文本文檔、可以存到數據庫中。
四、Python爬蟲實例
前面介紹了爬蟲的定義、作用、原理等信息，相信有不少小夥伴已經開始對爬蟲感興趣了，準備躍躍欲試呢。那現在就來上“乾貨”，直接貼上一段簡單Python爬蟲的代碼：
1.前期準備工作：安裝Python環境、安裝PYCHARM軟件、安裝MYSQL數據庫、新建數據庫exam、在exam中建一張用於存放爬蟲結果的表格house[SQL語句：create table house(price varchar(88),unit varchar(88),area varchar(88));]
2.爬蟲的目標：爬取鏈家租房網上（url: https://bj.lianjia.com/zufang/）首頁中所有鏈接裡的房源的價格、單位及面積，然後將爬蟲結構存到數據庫中。
3.爬蟲源代碼：如下
import requests #請求URL頁面內容
from bs4 import BeautifulSoup #獲取頁面元素
import pymysql #鏈接數據庫
import time #時間函數
import lxml #解析庫（支持HTML\XML解析，支持XPATH解析）
#get_page 函數作用：通過requests的get方法得到url鏈接的內容，再整合成BeautifulSoup可以處理的格式
def get_page(url):
response = requests.get(url)
soup = BeautifulSoup(response.text, 'lxml')
return soup
#get_links 函數的作用：獲取列表頁所有租房鏈接
def get_links(link_url):
soup = get_page(link_url)
links_div = soup.find_all('div',class_="pic-panel")
links=[div.a.get('href') for div in links_div]
return links
#get_house_info函數作用是：獲取某一個租房頁面的信息：價格、單位、面積等
def get_house_info(house_url):
soup = get_page(house_url)
price =soup.find('span',class_='total').text
unit = soup.find('span',class_='unit').text.strip()
area = 'test' #這裡area字段我們自定義一個test做測試
info = {
'價格':price,
'單位':unit,
'面積':area
return info
#數據庫的配置信息寫到字典
DataBase ={
'host': '127.0.0.1',
'database': 'exam',
'user' : 'root',
'password' : 'root',
'charset' :'utf8mb4'}
#鏈接數據庫
def get_db(setting):
return pymysql.connect(**setting)
#向數據庫插入爬蟲得到的數據
def insert(db,house):
values = "'{}',"*2 + "'{}'"
sql_values = values.format(house['價格'],house['單位'],house['面積'])
sql ="""
insert into house(price,unit,area) values({})
""".format(sql_values)
cursor = db.cursor()
cursor.execute(sql)
db.commit()
#主程序流程：1.連接數據庫 2.得到各個房源信息的URL列表 3.FOR循環從第一個URL開始獲取房源具體信息（價格等）4.一條一條地插入數據庫
db = get_db(DataBase)
links = get_links('https://bj.lianjia.com/zufang/')
for link in links:
time.sleep(2)
house = get_house_info(link)
insert(db,house)
首先，“工欲善其事必先利其器”，用Python寫爬蟲程序也是一樣的道理，寫爬蟲過程中需要導入各種庫文件，正是這些及其有用的庫文件幫我們完成了爬蟲的大部分工作，我們只需要調取相關的藉口函數即可。導入的格式就是import庫文件名。這裡要注意的是在PYCHARM裡安裝庫文件，可以通過光標放在庫文件名稱上，同時按ctrl+alt 鍵的方式來安裝，也可以通過命令行（Pip install 庫文件名）的方式安裝，如果安裝失敗或者沒有安裝，那麼後續爬蟲程序肯定會報錯的。在這段代碼裡，程序前五行都是導入相關的庫文件：requests用於請求URL頁面內容；BeautifulSoup用來解析頁面元素；pymysql用於連接數據庫；time包含各種時間函數；lxml是一個解析庫，用於解析HTML、XML格式的文件，同時它也支持XPATH解析。
其次，我們從代碼最後的主程序開始看整個爬蟲流程：
通過get_db函數連接數據庫。再深入到get_db函數內部，可以看到是通過調用
Pymysql的connect函數來實現數據庫的連接的，這裡**seting是Python收集關鍵字參數的一種方式，我們把數據庫的連接信息寫到一個字典DataBase裡了，將字典裡的信息傳給connect做實參。
通過get_links函數，獲取鏈家網租房首頁的所有房源的鏈接。所有房源的鏈接以列表形式存在Links裡。get_links函數先通過requests請求得到鏈家網首頁頁面的內容，再通過BeautifuSoup的接口來整理內容的格式，變成它可以處理的格式。最後通過電泳find_all 函數找到所有包含圖片的div樣式，再通過一個for循環來獲得所有div樣式裡包含的超鏈接頁籤（a）的內容（也就是 href 屬性的內容），所有超鏈接都存放在列表links中。
通過FOR循環，來遍歷links中的所有鏈接（比如其中一個鏈接是：https://bj.lianjia.com/zufang/101101570737.html）
用和2）同樣的方法，通過使用find函數進行元素定位獲得3）中鏈接裡的價格、單位、面積信息，將這些信息寫到一個字典Info裡面。
調用insert函數將某一個鏈接裡得到的Info信息寫入數據庫的house表中去。深入到insert函數內部，我們可以知道它是通過數據庫的遊標函數cursor()來執行一段SQL語句然後數據庫進行commit操作來實現響應功能。這裡SQL語句的寫法比較特殊，用
到了format函數來進行格式化，這樣做是爲了便於函數的複用。
最後，運行一下爬蟲代碼，可以看到鏈家網的首頁所有房源的信息都寫入到數據裡了。（注：test是我手動指定的測試字符串）
後記：其實Python爬蟲並不難，熟悉整個爬蟲流程之後，就是一些細節問題需要注意，比如如何獲取頁面元素、如何構建SQL語句等等。遇到問題不要慌，看IDE的提示就可以一個個地消滅BUG，最終得到我們預期的結構。
最後：在我的V ：atstudy-js，可以免費領取一份10G軟件測試工程師面試寶典文檔資料。以及相對應的視頻學習教程免費分享！其中包括了有基礎知識、Linux必備、Shell、互聯網程序原理、Mysql數據庫、抓包工具專題、接口測試工具、測試進階-Python編程、Web自動化測試、APP自動化測試、接口自動化測試、測試高級持續集成、測試架構開發測試框架、性能測試、安全測試等。