首頁技術(shù)文章正文

requests模塊怎樣爬取網(wǎng)頁?(具體代碼演示)

更新時間:2021-11-19 來源:黑馬程序員 瀏覽量:

IT培訓(xùn)班

爬取網(wǎng)頁其實就是通過URL獲取網(wǎng)頁信息,網(wǎng)頁信息的實質(zhì)是一段添加了JavaScript和CSS的HTML代碼。Python提供了一個抓取網(wǎng)頁信息的第三方模塊requests,requests模塊自稱“HTTP for Humans”,直譯過來的意思是專門為人類而設(shè)計的HTTP模塊,該模塊支持發(fā)送請求,也支持獲取響應(yīng)。

1.發(fā)送請求

requests模塊提供了很多發(fā)送HTTP請求的函數(shù),常用的請求函數(shù)具體如表10-1所示。

表10-1 requests模塊的請求函數(shù)

requests模塊的請求函數(shù)

2.獲取響應(yīng)

requests模塊提供的Response 類對象用于動態(tài)地響應(yīng)客戶端的請求,控制發(fā)送給用戶的信息,并且將動態(tài)地生成響應(yīng),包括狀態(tài)碼、網(wǎng)頁的內(nèi)容等。接下來通過一張表來列舉Response類可以獲取到的信息,如表10-2所示。

表10-2 Response 類的常用屬性

Response 類的常用屬性

接下來通過一個案例來演示如何使用requests模塊抓取百度網(wǎng)頁,具體代碼如下:

# 01 requests baidu
import requests
base_url = 'http://www.baidu.com'
#發(fā)送GET請求
res = requests.get (base_url)
print("響應(yīng)狀態(tài)碼:{}".format(res.status_code))      #獲取響應(yīng)狀態(tài)碼
print("編碼方式:{}".format(res.encoding))        #獲取響應(yīng)內(nèi)容的編碼方式
res.encoding = 'utf-8'          #更新響應(yīng)內(nèi)容的編碼方式為UIE-8
print("網(wǎng)頁源代碼:\n{}".format(res.text))           #獲取響應(yīng)內(nèi)容

以上代碼中,第2行使用import導(dǎo)入了requests模塊;第3~4行代碼根據(jù)URL向服務(wù)器發(fā)送了一個GET請求,并使用變量res接收服務(wù)器返回的響應(yīng)內(nèi)容;第5~6行代碼打印了響應(yīng)內(nèi)容的狀態(tài)碼和編碼方式;第7行將響應(yīng)內(nèi)容的編碼方式更改為“utf-8”;第8行代碼打印了響應(yīng)內(nèi)容。運行程序,程序的輸出結(jié)果如下:

響應(yīng)狀態(tài)碼:200
編碼方式:ISO-8859-1
網(wǎng)頁源代碼:
<!DOCTYPE html>
<!–-STATUS OK--><html> <head><meta http-equiv=content-type content=text/html;
charset=utf-8><meta http-equiv=X-UA-Compatible content=IE=Edge><meta content=
always name=referrer><link rel=stylesheet type=text/css href=http://s1.bdstatic.
com/r/www/cache/bdorz/baidu.min.css><title>百度一下,你就知道</title></head>
<body link=#0000cc>…省略N行…</body></html>

值得一提的是,使用requests模塊爬取網(wǎng)頁時,可能會因為沒有連接網(wǎng)絡(luò)、服務(wù)器連接失敗等原因?qū)е庐a(chǎn)生各種異常,最常見的兩個異常是URLError和HTTPError,這些網(wǎng)絡(luò)異??梢允褂?try…except 語句捕獲與處理。





猜你喜歡:

寫爬蟲是用多進(jìn)程還是多線程?

網(wǎng)絡(luò)爬蟲獲取數(shù)據(jù)的5種方式【Python爬蟲】

反爬蟲系統(tǒng)實戰(zhàn)教程【大數(shù)據(jù)培訓(xùn)】

HTTP請求格式:請求行、請求頭詳細(xì)介紹

黑馬程序員python+大數(shù)據(jù)開發(fā)培訓(xùn)

分享到:
在線咨詢 我要報名
和我們在線交談!