九色国产,午夜在线视频,新黄色网址,九九色综合,天天做夜夜做久久做狠狠,天天躁夜夜躁狠狠躁2021a,久久不卡一区二区三区

打開APP
userphoto
未登錄

開通VIP,暢享免費(fèi)電子書等14項(xiàng)超值服

開通VIP
認(rèn)識(shí)爬蟲:如何使用 requests 模塊模擬瀏覽器請求爬取網(wǎng)頁信息?


requests 模塊是對 urllib 的封裝,它是一種偽裝成瀏覽器對網(wǎng)頁服務(wù)器發(fā)起請求從而獲得響應(yīng)的爬蟲方式。不同于前面說到的下載整個(gè)網(wǎng)頁的形式,requests 模塊可以添加請求頭、參數(shù)信息對具體的網(wǎng)頁接口發(fā)起請求,是一種局部形式的爬蟲技術(shù)。

requests 模塊通過向服務(wù)器發(fā)送 http 請求獲取數(shù)據(jù),同時(shí)支持 get、post 的協(xié)議請求方法。在爬蟲過程中,可以通過查詢參數(shù)、請求頭等信息的控制獲得我們需要的響應(yīng)的信息,同時(shí) post 方法更是支持上傳等方式獲取等精準(zhǔn)的爬蟲數(shù)據(jù)。

1、GET 方法:不添加任何請求參數(shù)

 1# -*- coding: UTF-8 -*-
2import requests
3
4# 定義請求的 url 地址
5url = "http://httpbin.org"
6
7# 使用 GET 方法發(fā)起請求
8response = requests.get(url=url)
9
10# 打印響應(yīng)狀態(tài),200 表示成功
11print "響應(yīng)狀態(tài)",response.status_code
12# 打印網(wǎng)頁文本
13print "網(wǎng)頁文本:",response.text

2、GET 方法:添加請求參數(shù)

 1# -*- coding: UTF-8 -*-
2import requests
3
4# 定義請求的 url 接口(需要請求的接口),假設(shè)接口 http://httpbin.org/get
5url = "http://httpbin.org/get"
6
7# 定義請求頭部信息(字典類型)
8headers = {
9    "Accept""*/*",
10    "Accept-Encoding""gzip",
11    "User-Agent""",
12}
13
14# 定義請求參數(shù)信息(字典類型)
15params = {'name''Python 集中營''type''python'}
16
17# 使用 GET 方法發(fā)起請求(加入頭部信息、加入?yún)?shù)信息)
18response = requests.get(url=url,headers=headers,params=params)
19
20# 打印響應(yīng)狀態(tài),200 表示成功
21print "響應(yīng)狀態(tài)",response.status_code
22# 打印響應(yīng)信息
23print "響應(yīng)信息:",response.content

3、POST 方法:提交普通數(shù)據(jù)

 1# -*- coding: UTF-8 -*-
2import requests
3
4# 定義請求的 url 接口(需要請求的接口),假設(shè)接口 http://httpbin.org/post
5url = "http://httpbin.org/post"
6
7# 定義請求頭部信息(字典類型)
8headers = {
9    "Accept""*/*",
10    "Accept-Encoding""gzip",
11    "User-Agent""",
12    # 定義請求數(shù)據(jù)格式、json
13    "Content-Type""application/json",
14}
15
16# 定義請求參數(shù)信息(字典類型)
17params = {'name'u'Python 集中營''type''python'}
18
19# 使用 POST 方法發(fā)起請求(加入頭部信息、加入?yún)?shù)信息)
20# 設(shè)置這里的數(shù)據(jù)參數(shù) data = params
21response = requests.post(url=url,headers=headers,data=params)
22
23# 打印響應(yīng)狀態(tài),200 表示成功
24print "響應(yīng)狀態(tài)",response.status_code
25# 打印響應(yīng)信息
26print "響應(yīng)信息:",response.content

4、POST 方法:提交文件數(shù)據(jù)

 1# 文件參數(shù)(字典類型)
2files = {
3    'file': (
4        # 文件名稱
5        'python.png',
6        # 文件路徑、打開文件
7        open('C:/python.png''rb'),
8        # 文件類型、圖片
9        'image/png'),
10}
11
12# 使用 POST 方法發(fā)起請求(加入頭部信息、加入?yún)?shù)信息)
13# 設(shè)置這里的數(shù)據(jù)參數(shù) data = params(定義好的參數(shù))
14# 設(shè)置文件參數(shù) files = files(定義好的文件)
15response = requests.post(url=url, headers=headers, data=params, files=files)
16# 打印響應(yīng)狀態(tài),200 表示成功
17print "響應(yīng)狀態(tài)", response.status_code
18# 打印響應(yīng)信息
19print "響應(yīng)信息:", response.content
本站僅提供存儲(chǔ)服務(wù),所有內(nèi)容均由用戶發(fā)布,如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容,請點(diǎn)擊舉報(bào)。
打開APP,閱讀全文并永久保存 查看更多類似文章
猜你喜歡
類似文章
歡度國慶??共享爬蟲之美??基于 Python 實(shí)現(xiàn)微信公眾號爬蟲(Python無所不能爬)
Requests庫常用方法及參數(shù)介紹
爬蟲Requests庫是什么,怎么用?
python3 request 庫
Python爬蟲模塊:Requests詳細(xì)教程(內(nèi)含案例)
花了一周時(shí)間,終于把python爬蟲入門必學(xué)知識(shí)整理出來了
更多類似文章 >>
生活服務(wù)
熱點(diǎn)新聞
分享 收藏 導(dǎo)長圖 關(guān)注 下載文章
綁定賬號成功
后續(xù)可登錄賬號暢享VIP特權(quán)!
如果VIP功能使用有故障,
可點(diǎn)擊這里聯(lián)系客服!

聯(lián)系客服