我們?cè)趯懪老x代碼時(shí),嘗嘗需要各種分析調(diào)試,而且每次直接用代碼調(diào)試都很麻煩
所以今天給大家分享一個(gè)工具,不僅能方便模擬發(fā)送各種http請(qǐng)求,還能輕松調(diào)試,最重要的是,可以將調(diào)試最終結(jié)果自動(dòng)轉(zhuǎn)換成爬蟲代碼,它就是——Postman
postman以前是Chrome的插件,經(jīng)過逐步演變,現(xiàn)在具備很好的夸平臺(tái)性,完美支持MAC,Windows,Linux三大操作系統(tǒng).不管你是哪種操作系統(tǒng)的用戶,你都可以享受到Postman帶來的便利
它還可以發(fā)送幾乎所有類型的HTTP請(qǐng)求,可以在Postman界面里選擇要發(fā)送的請(qǐng)求類型,接口地址,請(qǐng)求頭信息以及向接口發(fā)送的入?yún)?Postman完全是界面化的操作,非常直觀.
當(dāng)我們爬一些動(dòng)態(tài)網(wǎng)頁,或者測(cè)試一些接口時(shí),只需勾選一些參數(shù),就能測(cè)試出哪些參數(shù)是必須的,哪些參數(shù)是可以舍棄的
最后,我們可以將調(diào)試好的結(jié)果直接轉(zhuǎn)換成我們需要的爬蟲代碼
測(cè)試完畢后,點(diǎn)擊code
選擇你需要的編程語言
以python為例,發(fā)現(xiàn)爬蟲代碼已自動(dòng)生成,直接復(fù)制即可:
import requests
url = 'http://map.amap.com/service/subway'
querystring = {'_1599997789354':'','srhdata':'1100_drw_beijing.json'}
payload = ''
headers = {
'cache-control': 'no-cache',
'Postman-Token': '74188fdc-2156-4fbf-a300-39c94c0b6a67'
}
response = requests.request('GET', url, data=payload, headers=headers, params=querystring)
print(response.text)
聯(lián)系客服