九色国产,午夜在线视频,新黄色网址,九九色综合,天天做夜夜做久久做狠狠,天天躁夜夜躁狠狠躁2021a,久久不卡一区二区三区

作者：linkin  鏈接：

https://segmentfault.com/a/1190000017891608

大眾點(diǎn)評(píng)爬蟲(chóng)可用api

大眾點(diǎn)評(píng)爬蟲(chóng)、API，可以進(jìn)行單獨(dú)城市、單獨(dú)地區(qū)、單獨(dú)商鋪的爬取、搜索、多類型地區(qū)搜索、信息獲取、提供MongoDB數(shù)據(jù)庫(kù)存儲(chǔ)支持，可以進(jìn)行點(diǎn)評(píng)文本解密的爬取、存儲(chǔ)。

源碼:https://www.linkin.site/2019/01/14/大眾點(diǎn)評(píng)爬蟲(chóng)可用API/

可用于大眾點(diǎn)評(píng)網(wǎng)頁(yè)版

目前可用：

• 獲取大眾點(diǎn)評(píng)當(dāng)前可以查詢查看到店鋪的所有已激活城市信息

• 獲取大眾點(diǎn)評(píng)里所有省市直轄市的provinceId以及地區(qū)areaId

• 根據(jù)給定的中文城市、地區(qū)名稱來(lái)獲取其大眾點(diǎn)評(píng)首頁(yè)鏈接

• 通過(guò)id獲取地區(qū)名稱

• 通過(guò)id獲取地區(qū)內(nèi)的所有子地區(qū)信息

• 獲取某個(gè)城市的 熱搜關(guān)鍵詞

• 獲取某個(gè)城市的 當(dāng)前可見(jiàn)有效店鋪分類

• 獲取某個(gè)城市的 當(dāng)前可見(jiàn)有效的轄區(qū)信息，包含子地區(qū)

• 獲取某個(gè)城市的 某個(gè)關(guān)鍵詞相關(guān)的搜索結(jié)果和結(jié)果數(shù)

• （單線程與多線程）搜索某個(gè)城市關(guān)于某個(gè)關(guān)鍵詞的某個(gè)分類、子地區(qū)、排序方式的相關(guān)店鋪并支持MongoDB存儲(chǔ)和本地文件存儲(chǔ)

• 獲取某個(gè)商鋪的評(píng)分、星級(jí)、地址、電話、點(diǎn)評(píng)數(shù)、人均消費(fèi)、點(diǎn)評(píng)標(biāo)簽、點(diǎn)評(píng)種類等

• 獲取某個(gè)商鋪的加密點(diǎn)評(píng)信息，支持條數(shù)設(shè)定

環(huán)境

使用環(huán)境：

• win 7 64bits

• pycharm

• python3

第三方庫(kù)：

• bs4 >=0.0.1

• lxml >=4.2.5

• pymongo >=3.7.1

• requests >=2.19.1

使用前

因?yàn)榇蟊婞c(diǎn)評(píng)的反爬措施，需要設(shè)置IP代理以及隨機(jī)切換可用的User-Agent來(lái)進(jìn)行大量數(shù)據(jù)的爬取。

IP代理(Proxy)

如何設(shè)置？config.py中有詳細(xì)的各個(gè)代理設(shè)置注釋，建議使用PROXY_POOL進(jìn)行IP代理，可以使用一次一個(gè)的接口來(lái)獲取代理IP。

UA池

user-agent可以使用settings.py中的UA池，如果你有更多的可用UA，可以自己加進(jìn)去或者替換掉。

用戶cookie

如果你需要爬取加密的商鋪點(diǎn)評(píng)數(shù)據(jù)（頁(yè)數(shù)>1），則需要添加點(diǎn)評(píng)用戶的登陸cookie到config.py的COOKIE中。具體內(nèi)容為一個(gè)字符串，如：
'_lxsdk_cuid=1681d897b62c8;_hc.v=ff4f63f6;thirdtoken=c9792'之類的。可以在瀏覽器調(diào)試界面獲得。

數(shù)據(jù)庫(kù)存儲(chǔ)（MongoDB）與本地存儲(chǔ)

如果需要存儲(chǔ)搜索的店鋪數(shù)據(jù)，則需要到config.py中設(shè)置MongoDB的數(shù)據(jù)庫(kù)設(shè)置(本地存儲(chǔ)可以在城市搜索api中設(shè)置保存本地的路徑。)，其中

• 'database'為默認(rèn)使用的數(shù)據(jù)庫(kù)

• 'records'為記錄抓取的數(shù)據(jù)表名

• 'searchDB'為搜索結(jié)果存放的數(shù)據(jù)庫(kù)

其他相關(guān)的配置可以參見(jiàn)config.py 中的設(shè)置注解

使用

• 獲取大眾點(diǎn)評(píng)當(dāng)前可以查詢查看到店鋪的所有已激活城市信息

返回結(jié)果 cities 為大眾點(diǎn)評(píng)全國(guó)可以顯示搜索到店鋪的激活城市列表：

[
   {
        'activeCity': true, 
        'appHotLevel': 1, 
        'cityAbbrCode': 'BJ', 
        'cityAreaCode': '010', 
        'cityEnName': 'beijing', 
        'cityId': 2, 
        'cityLevel': 1, 
        'cityName': '北京', 
        'cityOrderId': 406, 
        'cityPyName': 'beijing', 
        'directURL': '', 
        'gLat': 39.904667, 
        'gLng': 116.408198, 
        'overseasCity': false, 
        'parentCityId': 0, 
        'provinceId': 1, 
        'scenery': false, 
        'tuanGouFlag': 1
    },
    ...
]

• 獲取大眾點(diǎn)評(píng)里所有省市直轄市的provinceId以及地區(qū)areaId

返回結(jié)果 provinces 為全國(guó)的省、直轄市的ID信息：

{
    '北京': {
        'areaId': 1, 
        'provinceId': '1'
    }, 
    '天津': {
        'areaId': 1, 
        'provinceId': '2'
    }, 
    '河北': {
        'areaId': 1, 
        'provinceId': '3'
    }, 
    '山西': {
        'areaId': 1, 
        'provinceId': '4'
    }, 
    ...
}

• 根據(jù)給定的中文城市、地區(qū)名稱來(lái)獲取其大眾點(diǎn)評(píng)首頁(yè)鏈接

返回結(jié)果 url 為北京市的大眾點(diǎn)評(píng)首頁(yè):

http://www.dianping.com/beijing

• 獲取某個(gè)城市的 當(dāng)前可見(jiàn)有效的轄區(qū)信息，包含子地區(qū)

from city import City
beijing = City('北京')
beijing.get()
locations = beijing.locations

返回結(jié)果 locations 為當(dāng)前城市的所有子地區(qū)信息：

• 通過(guò)id獲取城市的某個(gè)地區(qū)名稱

#id 必須為城市中某個(gè)地區(qū)的id
from util.city import find_region_by_id
from city import City
beijing = City('北京')
beijing.get()
someplace = find_region_by_id(6975,beijing.locations)

返回結(jié)果 someplace 為北京地區(qū)的對(duì)應(yīng)id的子地區(qū)名稱：

• 通過(guò)id獲取地區(qū)內(nèi)的所有子地區(qū)信息

from util.city import find_children_regions
from city import City
beijing = City('北京')
beijing.get()
sub_regions = find_children_regions(5956,beijing.locations)

返回結(jié)果 sub_regions 為當(dāng)前id下的所有子地區(qū)id列表：

• 獲取某個(gè)城市的 熱搜關(guān)鍵詞

from city import City
beijing = City('北京')
beijing.get()
hot = beijing.hot

返回結(jié)果 hot 為當(dāng)前城市“北京”的熱搜詞匯列表（包含其所屬分類id等信息）：

• 獲取某個(gè)城市的 當(dāng)前可見(jiàn)有效店鋪分類

from city import City
beijing = City('北京')
beijing.get()
category = beijing.category

返回結(jié)果 category 為該城市所有的店鋪分類信息列表：

• 獲取某個(gè)城市的 某個(gè)關(guān)鍵詞相關(guān)的搜索結(jié)果和結(jié)果數(shù)

from city import City
beijing = City('北京')
beijing.get()
relative = beijing.get_relative('健身')

返回結(jié)果 relative 為北京市關(guān)鍵詞“健身”相關(guān)的搜索詞匯以及其對(duì)應(yīng)結(jié)果數(shù)：

• （單線程與多線程）搜索某個(gè)城市關(guān)于某個(gè)關(guān)鍵詞的某個(gè)分類、子地區(qū)、排序方式的相關(guān)店鋪并支持MongoDB存儲(chǔ)和本地文件存儲(chǔ)

• 單線程搜索下載相關(guān)店鋪

下例為搜索下載北京市“海淀區(qū)”店鋪分類為“運(yùn)動(dòng)健身”的“有團(tuán)購(gòu)”的與“器材”相關(guān)的所有店鋪，搜索下載結(jié)果“按人氣排序”，
save表示是否保存進(jìn)MongoDB數(shù)據(jù)庫(kù)，details表示是否抓取店鋪的詳細(xì)信息。具體參數(shù)可見(jiàn)search函數(shù)注釋。

from city import City
beijing = City('北京')
beijing.get()
results = beijing.search('器材',category='運(yùn)動(dòng)健身',location='海淀區(qū)',filter='有團(tuán)購(gòu)',sort='按人氣排序',save=True,details=True)

返回結(jié)果 results 為搜索到的相關(guān)店鋪，具體內(nèi)容,單個(gè)店鋪的MongoDB數(shù)據(jù)庫(kù)顯示:

• 多線程搜索下載相關(guān)店鋪

多線程搜索與單線程搜索流程一致，只是搜索線程多開(kāi)了而已，線程數(shù)為搜索結(jié)果的頁(yè)數(shù)，最多為50個(gè)（大眾點(diǎn)評(píng)目前單頁(yè)最多個(gè)數(shù)）。啟用多線程的話，由于使用代理IP，有可能同時(shí)
獲取的代理多個(gè)線程都是同一個(gè)，所以在config.py加入了RANDOM_INTERVAL（隨機(jī)等待間隔）防止多個(gè)線程使用同一個(gè)代理被封。

• 獲取某個(gè)商鋪的評(píng)分、星級(jí)、地址、電話、點(diǎn)評(píng)數(shù)、人均消費(fèi)、點(diǎn)評(píng)標(biāo)簽、點(diǎn)評(píng)種類等

下例以獲取id為507576的店鋪信息為例

from shop import Shop
store = Shop('507576')
store.get()
#店鋪名
name = store.name
#店鋪星級(jí)，50為五星，40為四星，35為三星半
stars = store.stars
#地址
address = store.address
#聯(lián)系方式
phone = store.phone
#點(diǎn)評(píng)數(shù)
reviews = store.reviews
#人均消費(fèi)
average = store.average
#顧客評(píng)分
scores = store.scores
#點(diǎn)評(píng)種類及數(shù)量
comment_kinds = store.comment_kinds
#點(diǎn)評(píng)標(biāo)簽及數(shù)量
review_tags = store.review_tags

返回結(jié)果 :

• 獲取下載保存某個(gè)商鋪的加密點(diǎn)評(píng)信息，支持條數(shù)設(shè)定

獲取點(diǎn)評(píng)需要使用cookie，具體使用參見(jiàn)“使用前”，默認(rèn)保存數(shù)據(jù)進(jìn)入數(shù)據(jù)庫(kù)，具體的參數(shù)詳情參見(jiàn)get_reviews函數(shù)注釋。下例以獲取店鋪id為 507576 的商鋪以第2頁(yè)為起點(diǎn)的 300條加密點(diǎn)評(píng)為例:

from comment import Comments
from dbhelper import Database
from config import MongoDB
dianpingDB = Database(MongoDB)
target_shop = Comments('50576',db=dianpingDB)
target_shop.get()
target_shop.get_reviews(tname='保存數(shù)據(jù)表名',count=300,frompage=2)

結(jié)果已經(jīng)被存儲(chǔ)在數(shù)據(jù)庫(kù)中，MongoDB數(shù)據(jù)庫(kù)中的單條點(diǎn)評(píng)數(shù)據(jù)內(nèi)容具體為：

ToDo

• 如果想要抓取多個(gè)商鋪的點(diǎn)評(píng)數(shù)據(jù)，可以使用多個(gè)賬戶+多代理+UA池來(lái)繞過(guò)反爬

• 嘗試使用selenium對(duì)爬取點(diǎn)評(píng)數(shù)據(jù)進(jìn)行驗(yàn)證碼滑動(dòng)驗(yàn)證

• 使用手機(jī)接碼平臺(tái)注冊(cè)多個(gè)賬戶進(jìn)行模擬登陸后獲取cookie進(jìn)行爬取點(diǎn)評(píng)數(shù)據(jù)

（完）

看完本文有收獲？請(qǐng)轉(zhuǎn)發(fā)分享給更多人

關(guān)注「Python那些事」，做全棧開(kāi)發(fā)工程師