Python中好用的爬蟲框架（私信小編001 、002 、003 、007任何一個即可獲取Python學習資料）
一般比價小型的爬蟲需求，我是直接使用requests庫 bs4就解決了，再麻煩點就使用selenium解決js的異步 加載問題。相對比較大型的需求才使用框架，主要是便于管理以及擴展等。
1.Scrapy
Scrapy是一個為了爬取網站數據，提取結構性數據而編寫的應用框架。 可以應用在包括數據挖掘，信息處理或存儲歷史數據等一系列的程序中。
特性：
快速入門
安裝
pip install scrapy
創(chuàng)建項目
寫爬蟲
運行
scrapy crawl dmoz
這里就簡單介紹一下，后面有時間詳細寫一些關于scrapy的文章，我的很多爬蟲的數據都是scrapy基礎上實現的。
2.PySpider
PySpider：一個國人編寫的強大的網絡爬蟲系統(tǒng)并帶有強大的WebUI。采用Python語言編寫，分布式架構，支持多種數據庫后端，強大的WebUI支持腳本編輯器，任務監(jiān)視器，項目管理器以及結果查看器。
示例
代開web界面的編輯輸入代碼即可
3.Crawley
Crawley可以高速爬取對應網站的內容，支持關系和非關系數據庫，數據可以導出為JSON、XML等。
創(chuàng)建project
寫Python爬蟲邏輯
配置
運行
~$ crawley run
4.Portia
Portia是一個開源可視化爬蟲工具，可讓您在不需要任何編程知識的情況下爬取網站！簡單地注釋您感興趣的頁面，Portia將創(chuàng)建一個蜘蛛來從類似的頁面提取數據。
5.Newspaper
Newspaper可以用來提取新聞、文章和內容分析。使用多線程，支持10多種語言等。作者從requests庫的簡潔與強大得到靈感，使用python開發(fā)的可用于提取文章內容的程序。
支持10多種語言并且所有的都是unicode編碼。
示例
6.Beautiful Soup
Beautiful Soup 是一個可以從HTML或XML文件中提取數據的Python庫.它能夠通過你喜歡的轉換器實現慣用的文檔導航,查找,修改文檔的方式.Beautiful Soup會幫你節(jié)省數小時甚至數天的工作時間。這個我是使用的特別頻繁的。在獲取html元素，都是bs4完成的。
示例：
7.Grab
Grab是一個用于構建Web刮板的Python框架。借助Grab，您可以構建各種復雜的網頁抓取工具，從簡單的5行腳本到處理數百萬個網頁的復雜異步網站抓取工具。Grab提供一個API用于執(zhí)行網絡請求和處理接收到的內容，例如與HTML文檔的DOM樹進行交互。
8.Cola
Cola是一個分布式的爬蟲框架，對于用戶來說，只需編寫幾個特定的函數，而無需關注分布式運行的細節(jié)。任務會自動分配到多臺機器上，整個過程對用戶是透明的。
案例
10 .Python-goose框架
Python-goose框架可提取的信息包括：
用法示例
聯系客服
