選自Gengo.ai
作者：Meiryum Ali
機器之心編譯
參與：王淑婷、李澤南
機器學(xué)習(xí)領(lǐng)域里有哪些開放數(shù)據(jù)集？Gengo 近日發(fā)布了一份高質(zhì)量免費數(shù)據(jù)集列表，其搜索范圍不僅包含內(nèi)容廣泛（如 Kaggle），也包括高度特化的（如自動駕駛汽車專用數(shù)據(jù)集）數(shù)據(jù)集種類。
首先，在選擇數(shù)據(jù)集時要記住幾個重要標(biāo)準：
數(shù)據(jù)集不能是混亂的，因為你不希望花費大量時間整理數(shù)據(jù)。
數(shù)據(jù)集不應(yīng)該有過多的行或者列，這樣才能容易處理。
數(shù)據(jù)越干凈越好——清理大型數(shù)據(jù)集可能會非常耗時。
該數(shù)據(jù)集可以用于回答一些有趣的問題。
這樣的話，讓我們看看能找到點什么？
查找數(shù)據(jù)集
Kaggle：一個數(shù)據(jù)科學(xué)競賽網(wǎng)站，其中包含大量外部貢獻的有趣數(shù)據(jù)集。你可以在它長長的列表中（https://www.kaggle.com/datasets）找到各種小眾數(shù)據(jù)集，從拉面的評分、籃球數(shù)據(jù)，到西雅圖的寵物牌照。
UCI Machine Learning Repository：它是網(wǎng)絡(luò)中最古老的數(shù)據(jù)集源之一，是尋找各種有趣數(shù)據(jù)集的第一選擇。在這里，盡管數(shù)據(jù)集都是用戶自行貢獻的，但清潔程度仍然很高。此外，你可以直接從 UCI Machine Learning Repository 上下載數(shù)據(jù)，無需注冊。
通用數(shù)據(jù)集
公共政府?dāng)?shù)據(jù)集
Data.gov：這個網(wǎng)站可以從多個美國政府機構(gòu)下載數(shù)據(jù)，從政府預(yù)算到學(xué)校成績。不過要注意：其中的大部分數(shù)據(jù)需要進一步研究。
鏈接：https://www.data.gov/
Food Environment Atlas：包含有關(guān)本地食物選擇如何影響美國飲食習(xí)慣的數(shù)據(jù)。
鏈接：https://catalog.data.gov/dataset/food-environment-atlas-f4a22
School system finances：美國學(xué)校系統(tǒng)財務(wù)狀況調(diào)查。
鏈接：https://catalog.data.gov/dataset/annual-survey-of-school-system-finances
Chronic disease data：美國各地慢性病指標(biāo)數(shù)據(jù)。
鏈接：https://catalog.data.gov/dataset/u-s-chronic-disease-indicators-cdi-e50c9
The US National Center for Education Statistics：美國和世界各地教育機構(gòu)和教育人口統(tǒng)計數(shù)據(jù)。
鏈接：https://nces.ed.gov/
The UK Data Centre：英國最大的社會、經(jīng)濟和人口數(shù)據(jù)收集。
鏈接：https://www.ukdataservice.ac.uk/
Data USA：美國公共數(shù)據(jù)的全面可視化。
金融類
Quandl：很好的財經(jīng)數(shù)據(jù)來源——有助于建立預(yù)測經(jīng)濟指標(biāo)或股票價格的模型。
鏈接：https://www.quandl.com/
World Bank Open Data：涵蓋人口統(tǒng)計和世界各地大量經(jīng)濟和發(fā)展指標(biāo)的數(shù)據(jù)集。
鏈接：https://data.worldbank.org/
IMF Data：國際貨幣基金組織公布有關(guān)國際金融、債務(wù)利率、外匯儲備、商品價格和投資的數(shù)據(jù)。
鏈接：https://www.imf.org/en/Data
Financial Times Market Data：世界金融市場的最新信息，包括股票價格指數(shù)、商品和外匯。
鏈接：https://markets.ft.com/data/
Google Trends：觀察和分析有關(guān)互聯(lián)網(wǎng)搜索活動和世界各地新聞故事趨勢的數(shù)據(jù)。
鏈接：http://www.google.com/trends?q=google&ctab=0&geo=all&date=all&sort=0
AmericanEconomic Association (AEA)：尋找美國宏觀經(jīng)濟數(shù)據(jù)的來源。
鏈接：https://www.aeaweb.org/resources/data/us-macro-regional
機器學(xué)習(xí)數(shù)據(jù)集
圖像
Labelme：注釋圖像的大數(shù)據(jù)集。
ImageNet：著名的 ImageNet，由斯坦福大學(xué)教授李飛飛等人發(fā)起，它是面向新算法的真實圖像數(shù)據(jù)集。根據(jù) WordNet 層次結(jié)構(gòu)來組織，其中層次結(jié)構(gòu)的每個節(jié)點都由成百上千個圖像來描述。
LSUN：場景理解和許多輔助任務(wù)（房間布局估計、顯著性預(yù)測等）。
MS COCO：ImageNet 之外另一個常用的圖像數(shù)據(jù)集，包含通用圖像理解和注釋。
COIL100：100 個不同的物體在 360°旋轉(zhuǎn)中以每個角度成像。
Visual Genome：非常詳細的視覺知識庫，配有約 100K 個圖像的注釋。
Google's Open Images：Creative Commons 下的 900 萬個圖片的網(wǎng)址集合，「已經(jīng)標(biāo)注了跨越 6000 多個類別的標(biāo)簽」。
鏈接：https://research.googleblog.com/2016/09/introducing-open-images-dataset.html
Labelled Faces in the Wild：13000 張貼有標(biāo)簽的人臉圖像，用于開發(fā)涉及人臉識別的應(yīng)用。
Stanford Dogs Dataset：包含 20580 個圖像和 120 個不同品種的狗類別。
Indoor Scene Recognition：非常具體的數(shù)據(jù)集，適用于大多數(shù)場景識別模型，因為后者在「外部」表現(xiàn)更好。包含 67 個室內(nèi)類別，總共 15620 個圖像。
情感分析
Multidomain Sentiment analysis dataset：有點舊的一個數(shù)據(jù)集，以亞馬遜的產(chǎn)品評論為特色。
IMDB reviews：用于二進制情感分類的較舊的、相對較小的數(shù)據(jù)集，具有 25000 個電影評論。
Stanford Sentiment Treebank：帶有情感注釋的標(biāo)準情感數(shù)據(jù)集。
鏈接：https://nlp.stanford.edu/sentiment/code.html
Sentiment140：一個流行的數(shù)據(jù)集，使用 16 萬條預(yù)先刪除表情符號的推文
Twitter US Airline Sentiment：2015 年 2 月以來美國航空公司的推特數(shù)據(jù)，分為正面、負面和中性。
鏈接：https://www.kaggle.com/crowdflower/twitter-airline-sentiment
自然語言處理
Enron Dataset：Enron 公司高層管理人員的電子郵件數(shù)據(jù)，整理成文件夾。
鏈接：https://www.cs.cmu.edu/~./enron/
Amazon Reviews：包含來自亞馬遜長達 18 年的約 3500 萬條評論。數(shù)據(jù)包括產(chǎn)品和用戶信息、評級和明文審查。
鏈接：https://snap.stanford.edu/data/web-Amazon.html
Google Books Ngrams：Google 書籍中的詞匯集合。
鏈接：https://aws.amazon.com/cn/datasets/google-books-ngrams/
Blogger Corpus：從 blogger . com 收集的 681288 篇博客文章。每個博客至少包含 200 個常用英語單詞。
Wikipedia Links data：維基百科全文。數(shù)據(jù)集包含 400 多萬篇文章中的近 19 億字。你可以根據(jù)單詞、短語或段落本身的一部分進行搜索。
鏈接：https://code.google.com/p/wiki-links/downloads/list
Gutenberg eBooks List：古騰堡計劃電子書注釋清單。
Hansards text chunks of Canadian Parliament：加拿大第 36 屆國會記錄 130 萬對文本。
鏈接：https://www.isi.edu/natural-language/download/hansard/
Jeopardy：機智問答節(jié)目 Jeopardy 中存檔的 20 多萬個問題。
鏈接：https://www.reddit.com/r/datasets/comments/1uyd0t/200000jeopardyquestionsinajsonfile/
SMS Spam Collection in English：由 5574 條英文短信垃圾郵件組成的數(shù)據(jù)集
Yelp Reviews：Yelp 發(fā)布的開放數(shù)據(jù)集包含 500 多萬條評論。
鏈接：https://www.yelp.com/dataset
UCI's Spambase：大型垃圾郵件數(shù)據(jù)集，可用于垃圾郵件過濾。
鏈接：https://archive.ics.uci.edu/ml/datasets/Spamb (https://archive.ics.uci.edu/ml/datasets/Spambase)
自動駕駛
Berkeley DeepDrive BDD100k：目前最大的自動駕駛?cè)斯ぶ悄軘?shù)據(jù)集。包含 100000 多段視頻，內(nèi)容涉及一天中不同時間和天氣條件下 1100 多小時的駕駛體驗。注釋圖像來自紐約和舊金山地區(qū)。
Baidu Apolloscapes：百度 Apollo 計劃開放的大規(guī)模自動駕駛數(shù)據(jù)集。它定義了 26 個不同語義項目，如汽車、自行車、行人、建筑物、路燈等。
Comma.ai：7 小時以上的公路行駛體驗。詳細信息包括車速、加速度、轉(zhuǎn)向角和 GPS 坐標(biāo)。
鏈接：https:///details/comma-dataset
Oxford's Robotic Car：一年內(nèi)在英國牛津同一條路線重復(fù) 100 多次的行駛。數(shù)據(jù)集捕捉天氣、交通和行人的不同組合，以及建筑和道路工程等長期變化。
Cityscape Dataset：記錄 50 個不同城市街道場景的大型數(shù)據(jù)集。
鏈接：https://www.cityscapes-dataset.com/
CSSAD Dataset：該數(shù)據(jù)集可用于自主車輛的感知和導(dǎo)航。數(shù)據(jù)集在發(fā)達國家的道路上出現(xiàn)嚴重偏差。
KUL Belgium Traffic Sign Dataset：比利時佛蘭德區(qū)數(shù)以千計截然不同的超過 10000 個的交通標(biāo)志標(biāo)注。
MIT AGE Lab：在 AgeLab 收集的 1000 多個小時的多傳感器驅(qū)動數(shù)據(jù)集樣本。
LISA: Laboratory for Intelligent & Safe Automobiles, UC San Diego Datasets：此數(shù)據(jù)集包括交通標(biāo)志、車輛檢測、交通燈和軌跡模式。
如果你知道本文中有哪些漏掉的重要數(shù)據(jù)集，歡迎留言補充。
原文鏈接：https://gengo.ai/articles/the-50-best-free-datasets-for-machine-learning/
本文為機器之心編譯，轉(zhuǎn)載請聯(lián)系本公眾號獲得授權(quán)。
?------------------------------------------------
加入機器之心（全職記者 / 實習(xí)生）：hr@jiqizhixin.com
投稿或?qū)で髨蟮溃?strong>content@jiqizhixin.com
廣告 & 商務(wù)合作：bd@jiqizhixin.com
聯(lián)系客服
