首先,在搜索數(shù)據(jù)集時要記住這幾點:
話不多說,開始吧!
數(shù)據(jù)集查找器
1、Kaggle:一個包含各種外部貢獻數(shù)據(jù)集的數(shù)據(jù)科學(xué)網(wǎng)站。你可以在其主列表中找到各種合適的數(shù)據(jù)集,從拉面評級到籃球數(shù)據(jù),甚至是西雅圖寵物許可證,應(yīng)有盡有。
https://www.kaggle.com/
2、UCI 機器學(xué)習庫:網(wǎng)絡(luò)上最古老的數(shù)據(jù)集源之一,是尋找有趣的數(shù)據(jù)集的第一站。雖然這里的數(shù)據(jù)集是用戶貢獻的,因此清潔度不一,但絕大多數(shù)都是干凈的。你可以直接從 UCI 機器學(xué)習庫下載數(shù)據(jù),無需注冊。
http://mlr.cs.umass.edu/ml/
一般數(shù)據(jù)集
政府公開數(shù)據(jù)集
3、Data.gov:該網(wǎng)站可以從多個美國政府機構(gòu)下載數(shù)據(jù)。數(shù)據(jù)范圍從政府預(yù)算到學(xué)校績效分數(shù)。但請注意:大部分數(shù)據(jù)有待進一步研究。
https://www.data.gov/
4、食物環(huán)境地圖集:包含當?shù)厥澄镞x擇如何影響美國飲食的數(shù)據(jù)。
https://catalog.data.gov/dataset/food-environment-atlas-f4a22
5、學(xué)校系統(tǒng)財務(wù):對美國學(xué)校系統(tǒng)財務(wù)狀況的調(diào)查。
https://catalog.data.gov/dataset/annual-survey-of-school-system-finances
6、慢性病數(shù)據(jù):美國各地區(qū)慢性病指標數(shù)據(jù)。
https://catalog.data.gov/dataset/u-s-chronic-disease-indicators-cdi-e50c9
7、美國國家教育統(tǒng)計中心:來自美國和世界各地的教育機構(gòu)和教育人口統(tǒng)計數(shù)據(jù)。
https://nces.ed.gov/
8、英國數(shù)據(jù)服務(wù):英國最大的社會、經(jīng)濟和人口數(shù)據(jù)集。
https://www.ukdataservice.ac.uk/
9、Data USA:美國公共數(shù)據(jù)的全面可視化。
http://datausa.io/
金融與經(jīng)濟
10、Quandl:經(jīng)濟和金融數(shù)據(jù)很好的數(shù)據(jù)源,有助于建立預(yù)測經(jīng)濟指標或股票價格模型。
https://www.quandl.com/
11、世界銀行開放數(shù)據(jù):涵蓋全球人口統(tǒng)計數(shù)據(jù)和大量經(jīng)濟和發(fā)展指標的數(shù)據(jù)集。
https://data.worldbank.org/
12、國際貨幣基金組織數(shù)據(jù):國際貨幣基金組織公布的有關(guān)國際金融、債務(wù)利率、外匯儲備、商品價格和投資的數(shù)據(jù)。
https://www.imf.org/en/Data
13、金融時報市場數(shù)據(jù):來自世界各地的金融市場最新信息,包括股票價格指數(shù)、商品和外匯。
https://markets.ft.com/data/
14、谷歌趨勢:檢查和分析世界各地的互聯(lián)網(wǎng)搜索活動和熱門新聞報道的數(shù)據(jù)。
https://trends.google.com/trends/?q=google&ctab=0&geo=all&date=all&sort=0
15、美國經(jīng)濟協(xié)會(AEA):尋找美國宏觀經(jīng)濟數(shù)據(jù)的良好來源。
https://www.aeaweb.org/resources/data/us-macro-regional
機器學(xué)習數(shù)據(jù)集
圖像
16、Labelme:帶圖像標注的大型數(shù)據(jù)集。
http://labelme.csail.mit.edu/Release3.0/browserTools/php/dataset.php
17、ImageNet:業(yè)界最新算法圖像數(shù)據(jù)集。根據(jù) WordNet 層次結(jié)構(gòu)進行組織,其中層次結(jié)構(gòu)的每個節(jié)點由數(shù)百和數(shù)千個圖像描述。
http://image-net.org/
18、LSUN:有眾多輔助任務(wù)的場景理解(房間布局估計、特點預(yù)測等)
http://lsun.cs.princeton.edu/2016/
19、MS COCO:通用圖像理解和字幕。
http://mscoco.org/
20、COIL100:100 個不同的物體,在 360 度旋轉(zhuǎn)的每個角度成像。
http://www1.cs.columbia.edu/CAVE/software/softlib/coil-100.php
21、視覺基因組:非常詳細的視覺知識庫,帶有~100K 圖像的字幕。
http://visualgenome.org/
22、谷歌的開放圖像:在知識共享版權(quán)下的 900 萬個圖像網(wǎng)址集合,“超過 6000 個類別標簽注釋”。
https://ai.googleblog.com/2016/09/introducing-open-images-dataset.html
23、Labelled Faces in the Wild:13,000 張人臉標記圖像,用于開發(fā)人臉識別應(yīng)用程序。
http://vis-www.cs.umass.edu/lfw/
24、斯坦福狗數(shù)據(jù)集:包含 20,580 張圖片和 120 種不同的狗品種。
http://vision.stanford.edu/aditya86/ImageNetDogs/
25、室內(nèi)場景識別:一種非常特殊的數(shù)據(jù)集,因為大多數(shù)場景識別模型都最好建立在“室外”,這個數(shù)據(jù)集非常實用。包含 67 個室內(nèi)類別,總共 15620 張圖像。
http://web.mit.edu/torralba/www/indoor.html
情緒分析
26、多域情緒分析數(shù)據(jù)集:一個有點老舊的數(shù)據(jù)集,其中包含來自亞馬遜的產(chǎn)品評論。
http://www.cs.jhu.edu/~mdredze/datasets/sentiment/
27、IMDB 評論:一個較舊的,相對較小的二元情緒分類數(shù)據(jù)集,包含 25,000 個電影評論。
http://ai.stanford.edu/~amaas/data/sentiment/
28、斯坦福情緒樹庫:帶有情感注釋的標準情緒數(shù)據(jù)集。
http://nlp.stanford.edu/sentiment/code.html
29、Sentiment140:一個流行的數(shù)據(jù)集,使用 160,000 條預(yù)先刪除表情符號的推文。
http://help.sentiment140.com/for-students/
30、Twitter 美國航空公司情緒:2015 年 2 月美國航空公司的 Twitter 數(shù)據(jù),分類為正面、負面和中性推文。
https://www.kaggle.com/crowdflower/twitter-airline-sentiment
自然語言處理
31、安然數(shù)據(jù)集:來自安然高級管理層的電子郵件數(shù)據(jù),以文件夾形式分類存放。
https://www.cs.cmu.edu/~./enron/
32、亞馬遜評論:包含亞馬遜 18 年來約 3500 萬條評論。數(shù)據(jù)包括產(chǎn)品和用戶信息、評級和明文審核。
https://snap.stanford.edu/data/web-Amazon.html
33、Google Books Ngrams:Google 圖書中的一系列文字。
https://aws.amazon.com/datasets/google-books-ngrams/
34、Blogger Corpus:收集了來自 blogger.com 的 681288 篇博文。每個博客至少包含 200 個常用英語單詞。
http://u.cs.biu.ac.il/~koppel/BlogCorpus.htm
35、維基百科鏈接數(shù)據(jù):維基百科全文。該數(shù)據(jù)集包含來自 400 多萬篇文章的近 19 億個單詞。你可以按段落、短語或段落本身的一部分進行搜索。
https://code.google.com/archive/p/wiki-links/downloads
36、Gutenberg 電子書列表:Project Gutenberg 的電子書注釋列表。
http://www.gutenberg.org/wiki/Gutenberg:Offline_Catalogs
37、加拿大議會議事錄:來自第 36 屆加拿大議會記錄的 130 萬對文本。
http://www.isi.edu/natural-language/download/hansard/
38、Jeopardy:來自有獎競猜節(jié)目 Jeopardy 的超過 200,000 個問題歸檔。
https://www.reddit.com/r/datasets/comments/1uyd0t/200000_jeopardy_questions_in_a_json_file/
39、英語短信垃圾郵件集:由 5574 條英文短信垃圾郵件組成的數(shù)據(jù)集。
http://www.dt.fee.unicamp.br/~tiago/smsspamcollection/
40、Yelp 評論:Yelp 發(fā)布的一個開放數(shù)據(jù)集,包含超過 500 萬條評論。
https://www.yelp.com/dataset
41、UCI 垃圾郵件集:一個大型垃圾郵件數(shù)據(jù)集,對垃圾郵件過濾非常有用。
https://archive.ics.uci.edu/ml/datasets/Spambase
更詳細列表:
https://gengo.ai/datasets/the-best-25-datasets-for-natural-language-processing/
自動駕駛
42、Berkeley DeepDrive BDD100k:目前是自動駕駛 AI 的最大數(shù)據(jù)集。包含超過 100000 個視頻,包括一天中不同時段和天氣條件下超過 1100 小時的駕駛體驗。帶注釋的圖像來自紐約和舊金山地區(qū)。
http://bdd-data.berkeley.edu/
43、百度 Apolloscapes:大型數(shù)據(jù)集,定義了 26 種不同的語義項目,如汽車、自行車、行人、建筑物、路燈等。
http://apolloscape.auto/
44、Comma.ai:超過 7 小時的高速公路駕駛數(shù)據(jù)。細節(jié)包括汽車的速度、加速度、轉(zhuǎn)向角和 GPS 坐標。
https:///details/comma-dataset
45、牛津的機器人汽車:在英國牛津的同一條路線重復(fù)行駛 100 多次、耗時一年多收集的數(shù)據(jù)集。該數(shù)據(jù)集包含天氣、交通和行人的不同組合,以及建筑和道路工程等長期變化。
http://robotcar-dataset.robots.ox.ac.uk/
46、城市景觀數(shù)據(jù)集:一個大型數(shù)據(jù)集,記錄 50 個不同城市的城市街景。
https://www.cityscapes-dataset.com/
47、CSSAD 數(shù)據(jù)集:此數(shù)據(jù)集對于自動駕駛車輛的感知和導(dǎo)航非常有用。但該數(shù)據(jù)集嚴重偏向發(fā)達國家的道路情況。
http://aplicaciones.cimat.mx/Personal/jbhayet/ccsad-dataset
48、KUL 比利時交通標志數(shù)據(jù)集:比利時法蘭德斯地區(qū)數(shù)以千計的物理交通標志,有超過 10000 多個交通標志注釋。
http://www.vision.ee.ethz.ch/~timofter/traffic_signs/
49、麻省理工學(xué)院實驗室:在 AgeLab 收集的 1000 多個小時多傳感器駕駛數(shù)據(jù)集的樣本。
http://lexfridman.com/automated-synchronization-of-driving-data-video-audio-telemetry-accelerometer/
50、LISA:智能和安全汽車實驗室,加州大學(xué)圣地亞哥分校數(shù)據(jù)集:該數(shù)據(jù)集包括交通標志、車輛檢測、交通信號燈和軌跡模式。
http://cvrr.ucsd.edu/LISA/datasets.html
原文鏈接:
https://gengo.ai/datasets/the-50-best-free-datasets-for-machine-learning/
聯(lián)系客服