夜夜爽一区二区三区精品,天天曰天天操

在機(jī)器學(xué)習(xí)中，尋找數(shù)據(jù)集也是非常重要的一步。質(zhì)量高或者相關(guān)性高的數(shù)據(jù)集對模型的訓(xùn)練是非常有幫助的。

那么用于機(jī)器學(xué)習(xí)的開放數(shù)據(jù)集有哪些呢？文摘菌給大家推薦一份高質(zhì)量的數(shù)據(jù)集，這些數(shù)據(jù)集或者涵蓋范圍廣泛（比如 Kaggle），或者非常細(xì)化（比如自動駕駛汽車的數(shù)據(jù)）。

首先，在搜索數(shù)據(jù)集時，在卡內(nèi)基·梅隆大學(xué)有以下說法：

數(shù)據(jù)集不應(yīng)混亂，因為你不希望花費(fèi)大量時間清理數(shù)據(jù)。
數(shù)據(jù)集不應(yīng)該有太多行或列，因此很容易使用。
數(shù)據(jù)越干凈越好 —— 清洗大型數(shù)據(jù)集相當(dāng)耗時。
數(shù)據(jù)可以解答一些有趣的問題。

數(shù)據(jù)集查找器

Kaggle：Kaggle是由聯(lián)合創(chuàng)始人、首席執(zhí)行官安東尼·高德布盧姆（Anthony Goldbloom）2010年在墨爾本創(chuàng)立的，主要為開發(fā)商和數(shù)據(jù)科學(xué)家提供舉辦機(jī)器學(xué)習(xí)競賽、托管數(shù)據(jù)庫、編寫和分享代碼的平臺。該平臺已經(jīng)吸引了80萬名數(shù)據(jù)科學(xué)家的關(guān)注。

在這個平臺中可以找到各種數(shù)據(jù)，從拉面的評分、籃球數(shù)據(jù)，到西雅圖的寵物牌照應(yīng)有盡有。

https://www.kaggle.com/

UCI機(jī)器學(xué)習(xí)庫（UCI Machine Learning Repository）：這是網(wǎng)絡(luò)上最早的數(shù)據(jù)集來源之一，是尋找各種有趣數(shù)據(jù)集的第一選擇。雖然用戶提供的數(shù)據(jù)集的清潔度不太一樣，但絕大多數(shù)都是干凈的。我們可以從 UCI 機(jī)器學(xué)習(xí)庫直接下載數(shù)據(jù)，無需注冊。

http://mlr.cs.umass.edu/ml/

VisualData：在這里計算機(jī)視覺數(shù)據(jù)集按類別分組，并且支持搜索查詢。

https://www.visualdata.io/

公共政府?dāng)?shù)據(jù)集

Data.gov：在這里可以下載到多個美國政府機(jī)構(gòu)的數(shù)據(jù)。從政府預(yù)算到學(xué)校成績。但要注意的是，很多數(shù)據(jù)還有待進(jìn)一步研究。

https://www.data.gov/

食品環(huán)境地圖集（Food Environment Atlas）：當(dāng)?shù)氐氖澄镞x擇如何影響美國飲食的數(shù)據(jù)。

https://catalog.data.gov/dataset/food-environment-atlas-f4a22

學(xué)校系統(tǒng)財務(wù)狀況（School system finances）：這里有美國學(xué)校系統(tǒng)財務(wù)狀況的調(diào)查。

https://catalog.data.gov/dataset/annual-survey-of-school-system-finances

慢性病數(shù)據(jù)（Chronic disease data）：美國各地慢性病指標(biāo)的數(shù)據(jù)。

https://catalog.data.gov/dataset/u-s-chronic-disease-indicators-cdi-e50c9

美國國家教育統(tǒng)計中心（The US National Center for Education Statistics）：來自美國和世界各地的教育機(jī)構(gòu)和教育人口統(tǒng)計數(shù)據(jù)。

https://nces.ed.gov/

英國數(shù)據(jù)服務(wù)：英國最大的社會、經(jīng)濟(jì)和人口數(shù)據(jù)收集機(jī)構(gòu)。

https://www.ukdataservice.ac.uk/

數(shù)據(jù)美國（Data USA）：全面的、可視化的美國公共數(shù)據(jù)。

http://datausa.io/

金融和經(jīng)濟(jì)

Quandl：?里面有很多經(jīng)濟(jì)和金融數(shù)據(jù)，你可以使用這些數(shù)據(jù)建立預(yù)測經(jīng)濟(jì)指標(biāo)或股價的模型。

https://www.quandl.com/

世界銀行開放數(shù)據(jù)（World Bank Open Data）：涵蓋世界各地人口統(tǒng)計、大量經(jīng)濟(jì)和發(fā)展指標(biāo)的數(shù)據(jù)集。

https://data.worldbank.org/

貨幣基金組織的數(shù)據(jù)（IMF Data）：國際貨幣基金組織公布關(guān)于國際金融、債務(wù)率、外匯儲備、商品價格和投資的數(shù)據(jù)。

https://www.imf.org/en/Data

英國金融時報金融時報市場數(shù)據(jù)（Financial Times Market Data：）：里面有來自世界各地的最新金融市場信息，包括股票價格指數(shù)、商品和外匯。

https://markets.ft.com/data/

谷歌趨勢（Google Trends）：觀察和分析有關(guān)互聯(lián)網(wǎng)搜索活動和世界各地新聞故事趨勢的數(shù)據(jù)。

http://www.google.com/trends?q=google&ctab=0&geo=all&date=all&sort=0

美國經(jīng)濟(jì)協(xié)會(AEA)：這這里你可以找到美國宏觀經(jīng)濟(jì)的相關(guān)數(shù)據(jù)。

https://www.aeaweb.org/resources/data/us-macro-regional

機(jī)器學(xué)習(xí)數(shù)據(jù)集

Labelme：數(shù)據(jù)集中包含大量有標(biāo)注的圖像數(shù)據(jù)。

http://labelme.csail.mit.edu/Release3.0/browserTools/php/dataset.php

ImageNet： 是一個用于視覺對象識別軟件研究的大型可視化數(shù)據(jù)庫。超過1400萬的圖像URL被ImageNet手動注釋。根據(jù) WordNet 層次結(jié)構(gòu)來組織，其中層次結(jié)構(gòu)的每個節(jié)點(diǎn)都由成百上千個圖像來描述。

http://image-net.org/

LSUN：場景理解與許多輔助任務(wù)（房間布局估計，顯著性預(yù)測等）

http://lsun.cs.princeton.edu/2016/

MS COCO：通用圖像的理解和文字描述。

http://mscoco.org/

COIL 100：在 360 度旋轉(zhuǎn)中以各個角度成像的 100 個不同的物體。

http://www1.cs.columbia.edu/CAVE/software/softlib/coil-100.php

視覺基因組：非常詳細(xì)的視覺知識庫，配以0 萬張帶有文字描述的圖像。

http://visualgenome.org/

谷歌的Open Images：“知識共享”（Creative Commons）下的900萬個圖像網(wǎng)址集合，已標(biāo)注超過6,000個類別的標(biāo)簽。

https://research.googleblog.com/2016/09/introducing-open-images-dataset.html

Labelled Faces in the Wild：13,000個人臉標(biāo)記圖像，用于開發(fā)涉及面部識別的應(yīng)用程序。

http://vis-www.cs.umass.edu/lfw/

Stanford Dogs Dataset：包含20580張圖片和120個不同的狗品種類別。

http://vision.stanford.edu/aditya86/ImageNetDogs/

室內(nèi)場景識別（Indoor Scene Recognition）：這是一個非常細(xì)化的數(shù)據(jù)集，由于大多數(shù)在“戶外”場景中表現(xiàn)良好的場景識別模型在室內(nèi)表現(xiàn)不佳，因而這個數(shù)據(jù)集非常有用。內(nèi)有 67 個室內(nèi)類別，共 15,620 張圖像。

http://web.mit.edu/torralba/www/indoor.html

情感分析

多域情感分析數(shù)據(jù)集（Multidomain sentiment analysis dataset）：一個比較有歷史的數(shù)據(jù)集，里面還有一些來自亞馬遜的產(chǎn)品評論。

http://www.cs.jhu.edu/~mdredze/datasets/sentiment/

IMDB： 影評，也是比較有歷史的二元情緒分類數(shù)據(jù)集、數(shù)據(jù)規(guī)模相對較小，里面有 25,000 條電影評論。

http://ai.stanford.edu/~amaas/data/sentiment/

斯坦福情感樹銀行（Stanford Sentiment Treebank）：帶有情感注釋的標(biāo)準(zhǔn)情緒數(shù)據(jù)集。

http://nlp.stanford.edu/sentiment/code.html

Sentiment140：一個流行的數(shù)據(jù)集，它使用16萬條推文，并把表情等等符號剔除了。

http://help.sentiment140.com/for-students/

Twitter 美國航空公司情緒數(shù)據(jù)集 (Twitter US Airline Sentiment)：自 2015 年 2 月以來美國航空公司的 Twitter 數(shù)據(jù)，分類為正面、負(fù)面和中性推文。

https://www.kaggle.com/crowdflower/twitter-airline-sentiment

自然語言處理

安然數(shù)據(jù)集：里面有安然集團(tuán)高級管理層的電子郵件數(shù)據(jù)。

https://www.cs.cmu.edu/~./enron/

亞馬遜評論：里面有3500萬條來自亞馬遜的評論，時間長度為18年。數(shù)據(jù)包括產(chǎn)品和用戶信息、評級等。

https://snap.stanford.edu/data/web-Amazon.html

Google Books Ngram：來自Google書籍的詞匯集合。

https://aws.amazon.com/datasets/google-books-ngrams/

博客語料庫：從blogger.com收集的681，288篇博客文章。每個博客至少包含200個常用的英語單詞。

http://u.cs.biu.ac.il/~koppel/BlogCorpus.htm

維基百科鏈接數(shù)據(jù)（Wikipedia Links data）：維基百科全文。該數(shù)據(jù)集包含來自400多萬篇文章，近19億字。你可以對字、短語或段落本身的一部分進(jìn)行搜索。

https://code.google.com/p/wiki-links/downloads/list

Gutenberg電子圖書列表：Project Gutenberg的附加注釋的電子書列表。

http://www.gutenberg.org/wiki/Gutenberg:Offline_Catalogs

加拿大議會的文本塊（Hansards text chunks of Canadian Parliament）：來自第36屆加拿大議會記錄的130萬對文本。

http：//www.isi.edu/natural-language/download/hansard/

危險邊緣 (Jeopardy)：來自問答游戲節(jié)目《危險邊緣》(Jeopardy) 的超過 20 萬個問題的存檔。

http://www.reddit.com/r/datasets/comments/1uyd0t/200000_jeopardy_questions_in_a_json_file/

英文SMS垃圾郵件收集（SMS Spam Collection in English）：包含5，574條英文垃圾郵件的數(shù)據(jù)集。

http://www.dt.fee.unicamp.br/~tiago/smsspamcollection/

Yelp評論（Yelp Reviews）：Yelp發(fā)布的一個開放數(shù)據(jù)集，包含超過500萬次評論。

https://www.yelp.com/dataset

UCI的垃圾郵件庫（UCI’s Spambase）：一個大型垃圾郵件數(shù)據(jù)集，用于垃圾郵件過濾。

https://archive.ics.uci.edu/ml/datasets/Spambase

自動駕駛

Berkeley DeepDrive BDD100k：這是目前最大的自動駕駛數(shù)據(jù)集。里面有超過 1,100 多個小時駕駛體驗的視頻，包含10 萬個在一天中不同時段以及在不同天氣條件下的數(shù)據(jù)。

http://bdd-data.berkeley.edu/

百度 Apolloscapes：大型數(shù)據(jù)集，定義了26種不同的語義項，如汽車，自行車，行人，建筑物，路燈等。

http://apolloscape.auto/

Comma.ai：超過7個小時的高速公路駕駛視頻。里面的數(shù)據(jù)包括汽車的速度、加速度、轉(zhuǎn)向角和GPS坐標(biāo)。

https:///details/comma-dataset

城市景觀數(shù)據(jù)集：記錄50個不同城市的城市街道場景的大型數(shù)據(jù)集。

https://www.cityscapes-dataset.com/

CSSAD數(shù)據(jù)集：包含自動車輛的感知和導(dǎo)航等數(shù)據(jù)，但著重于發(fā)達(dá)國家的道路。

http://aplicaciones.cimat.mx/Personal/jbhayet/ccsad-dataset

麻省理工學(xué)院AGE實(shí)驗室（MIT AGE Lab:）：在AgeLab收集的1,000多小時多傳感器駕駛數(shù)據(jù)集的樣本。

http://lexfridman.com/automated-synchronization-of-driving-data-video-audio-telemetry-accelerometer/

LISA：智能和安全汽車實(shí)驗室，加州大學(xué)圣地亞哥分校數(shù)據(jù)集：該數(shù)據(jù)集包括交通標(biāo)志，車輛檢測，交通信號燈和軌跡模式。

http://cvrr.ucsd.edu/LISA/datasets.html

博世小型交通燈數(shù)據(jù)集（Bosch Small Traffic Light Dataset）：用于深入學(xué)習(xí)的小交通燈數(shù)據(jù)集。

https://hci.iwr.uni-heidelberg.de/node/6132

Lara交通燈識別（LaRa Traffic Light Recognition）：巴黎交通燈的數(shù)據(jù)集。

http://www.lara.prd.fr/benchmarks/trafficlightsrecognition

WPI 數(shù)據(jù)集：交通燈、行人和車道檢測的數(shù)據(jù)集。

http://computing.wpi.edu/dataset.html

本站僅提供存儲服務(wù)，所有內(nèi)容均由用戶發(fā)布，如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容，請點(diǎn)擊舉報。