李杉 維金 編譯自 Google Blog
量子位 出品 | 公眾號(hào) QbitAI
谷歌AI Senior Fellow、谷歌大腦負(fù)責(zé)人Jeff Dean，按照慣例，今天開(kāi)始發(fā)布2017年度的谷歌大腦年度總結(jié)。
在這份已經(jīng)發(fā)布的總結(jié)中，Jeff Dean回顧了谷歌大腦團(tuán)隊(duì)過(guò)去一年的核心研究，以及在多個(gè)AI領(lǐng)域的研究進(jìn)展。
Jeff Dean還把相關(guān)研究的論文等一并附上，堪稱良心之作，值得收藏。
以下是最新發(fā)布的總結(jié)全文：
作為谷歌整體人工智能計(jì)劃的一部分，谷歌大腦團(tuán)隊(duì)致力于通過(guò)研究和系統(tǒng)工程，提升人工智能的技術(shù)水平。我們?nèi)ツ攴窒砹?016年的工作總結(jié)。從那以后，我們?cè)谔嵘龣C(jī)器智能這個(gè)長(zhǎng)期研究項(xiàng)目上繼續(xù)取得進(jìn)展，并與谷歌和Alphabet的多個(gè)團(tuán)隊(duì)合作，使用我們的研究成果來(lái)改善人們的生活。
我們將為2017年撰寫(xiě)兩篇總結(jié)文章，這是第一篇，包括我們的一些基礎(chǔ)研究工作，以及關(guān)于開(kāi)源軟件、數(shù)據(jù)集和機(jī)器學(xué)習(xí)的新硬件的更新。第二篇文章的重點(diǎn)是探討我們針對(duì)機(jī)器學(xué)習(xí)能產(chǎn)生巨大影響的領(lǐng)域展開(kāi)的深入研究，如醫(yī)療、機(jī)器人和一些基礎(chǔ)科學(xué)領(lǐng)域，以及我們?cè)趧?chuàng)造性、公平和包容等方面所作的工作，并讓你更加深入地了解我們。
我們團(tuán)隊(duì)的一個(gè)研究重點(diǎn)是促進(jìn)我們的理解力和提高我們解決機(jī)器學(xué)習(xí)領(lǐng)域新問(wèn)題的能力。以下是我們?nèi)ツ暄芯康膸状笾黝}。
AutoML
自動(dòng)化機(jī)器學(xué)習(xí)的目標(biāo)是開(kāi)發(fā)各種技術(shù)，讓計(jì)算機(jī)自動(dòng)解決新的機(jī)器學(xué)習(xí)問(wèn)題，而不需要人類機(jī)器學(xué)習(xí)專家逐一干預(yù)。如果我們有朝一日真的能有真正的智能系統(tǒng)，這就是我們所需的基本能力。
我們開(kāi)發(fā)了利用強(qiáng)化學(xué)習(xí)和進(jìn)化算法設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)的新方法。
AutoML在去年5月的2017 Google I/O開(kāi)發(fā)者大會(huì)上首次正式發(fā)布。這個(gè)新方法意在讓讓神經(jīng)網(wǎng)絡(luò)去設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)，谷歌希望能借AutoML來(lái)促進(jìn)深度學(xué)習(xí)開(kāi)發(fā)者規(guī)模的擴(kuò)張，讓設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)的人，從供不應(yīng)求的PhD，變成成千上萬(wàn)的普通工程師。
在AutoML中，一個(gè)主控的神經(jīng)網(wǎng)絡(luò)可以提出一個(gè)“子”模型架構(gòu)，并用特定的任務(wù)來(lái)訓(xùn)練這個(gè)子模型，評(píng)估它的性能，然后，主控收到反饋，并根據(jù)反饋來(lái)改進(jìn)下一個(gè)提出的子模型。
這個(gè)過(guò)程，簡(jiǎn)單來(lái)說(shuō)就是：生成新架構(gòu)-測(cè)試-提供反饋供主控網(wǎng)絡(luò)學(xué)習(xí)。在重復(fù)上千次后，主控網(wǎng)絡(luò)學(xué)會(huì)了哪些架構(gòu)能夠在已知驗(yàn)證集上得到更高的準(zhǔn)確率。
將此項(xiàng)工作擴(kuò)展到ImageNet最新分類和檢測(cè)結(jié)果中，并展示了如何自動(dòng)學(xué)習(xí)新的優(yōu)化算法和有效的激活函數(shù)。我們正積極與我們的云人工智能團(tuán)隊(duì)合作，將這項(xiàng)技術(shù)提供給谷歌客戶使用，并繼續(xù)在多方面推動(dòng)該研究。
去年11月，谷歌對(duì)AutoML進(jìn)行了升級(jí)。此前AutoML能設(shè)計(jì)出與人類設(shè)計(jì)的神經(jīng)網(wǎng)絡(luò)同等水平的小型神經(jīng)網(wǎng)絡(luò)，但始終被限制在CIFAR-10和Penn Treebank等小型數(shù)據(jù)集上。
為了讓這種方法應(yīng)用到ImageNet中，研究人員對(duì)AutoML做了兩點(diǎn)調(diào)整，方便更容易地處理大型數(shù)據(jù)集。
相關(guān)論文：
Neural Optimizer Search with Reinforcement Learning
https://arxiv.org/abs/1709.07417
Searching for Activation Functions
https://arxiv.org/abs/1709.07417
語(yǔ)音理解和生成
另一個(gè)主題是開(kāi)發(fā)新技術(shù)，提高我們的計(jì)算系統(tǒng)在理解和生成人類語(yǔ)音方面的能力，包括我們與谷歌語(yǔ)音團(tuán)隊(duì)合作為一個(gè)端到端語(yǔ)音識(shí)別方法開(kāi)發(fā)了一系列改進(jìn)措施，把谷歌語(yǔ)音識(shí)別系統(tǒng)的相對(duì)詞錯(cuò)誤率降低了16%。這項(xiàng)工作有一個(gè)好處，那就是需要融合很多獨(dú)立的研究線索。
相關(guān)論文：
State-of-the-art Speech Recognition With Sequence-to-Sequence Models
https://arxiv.org/abs/1712.01769
Minimum Word Error Rate Training for Attention-based Sequence-to-Sequence Models
https://arxiv.org/abs/1712.01818
Multi-Dialect Speech Recognition With A Single Sequence-To-Sequence Model
https://arxiv.org/abs/1712.01541
Multilingual Speech Recognition With A Single End-To-End Model
https://arxiv.org/abs/1711.01694
Improving the Performance of Online Neural Transducer Modele
https://arxiv.org/abs/1712.01807
Monotonic Chunkwise Attention
https://arxiv.org/abs/1712.05382
Learning Hard Alignments with Variational Inference
https://arxiv.org/abs/1705.05524
No Need for a Lexicon? Evaluating the Value of the Pronunciation Lexica in End-to-End Models
https://arxiv.org/abs/1712.01864
An analysis of incorporating an external language model into a sequence-to-sequence model
https://arxiv.org/abs/1712.01996
△Listen-Attend-Spell端到端語(yǔ)音識(shí)別模型的部件
我們還和谷歌機(jī)器感知團(tuán)隊(duì)合作，開(kāi)發(fā)了一種進(jìn)行文字到語(yǔ)音生成的新方法：Tacotron 2。這種新方法極大地改進(jìn)了所生成語(yǔ)音的效果，模型達(dá)到的平均意見(jiàn)分（MOS）達(dá)到4.53，而你在有聲書(shū)里聽(tīng)到的那些專業(yè)人類播音員，MOS也只有4.58，以前，計(jì)算機(jī)合成語(yǔ)音的最佳成績(jī)是4.34。
Tacotron 2合成音頻試聽(tīng)：
https://google.github.io/tacotron/publications/tacotron2/index.html
△Tacotron 2模型架構(gòu)
新的機(jī)器學(xué)習(xí)算法和方法
我們繼續(xù)開(kāi)發(fā)新穎的機(jī)器學(xué)習(xí)算法和方法，包括對(duì)capsules的研究（在執(zhí)行視覺(jué)任務(wù)時(shí)，明確地尋找激活功能協(xié)議，以此作為一種評(píng)估不同噪聲假設(shè)的方法）。
相關(guān)報(bào)道：Hinton的Capsule論文終于公開(kāi)
相關(guān)論文：
Dynamic Routing between Capsules
https://research.google.com/pubs/pub46351.html
sparsely-gated mixtures of experts （這能實(shí)現(xiàn)仍然具有計(jì)算效率的大型模型）。
在這個(gè)研究中，新的神經(jīng)網(wǎng)絡(luò)層只需要很小的計(jì)算能力提升，便能高效地提升模型的能力。
相關(guān)論文：
Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer
https://arxiv.org/abs/1701.06538
hypernetworks（使用一個(gè)模型的權(quán)重來(lái)生成另一個(gè)模型的權(quán)重）。
相關(guān)論文：
HYPERNETWORKS
https://openreview.net/pdf?id=rkpACe1lx
新型多模模型（使用相同模型執(zhí)行音頻、視覺(jué)和文本輸入等多任務(wù)學(xué)習(xí)）。
相關(guān)報(bào)道：一個(gè)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)一切！
相關(guān)論文：
One Model To Learn Them All
https://arxiv.org/abs/1706.05137
基于注意力的機(jī)制（代替卷積和循環(huán)模型）。
相關(guān)論文：
Attention is All You Need
https://arxiv.org/pdf/1706.03762.pdf
符號(hào)和非符號(hào)學(xué)習(xí)優(yōu)化方法。
相關(guān)論文：
Neural Optimizer Search with Reinforcement Learning
http://proceedings.mlr.press/v70/bello17a/bello17a.pdf
Learned Optimizers that Scale and Generalize
https://arxiv.org/abs/1703.04813
一項(xiàng)通過(guò)離散變量反向傳播的技術(shù)。
相關(guān)論文：
Categorical Reparameterization with Gumbel-Softmax
https://arxiv.org/abs/1611.01144
以及對(duì)強(qiáng)化學(xué)習(xí)算法的一些改進(jìn)。
相關(guān)論文：
Bridging the Gap Between Value and Policy Based Reinforcement Learning
https://arxiv.org/pdf/1702.08892.pdf
計(jì)算機(jī)系統(tǒng)的機(jī)器學(xué)習(xí)
在計(jì)算機(jī)系統(tǒng)中用機(jī)器學(xué)習(xí)取代傳統(tǒng)的啟發(fā)式應(yīng)用也是我們非常感興趣的方向。我們已經(jīng)展示了如何使用強(qiáng)化學(xué)習(xí)在把計(jì)算機(jī)圖像映射到一組計(jì)算設(shè)備上的時(shí)候制定位置決策，效果比人類專家還好。
相關(guān)論文：
Bridging the Gap Between Value and Policy Based Reinforcement Learning
https://arxiv.org/pdf/1702.08892.pdf
我們與谷歌研究院的其他同事共同在“The Case for Learned Index Structures”中展示，神經(jīng)網(wǎng)絡(luò)不僅比傳統(tǒng)的數(shù)據(jù)結(jié)構(gòu)（B-樹(shù)、哈希表和Bloom過(guò)濾器）更快，而且也小得多。我們認(rèn)為，我們只是掌握了在核心計(jì)算系統(tǒng)中使用機(jī)器學(xué)習(xí)的皮毛。
相關(guān)報(bào)道：如何構(gòu)建未來(lái)的機(jī)器學(xué)習(xí)芯片
相關(guān)論文：
The Case for Learned Index Structures
https://arxiv.org/abs/1712.01208
隱私和安全
機(jī)器學(xué)習(xí)及其與安全與隱私的交互仍是我們研究的重點(diǎn)。在ICLR 2017的一篇得獎(jiǎng)?wù)撐闹?，我們展示了機(jī)器學(xué)習(xí)技術(shù)可以用于提供不同的隱私保障方式。
相關(guān)論文：
Semi-supervised Knowledge Transfer for Deep Learning from Private Training Data
https://arxiv.org/abs/1610.05755
我們還繼續(xù)調(diào)查了對(duì)抗樣例的特性，包括在現(xiàn)實(shí)世界中展示對(duì)抗樣例，以及如何在訓(xùn)練過(guò)程中規(guī)模化使用對(duì)抗樣例，使模型更適用于對(duì)抗樣例。
相關(guān)論文：
Adversarial examples in the physical world
https://research.google.com/pubs/pub45818.html
Adversarial Machine Learning at Scale
https://arxiv.org/abs/1611.01236
理解機(jī)器學(xué)習(xí)系統(tǒng)
雖然通過(guò)機(jī)器學(xué)習(xí)技術(shù)得到了漂亮的結(jié)果，但更重要的是理解機(jī)器學(xué)習(xí)在什么時(shí)候能發(fā)揮作用，什么時(shí)候無(wú)效。
在另一篇ICLR 2017最佳論文中，我們展示了，當(dāng)前機(jī)器學(xué)習(xí)理論框架無(wú)法解釋深度學(xué)習(xí)方法取得的出色結(jié)果。
相關(guān)論文：
Understanding deep learning requires rethinking generalization
https://openreview.net/forum?id=Sy8gdB9xx¬eId=Sy8gdB9xx
我們還展示了，通過(guò)優(yōu)化方法發(fā)現(xiàn)的最小值“平坦度”并不像最初想象中與良好的泛化方法密切相關(guān)。為了更好地理解深度框架中訓(xùn)練如何推進(jìn)，我們發(fā)布了一系列分析隨機(jī)矩陣的論文，因?yàn)檫@是大多數(shù)訓(xùn)練方法的出發(fā)點(diǎn)。
相關(guān)論文：
Nonlinear random matrix theory for deep learning
https://research.google.com/pubs/pub46342.html
理解深度學(xué)習(xí)的另一個(gè)重要途徑是更好地衡量性能。我們?cè)谧罱豁?xiàng)研究中比較了多種GAN方法，展示了良好的實(shí)驗(yàn)設(shè)計(jì)和統(tǒng)計(jì)嚴(yán)格性的重要性。許多GAN方法很熱門，被用于增強(qiáng)生成模型，但實(shí)際上并沒(méi)有帶來(lái)性能優(yōu)化。我們希望這項(xiàng)研究能給其他研究員帶來(lái)范例，幫助他們展開(kāi)健壯性更好的實(shí)驗(yàn)性研究。
我們正在開(kāi)發(fā)能對(duì)機(jī)器學(xué)習(xí)系統(tǒng)進(jìn)行更好表達(dá)的方法。去年3月，通過(guò)與OpenAI、DeepMind和YC Research等公司和機(jī)構(gòu)合作，我們推出了新的開(kāi)放科學(xué)在線雜志Distill，致力于支持人類對(duì)機(jī)器學(xué)習(xí)的理解。這份在線雜志的文章提供了清晰的機(jī)器學(xué)習(xí)概念，以及出色的交互式可視化工具。在推出第一年中，Distill發(fā)布了多篇有啟發(fā)性的文章，旨在幫助人們了解機(jī)器學(xué)習(xí)的各種內(nèi)部原理。我們期待2018年能帶來(lái)更多內(nèi)容。
△特征可視化
https://distill.pub/2017/feature-visualization/
△如何有效地使用t-SNE
MNIST、CIFAR-10、ImageNet、SVHN和WMD等開(kāi)放數(shù)據(jù)集快速推動(dòng)了機(jī)器學(xué)習(xí)的研究進(jìn)展。我們團(tuán)隊(duì)和谷歌研究院一起，在過(guò)去一年里一直積極探索開(kāi)放有趣的新數(shù)據(jù)集，用于開(kāi)源機(jī)器學(xué)習(xí)領(lǐng)域的研究。我們提供了規(guī)模更大的有標(biāo)簽數(shù)據(jù)集，其中包括：
YouTube-8M：大于700萬(wàn)個(gè)YouTube視頻，被標(biāo)注為4716個(gè)不同類別
https://research.google.com/youtube8m/
YouTube-Bounding Boxes：來(lái)自21萬(wàn)個(gè)YouTube視頻的500萬(wàn)個(gè)邊界框
https://research.google.com/youtube-bb/
Speech Commands Dataset：數(shù)千名講話者說(shuō)出的簡(jiǎn)短命令
https://research.googleblog.com/2017/08/launching-speech-commands-dataset.html
AudioSet：200萬(wàn)個(gè)10秒鐘YouTube短視頻，用527個(gè)不同聲音事件去標(biāo)記
https://research.google.com/audioset/
Atomic Visual Actions（AVA）：5.7萬(wàn)個(gè)視頻片段中的21萬(wàn)個(gè)動(dòng)作標(biāo)簽
https://research.google.com/ava/
Open Images：900萬(wàn)張獲得知識(shí)共享許可的圖片，被標(biāo)記為6000個(gè)類別
https://github.com/openimages/dataset
Open Images with Bounding Boxes：600個(gè)類別的120萬(wàn)邊界框
△YouTube-Bounding Boxes數(shù)據(jù)集示例
△TensorFlow全球用戶分布
http://jrvis.com/red-dwarf/?user=tensorflow&repo=tensorflow
在團(tuán)隊(duì)歷史上，我們開(kāi)發(fā)了一些工具，幫助我們?cè)诠雀璧亩喾N產(chǎn)品中開(kāi)展機(jī)器學(xué)習(xí)研究，部署機(jī)器學(xué)習(xí)系統(tǒng)。
2015年11月，我們開(kāi)源了第二代機(jī)器學(xué)習(xí)框架TensorFlow，希望讓機(jī)器學(xué)習(xí)界從我們的投入中受益。2月份，我們發(fā)布了TensorFlow 1.0。11月份，我們又發(fā)布了1.4版本，加入了以下重要內(nèi)容：用于交互式非典型編程的Eager Execution、針對(duì)TensorFlow程序優(yōu)化的編譯器XLA，以及用于移動(dòng)和嵌入式設(shè)備的輕量級(jí)解決方案TensorFlow Lite。
預(yù)編譯的TensorFlow二進(jìn)制文件已在180多個(gè)國(guó)家被下載了1000多萬(wàn)次，GitHub上的源代碼已有超過(guò)1200名貢獻(xiàn)者。
2月份，我們舉辦了首屆TensorFlow開(kāi)發(fā)者峰會(huì)，超過(guò)450人來(lái)到山景城現(xiàn)場(chǎng)參會(huì)，全球有6500多人觀看了在線直播，包括35個(gè)國(guó)家的超過(guò)85場(chǎng)本地觀看活動(dòng)。所有演講記錄了下來(lái)，主題包括新特性，使用TensorFlow的新技術(shù)，以及對(duì)低級(jí)TensorFlow抽象的詳細(xì)描述。
TensorFlow開(kāi)發(fā)者峰會(huì)2017演講視頻：
https://www.youtube.com/playlist?list=PLOU2XLYxmsIKGc_NBoIhTn2Qhraji53cv
我們將于2018年3月30日在舊金山灣區(qū)舉行另一場(chǎng)TensorFlow開(kāi)發(fā)者峰會(huì)?，F(xiàn)在你可以注冊(cè)，保存日期，追蹤最新消息。
TensorFlow開(kāi)發(fā)者峰會(huì)2017注冊(cè)地址：
https://services.google.com/fb/forms/tfds-2018-save-the-date/
△一個(gè)用TensorFlow玩石頭剪刀布的實(shí)驗(yàn)
我們很高興看見(jiàn)，2017年TensorFlow得到了廣泛應(yīng)用，包括黃瓜分揀的自動(dòng)化，在航拍照片中尋找海牛，對(duì)土豆進(jìn)行分揀確保兒童食品安全，協(xié)助翻譯新西蘭鳥(niǎo)類保護(hù)區(qū)的鳥(niǎo)叫聲，以及對(duì)坦桑尼亞最受歡迎根莖作物的病害進(jìn)行識(shí)別。
11月，TensorFlow作為開(kāi)源項(xiàng)目慶祝了兩周歲生日。我們很高興看到TensorFlow開(kāi)發(fā)者和用戶社區(qū)的興起和繁榮。TensorFlow目前是GitHub上排名第一的機(jī)器學(xué)習(xí)平臺(tái)，也是GitHub上的最火的五大代碼庫(kù)之一，被許多大大小小的企業(yè)和組織使用。
此外，GitHub上已有2.45萬(wàn)個(gè)與TensorFlow有關(guān)的不同代碼庫(kù)。目前的許多研究論文關(guān)于開(kāi)源代碼的TensorFlow實(shí)現(xiàn)，并提供了研究成果，幫助整個(gè)社區(qū)更容易地理解確切的研究方法，模仿或拓展相關(guān)工作。
Google Research其他團(tuán)隊(duì)的相關(guān)開(kāi)源工作也令TensorFlow受益，其中包括TF-GAN。這是個(gè)輕量級(jí)庫(kù)，用于TensorFlow、TensorFlow Lattice（一組用于晶格模型的估計(jì)工具），以及TensorFlow對(duì)象檢測(cè)API中的生成對(duì)抗模型。隨著模型數(shù)量的不斷增長(zhǎng)，TensorFlow模型庫(kù)也在繼續(xù)壯大。
TF-GAN
https://research.googleblog.com/2017/12/tfgan-lightweight-library-for.html
除TensorFlow之外，我們還發(fā)布了deeplearn.js，提供了一種在瀏覽器中配置深度學(xué)習(xí)API的開(kāi)源、硬件加速的方法（無(wú)需下載或安裝任何東西）。deeplearn.js的主頁(yè)提供了許多很好的范例，包括Teachable Machine（一種計(jì)算機(jī)視覺(jué)模型，可以用自己的攝像頭去訓(xùn)練）和Performance RNN（實(shí)現(xiàn)了基于實(shí)時(shí)神經(jīng)網(wǎng)絡(luò)的鋼琴作曲和表演）。2018年，我們將在此基礎(chǔ)上進(jìn)一步推進(jìn)，協(xié)助將TensorFlow模型直接部署至deeplearn.js環(huán)境。
相關(guān)鏈接：
Teachable Machine
https://teachablemachine.withgoogle.com/
Performance RNN
https://deeplearnjs.org/demos/performance_rnn
大約5年前，我們意識(shí)到，深度學(xué)習(xí)將極大地改變我們對(duì)硬件的需求。深度學(xué)習(xí)計(jì)算將帶來(lái)計(jì)算密集型任務(wù)，同時(shí)具備兩個(gè)特點(diǎn)：
一方面，它們主要由繁重的線性代數(shù)運(yùn)算（矩陣乘法、向量運(yùn)算等）組成；另一方面，它們對(duì)精度降低寬容度很高。
我們意識(shí)到，可以基于這兩大特點(diǎn)來(lái)構(gòu)建專用硬件，從而更高效地運(yùn)行神經(jīng)網(wǎng)絡(luò)計(jì)算。因此，我們向谷歌的平臺(tái)團(tuán)隊(duì)提供了設(shè)計(jì)輸入，而他們?cè)O(shè)計(jì)并開(kāi)發(fā)了第一代的“張量處理單元（TPU）”。這是一種單芯片ASIC，用于加速深度學(xué)習(xí)推理（與訓(xùn)練不同，推理用于已經(jīng)過(guò)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)）。
第一代TPU在數(shù)據(jù)中心的部署已有3年時(shí)間，谷歌搜索、谷歌翻譯、谷歌照片，以及AlphaGo中的深度學(xué)習(xí)模型就使用了這種芯片，同時(shí)也給許多其他研究項(xiàng)目和產(chǎn)品提供了計(jì)算能力。去年6月，我們?cè)贗SCA 2017上發(fā)表了一篇論文，表明第一代TPU要比同時(shí)代GPU或CPU快15到30倍，而性能功耗比則提升了30倍到80倍。
△用ImageNet訓(xùn)練ResNet-50的實(shí)驗(yàn)表明，隨著TPU數(shù)量的增長(zhǎng)，神經(jīng)網(wǎng)絡(luò)訓(xùn)練加速
推理很重要，但訓(xùn)練的加速是個(gè)更重要的問(wèn)題，同時(shí)也更困難。如果研究人員可以更快地嘗試新想法，那么我們就可以取得更多突破。
我們的第二代TPU于去年5月在谷歌I/O大會(huì)上發(fā)布，提供了完整的系統(tǒng)（包括訂制的ASIC芯片、電路板和連接方式），可以同時(shí)加速訓(xùn)練和推理。我們展示了單個(gè)設(shè)備的配置，以及包含多個(gè)機(jī)架的深度學(xué)習(xí)超級(jí)計(jì)算機(jī)配置，即TPU艙。我們宣布將通過(guò)谷歌云計(jì)算平臺(tái)提供第二代設(shè)備，即云TPU。我們還啟動(dòng)了TensorFlow研究云（TFRC）項(xiàng)目，向愿意將工作成果分享給全世界的頂級(jí)機(jī)器學(xué)習(xí)研究員提供包含1000個(gè)云TPU的計(jì)算集群。
12月，我們又展示了一項(xiàng)成果：用TPU艙去訓(xùn)練ResNet-50 ImageNet模型，并在22分鐘內(nèi)取得了高水平的精確度。而傳統(tǒng)工作站達(dá)到這樣的效果需要幾天甚至更長(zhǎng)時(shí)間。我們認(rèn)為，縮短研究周期將大大提高谷歌機(jī)器學(xué)習(xí)團(tuán)隊(duì)，以及所有使用云TPU的組織的效率。
如果你對(duì)云TPU、TPU艙和TensorFlow研究云感興趣，那么可以在 g.co/tpusignup 注冊(cè)，了解更多信息。我們很高興，2018年能讓更多工程師和研究員用上TPU。
原文：
https://research.googleblog.com/2018/01/the-google-brain-team-looking-back-on.html
這是Jeff Dean總結(jié)Google Brain 2017成就的上篇，他還會(huì)再寫(xiě)個(gè)下篇，談一談他們對(duì)機(jī)器學(xué)習(xí)應(yīng)用于醫(yī)療、機(jī)器人、各種科學(xué)研究、創(chuàng)造等領(lǐng)域的研究，也會(huì)談到Google Brain在公平性和包容性方面所做的工作。
See you later~
— 完 —
誠(chéng)摯招聘
聯(lián)系客服
