機(jī)器之心報道
機(jī)器之心編輯部
今年 5 月份，F(xiàn)8 大會的第二天中，F(xiàn)acebook 曾宣布 PyTorch1.0 即將與大家見面，這是繼先前發(fā)布 0.4.0 后的一次較大調(diào)整。今日，在首屆 PyTorch 開發(fā)者大會上，F(xiàn)acebook 宣布了有關(guān)該框架生態(tài)一系列更新，包括軟件、硬件和教育方面的合作。于此同時，PyTorch 1.0 預(yù)覽版也正式發(fā)布了。
項(xiàng)目鏈接：https://github.com/pytorch/pytorch/releases
據(jù)介紹，PyTorch 1.0 加速了產(chǎn)品化 AI 突破性研究的進(jìn)程。從亞馬遜、谷歌、微軟的深度云服務(wù)支持，到緊密結(jié)合 ARM、英特爾、IBM、英偉達(dá)和高通等技術(shù)方，開發(fā)者們能夠更輕松的利用 PyTorch 兼容了軟件、硬件和開發(fā)工具的生態(tài)。Facebook 表示，PyTorch 1.0 融合越多的軟件和硬件，開發(fā)者能夠越容易地快速建立、訓(xùn)練、部署頂級的深度學(xué)習(xí)模型。
「我們在 PyTorch1.0 發(fā)布前解決了幾大問題包括：可重用、性能、編程語言和可擴(kuò)展性，」Facebook 人工智能副總裁 Jerome Pesenti 在發(fā)布會開場時表示?！傅牵琭acebook 認(rèn)為自身在開發(fā)深度學(xué)習(xí)框架道路上只行進(jìn)了 1%，我們希望 PyTorch 是以用戶為中心的，以社區(qū)為主要驅(qū)動力。」
PyTorch 1.0 主要新特性
據(jù)官方博客介紹，最新版本的 PyTorch 有了一系列重大更新，例如增加了一個全新的融合前端，它能夠追蹤來自 eager 模式的模型，并融合到圖模式中，從而彌補(bǔ)研究與產(chǎn)品部署直接的差距；增加了一個修訂過的 torch.distributed 庫，能夠讓開發(fā)者在 Python 和 C++環(huán)境中進(jìn)行更快的訓(xùn)練；增加了一個 eager 模式的 C++接口（beta 版）進(jìn)行關(guān)鍵性能研究。
首先是 torch.jit。據(jù)現(xiàn)場介紹，JIT 是一組編譯工具，它的目標(biāo)是彌補(bǔ)研究與產(chǎn)品部署的差距。JIT 包含一種名為 Torch Script 的語言，這種語言是 Python 的自語言。使用 Torch Script 的代碼可以實(shí)現(xiàn)非常大的優(yōu)化，并且可以序列化以供在后續(xù)的 C++API 中使用。
C++前端是連接 PyTorch 后段的純 C++接口，但它同時遵循已建立的 Python 前端 API 和架構(gòu)。C++前端的目標(biāo)在于實(shí)現(xiàn)高性能、低延遲的 C++應(yīng)用，因此它提供的接口等價于 Python 前端所采用 torch.nn 和 torch.optim 等。
其實(shí) Python 不一定比 C ++慢，Python 前端調(diào)用 C ++計算的成本很高（特別是數(shù)值型的運(yùn)算），這些運(yùn)算將在程序上花費(fèi)額外的時間。但是，如果你需要在低延遲、高性能或多線程的環(huán)境下部署產(chǎn)品，例如視頻游戲等，那么 Python 前端可能會存在一些問題，而 C ++前端就是來解決這些問題的。
在支持分布式訓(xùn)練方面，PyTorch1.0 同樣做了一系列更新。例如，增加了一個修訂過的 torch.distributed 庫，能夠讓開發(fā)者在 Python 和 C++環(huán)境中進(jìn)行更快的訓(xùn)練。目前，PyTorch 框架的模型在多 GPU 的條件下可以保持幾乎線性的計算效率提升。
PyTorch 1.0 在分布式訓(xùn)練方面的更新包括全新的后端設(shè)計和高度可擴(kuò)展的性能：
其中包括：
全新異步后端庫：C10D；
支持 Python 和 C++；
全后向兼容后端 Python API；
在關(guān)鍵工作負(fù)載上的頂點(diǎn)性能；
數(shù)據(jù)并行：單節(jié)點(diǎn)、多 GPU；
數(shù)據(jù)并行：多節(jié)點(diǎn)、多 GPU。
目前研究員和工程師們需要使用多個框架和工具來研究新的深度學(xué)習(xí)模型并把它們遷移到產(chǎn)品環(huán)境中大規(guī)模運(yùn)行，但這些框架或者工具大部分都是不兼容的。如此一來，大大拉慢了研究員或者工程師產(chǎn)品化突破性 AI 研究的速度。在最新版本中，F(xiàn)acebook 結(jié)合了 PyTorch 框架的靈活性與 Caffe2 的產(chǎn)品化能力，提供了從研究到產(chǎn)品的無縫對接。
對框架的開發(fā)者來說，幸運(yùn)的是，pytorch 的生產(chǎn)環(huán)境部分并不是從零開始開發(fā)的，F(xiàn)acebook 還有另一個面向業(yè)界的框架：caffe2。
PyTorch 生態(tài)的深度支持
除了宣布重要更新內(nèi)容，F(xiàn)acebook 還介紹了來自 PyTorch 1.0 生態(tài)的深度支持，這些支持既包括云服務(wù)又包括英偉達(dá)、高通、英特爾這樣的技術(shù)提供方。具體介紹如下：
從云平臺、產(chǎn)品到服務(wù)，AWS、谷歌和微軟加深了對 PyTorch 1.0 更穩(wěn)健的支持。例如，AWS 大規(guī)模訓(xùn)練、部署機(jī)器學(xué)習(xí)模型的全棧管理平臺 Amazon Sagemaker，現(xiàn)在能為 PyTorch 1.0 提供預(yù)配置環(huán)境，包括自動模型調(diào)優(yōu)這樣的強(qiáng)大能力。
谷歌正宣布其為 AI 開發(fā)者制定的多種軟件和硬件工具將與 PyTorch 1.0 實(shí)現(xiàn)集成。谷歌云平臺的深度學(xué)習(xí)虛擬機(jī)現(xiàn)在有一個新的 PyTorch 1.0 VM 鏡像文件，其預(yù)安裝了 NVIDIA 驅(qū)動與教程。谷歌同樣為 PyTorch 提供了張量處理單元（TPU），這是一種用于機(jī)器學(xué)習(xí)的定制化專用集成芯片（ASIC）。通過 Google Cloud TPU 團(tuán)隊(duì)和 PyTorch 團(tuán)隊(duì)的合作，目前基于 PyTorch 1.0 的模型能使用這種定制化的硬件了。
Facebook 的和微軟在早期提出了另一個重要的倡議，即開源的神經(jīng)網(wǎng)絡(luò)交換格式 ONNX，而現(xiàn)在微軟也進(jìn)一步致力于在機(jī)器學(xué)習(xí)產(chǎn)品套件中為 PyTorch 提供一流的支持。Azure 機(jī)器學(xué)習(xí)服務(wù)現(xiàn)在允許開發(fā)者將本地訓(xùn)練的 PyTorch 模型無縫遷移到 Azure cloud 上。對于數(shù)據(jù)科學(xué)實(shí)驗(yàn)，微軟提供了預(yù)配置的數(shù)據(jù)科學(xué)虛擬機(jī)（DSVM），該虛擬機(jī)預(yù)安裝了 PyTorch。對于希望探索 PyTorch，但又不希望安裝軟件和配置本地環(huán)境的開發(fā)者，Azure Notebooks 提供了免費(fèi)的云 Jupyter Notebooks，開發(fā)者可以直接試驗(yàn) PyTorch 教程和代碼。最后，Visual Studio Code 的 AI 擴(kuò)展工具為 Azure ML 和 PyTorch APIs 提供了緊密的集成，它們可以簡化 PyTorch 代碼的開發(fā)與訓(xùn)練。
此外除了軟件和云服務(wù)提供商，對于 ARM、IBM、Intel、NVIDIA 和高通等技術(shù)伙伴，F(xiàn)acebook 還會通過直接優(yōu)化、kernel 庫的集成、以及優(yōu)化編譯器和推理運(yùn)行時等其他工具為 PyTorch 1.0 提供支持。這些額外的支持能確保 PyTorch 可以在數(shù)據(jù)中心和邊緣設(shè)備的各種硬件上正常運(yùn)行，且模型也能在這些硬件上實(shí)現(xiàn)訓(xùn)練和推斷的優(yōu)化。
為未來的 AI 開發(fā)者提供學(xué)習(xí)資源
除了加強(qiáng) PyTorch 部署 AI 研究的能力，通過教育與課程方式推廣 PyTorch 也是 Facebook 打造深度學(xué)習(xí)框架的一大利器。
據(jù)介紹，目前 PyTorch 已經(jīng)通過在線視頻和大學(xué)課程為眾多的學(xué)生提供深度學(xué)習(xí)框架，很多教育提供方也都采用它作為教學(xué)框架。PyTorch 框架的易用性及與 Python 深度集成的特性令它非常容易實(shí)現(xiàn)各種深度學(xué)習(xí)概念，學(xué)生可以通過它快速理解和實(shí)驗(yàn)深度模型。
此外，Udacity 正與 Facebook 合作，他們希望讓開發(fā)者能免費(fèi)學(xué)習(xí)深度學(xué)習(xí)入門課程，這些課程完全使用 PyTorch 作為框架。Facebook 還將贊助 300 名成功完成該中級課程的學(xué)生繼續(xù)在 Udacity 中完成深度學(xué)習(xí)納米學(xué)位項(xiàng)目，該計劃已經(jīng)修改為在 PyTorch 1.0 上運(yùn)行。
Fast.ai 同樣使用 PyTorch 框架，并提供免費(fèi)的深度學(xué)習(xí)入門、高級和機(jī)器學(xué)習(xí)課程，F(xiàn)astai 是第一個宣布基于 PyTorch 1.0 的開源軟件庫。該軟件庫能提供高準(zhǔn)確率和快速的深度學(xué)習(xí)模型，并只需要非常少量的代碼，這些都令深度學(xué)習(xí)對于入門者和有經(jīng)歷的開發(fā)者更加友好。
小結(jié)
從 2015 年谷歌開源 TensorFlow 開始，深度學(xué)習(xí)框架之爭越來越越激烈，全球多個看重 AI 研究與應(yīng)用的科技巨頭均在加大這方面的投入。從 2017 年年初發(fā)布以來，PyTorch 可謂是異軍突起，短短時間內(nèi)取得了一系列成果，成為了其中的明星框架。
Facebook 表示，PyTorch 1.0 是自推出以來最重要的版本，1.0 意味著框架版本已經(jīng)非常穩(wěn)定、成熟、有保證了。今天發(fā)布的 preview 版，其中 90% 的功能已經(jīng)能夠應(yīng)對業(yè)界的考驗(yàn)。
「1.0 是讓 PyTorch 進(jìn)入生產(chǎn)環(huán)境的第一步，開發(fā)者們還會在未來繼續(xù)推進(jìn)它的發(fā)展?！笷acebook 研究工程師 Soumith Chintala 在發(fā)布會上表示，「PyTorch 1.0 的最終穩(wěn)定版會在 NIPS2018 大會之前發(fā)布?！?em>
預(yù)覽版安裝地址： https://pytorch.org/get-started/locally/
機(jī)器之心《全球500強(qiáng)上市公司人工智能戰(zhàn)略適應(yīng)性報告》重磅發(fā)布。17個行業(yè)，140家上市公司，縱覽500強(qiáng)落地人工智能的成與敗。
聯(lián)系客服
