九色国产,午夜在线视频,新黄色网址,九九色综合,天天做夜夜做久久做狠狠,天天躁夜夜躁狠狠躁2021a,久久不卡一区二区三区

▼

出品 | 網(wǎng)易智能（公眾號smartman163）

期號 | 第79期（2018年訪于舊金山）

作者 | 定西

如今，AI芯片的戰(zhàn)火愈演愈烈，英特爾也是時候拿出自己的“深水炸彈”了，而這次天將降大任的就是最新版NNP芯片。

它的全名叫Nervana NNP-L1000（Spring Crest），支持bfloat16這一業(yè)界廣泛用于神經(jīng)網(wǎng)絡的數(shù)字格式，隨著時間的推移，英特爾將在AI產(chǎn)品線上擴展對bfloat16的支持，包括英特爾至強處理器和英特爾FPGA，英特爾Nervana NNP的目標是可實現(xiàn)高計算利用率并支持多芯片互連的真正模型并行。

主導這一產(chǎn)品的是英特爾AI產(chǎn)品事業(yè)部（AIPG），AIPG是英特爾人工智能的拳頭部門，負責策劃和執(zhí)行關(guān)于AI方面的研發(fā)和產(chǎn)品路線，其中，Carey Kloss是AI硬件的負責人，自1996年以來，他一直在芯片行業(yè)從事工作。

這位芯片專家來自Nervana，這家公司2016年并入英特爾麾下，他們幾乎撐起來了AIPG的半邊天，Carey和Nervana公司的CEO Naveen Rao一同加入英特爾，目前，Naveen Rao擔綱英特爾AI戰(zhàn)略總策劃師，任英特爾副總裁。

這次，關(guān)于更多新款AI云端芯片的問題，網(wǎng)易智能對Carey進行了專訪。

性能提升3到4倍 不畏懼競爭對手

問：Lake Crest和Spring Crest的主要區(qū)別是什么？

Carey：Lake Crest是先前的設計，是更穩(wěn)定的處理器。我們在創(chuàng)業(yè)時就開始使用它。進入更現(xiàn)代化的制程節(jié)點，我們集成了更多的Die（硅芯片），可以獲得更快的處理速度。

我們認為Lake Crest作為軟件開發(fā)工具（software development vehicle）更好,部分原因是因為我們?nèi)ブС至薭float?？蛻魧τ谀茉谥苯荧@得成果更興奮，而不是還需要在中間做一些工作。

關(guān)于Spring Crest的制程節(jié)點，我們尚未公布關(guān)于哪些產(chǎn)品使用制程節(jié)點的任何信息。因為需要一定的時間去制造硅片，也需要時間把硅片變成新的神經(jīng)網(wǎng)絡處理器，這是延遲到2019年上市的原因。

性能方面，Lake Crest作為我們第一代處理器，現(xiàn)在被用作軟件開發(fā)工具的時候，我們實現(xiàn)了在GEMM和卷積神經(jīng)上都實現(xiàn)了非常好的計算利用率。并且這不僅僅是96%吞吐量的利用率，而是在沒有充分定制化的情況下,我們也取得了大多數(shù)情況下實現(xiàn)GEMM高于80%的計算利用率,這也是很了不起的。

當我們開發(fā)Spring Crest這個下一代芯片時，我們保持高計算利用率，新的產(chǎn)品在性能上有3到4倍的性能提升。

問：此前Lake Crest的計算利用率達到了96％， 但Spring Crest的計算利用率稍微低了，這是為什么？

Carey：實際上這個是我的想法，把利用率適當下降，有些情況上確實可以實現(xiàn)98%。在沒有資源沖突，每個硅芯片都能完全運行的情況下，可以99%甚至100%計算利用率。

每個架構(gòu)都會有些情況能夠充分利用，無論它們現(xiàn)實與否。我想在Spring Crest幻燈片上展示的是，大多數(shù)情況下都能實現(xiàn)的利用率。我們當然可以展示在基準測試中獲得100%計算利用率的例子，但是我想表示的是很多用例都會有很高的利用率。

問：芯片晚些時候上市會給英特爾在市場競爭中造成不利影響嗎？

Carey：我認為我們逐步轉(zhuǎn)向bfloat是一個重要的考慮因素， 因為如果這就是市場需要的，那么我認為我們對它的反應很快， 我不知道我們的競爭對手的路線圖是什么，但我認為我們的反應速度相對較快，所以我認為我們不會在神經(jīng)網(wǎng)絡處理上處于劣勢。

bfloat最近變得更受歡迎，我所知道的是，在過去四個月中，有多個客戶來到我們這里并特別要求bfloat。

問：哪些類型的顧客或者行業(yè)對Spring Crest感興趣？

Carey：Spring Crest可以說是最高等級的Nervana神經(jīng)元處理器架構(gòu)。

因此，它有同樣的客戶，例如超大規(guī)模中心，超大規(guī)模CSP，已經(jīng)擁有相當強大的數(shù)據(jù)科學工作的大型企業(yè)客戶，例如政府和其他企業(yè)。

我想從另一種角度來回答這個問題，哪些客戶對此不感興趣。數(shù)據(jù)科學或人工智能還是比較新的，這是一個非常熱門，非常激動人心的領(lǐng)域，而且正在迅速改變。傳統(tǒng)的企業(yè)客戶可能擁有數(shù)據(jù)，但他們可能無法在其數(shù)據(jù)中心部署高端設備。我們作為英特爾提供的服務，以及我們的路線圖和我們的總體策略是提供整個產(chǎn)品組合。你可以基于nGraph和Xeon開始工作。你的數(shù)據(jù)中心已經(jīng)部署了英特爾至強處理器，那你沒有理由再去購買神經(jīng)網(wǎng)絡處理器或者其他類似產(chǎn)品。你有了至強并且圍繞至強做一些工作，你可以得到你的數(shù)據(jù)狀態(tài)。

但如果你發(fā)現(xiàn)神經(jīng)網(wǎng)絡可以幫助你，并且嘗試找到如何能夠讓它賺錢，這時候你可以說你更加嚴肅認真對待它，當然英特爾可以提供神經(jīng)網(wǎng)絡處理器產(chǎn)品，能夠讓你更嚴謹?shù)厝ミM行訓練?，F(xiàn)在你可以購買很多NNP產(chǎn)品，并可以運用相同的軟件棧，你可以獲得相同的優(yōu)化和優(yōu)化路徑，你可以為不同的硬件進行優(yōu)化。甚至你可以用不同的Crest或者Xeon，這取決你想要干什么?；蛘?，你已經(jīng)開始了訓練階段，你的數(shù)據(jù)科學家開始嘗試去訓練不同的模型，現(xiàn)在你的需求是大規(guī)模部署推理階段。 

重中之重是，不是一種解決方案滿足所有需求，如果你需求的是低延且小模型，至強就能幫助到你，它可以把數(shù)據(jù)從云到端手機起來。如果是一些大型模型，而不是只處理一種類型的數(shù)據(jù)，你需要一些更具體能夠進行推理的部署。這就是和我們今天早上宣布有關(guān)，這里潛在蘊含著，我們正計劃給數(shù)據(jù)中心提供推理加速，當然更多細節(jié)不能透露。

整合資源快速迭代 初始團隊只有45人

問：在開發(fā)新芯片的時候你們遇到了什么樣的困難？

Carey：我們先來談一下Lake Crest，我們創(chuàng)業(yè)初期就開始研發(fā)Lake Crest，我們整個團隊大概45人，當時正在構(gòu)建一個最大的Die（硅芯片），我們開發(fā)了Neon，我們還構(gòu)建了云棧，這些都是40-45人團隊所完成的。

這就是挑戰(zhàn)，公司成立在2014年，直到去年芯片才真正問世，3年的時間不短，現(xiàn)在一切都是新的，我們現(xiàn)在屬于英特爾，可以訪問英特爾的資源，流程也變得簡單，同時也有足夠的員工同時進行處理器多代開發(fā)，就像一個真正CPU公司。

我認為我已經(jīng)具備了明年取得成功所有要素，小團隊成長會有陣痛，我們花了很長時間才把第一批產(chǎn)品拿出來，但我們現(xiàn)在處于合理的節(jié)奏中，現(xiàn)在我們每年都會看到改進，當前我們的人員配置合理，資源配置合適，能夠更好的展開工作。

問：但整合所有需要的資源并不是一件容易的事吧？

Carey：當然不是一件容易的事情，但英特爾在將產(chǎn)品推出市場方面擁有豐富的經(jīng)驗，我曾經(jīng)在大大小小不同的公司工作過，英特爾這點讓我印象非常深刻，英特爾有迄今為止我見過的最佳的后硅培養(yǎng)（post-silicon bring-up）和架構(gòu)分析。出品芯片，我們有數(shù)百個系統(tǒng)同時運行。

而且，同事們夜以繼日協(xié)同工作，不僅僅來自Nervana的員工，6個月前剛加入的員工也是如此。當然讓數(shù)以百計的員工朝著同一個愿景工作是很困難的，但英特爾是我所經(jīng)歷過的做的更好的一家公司。

問：什么是Lake Crest編程模型？它與GPU相似嗎？

Carey：不是的，從高層面看，任何加速器都是一樣的，你有一個為特定的圖層編寫的內(nèi)核，將內(nèi)核放在設備里，然后將數(shù)據(jù)存儲在設備上，這就可以了。

所以從這個角度來看，它們都非常相似，在較低層面上，Lake Crest和Crest家族一般都沒有共享的二級緩存，它具有軟件控制的內(nèi)存，因此軟件工程師或者內(nèi)核開發(fā)工程師可以控制內(nèi)存中的內(nèi)容，控制其在內(nèi)存中保留的時間，控制從處理元件到處理元件的內(nèi)容，從芯片到芯片的內(nèi)容，它是靜態(tài)的，你無需處理緩存沖突等。

讓這成為可能的是，在深度學習中，你能提前知道所有的操作，內(nèi)核開發(fā)工程師能更輕松地保留數(shù)據(jù)，移動數(shù)據(jù)和優(yōu)化性能，我們可以這樣做，因為我們不需要做隨機指示，我可以提前知道指示。 

而這一切對數(shù)據(jù)科學家來說都是隱藏的，數(shù)據(jù)科學家從來不想圍繞GPU編碼，他們只是想要高速度，而Nervana GPU內(nèi)核就是這樣提供的，我們擁有世界上最快的GPU內(nèi)核，我們擁有與某些客戶合作的FT16內(nèi)核，這也是Nervana比硬件更為出名的地方，硬件實際上并沒有被討論，這些高速內(nèi)核使數(shù)據(jù)科學家能夠從當時的硬件中獲取最多的內(nèi)容，而無需被低水平細節(jié)所打擾，這是一種很好的模式，因為可以在不同的產(chǎn)品中改變計算機結(jié)構(gòu)，并且由于除了位于英特爾的專門核心團隊外，沒有人直接在硬件上編寫代碼，我們可以管理這一更改并且始終盡可能優(yōu)化硬件，可以添加說明，可以添加函數(shù)，可以改變事物的工作方式，可以在不影響數(shù)據(jù)科學的情況下更改bfloat。

積極應對行業(yè)變化 新芯片明年上市

問：數(shù)據(jù)科學家本身不關(guān)注硬件？

Carey：沒錯，我不認為數(shù)據(jù)科學家真正關(guān)心的是底層的問題，他們只是希望它速度很快，他們不會在乎法拉利是電動的還是混合動力的，是V12還是四缸發(fā)動機  他們只想在三秒鐘內(nèi)看到它從0到60。

問：nGraph與CUDA相比的優(yōu)勢是什么？

Carey：nGraph與CUDA還是不一樣的，CUDA你可以理解為 nGraph的底面，我們稱之為變壓器，nGraph通過一個固定的API接收來自TensorFlow、Caffe或MXNet的輸入，然后通過圖形編譯器進行性能優(yōu)化，排除一些不需要的東西，然后將其發(fā)送給CPU的MKL-DNN，所以CPU仍然使用MKL-DNN，即使在nGraph中也是如此，相似的，我們也需要為Crest的變壓器，我們也需要一個英特爾其他硬件的變壓器。

問：目前是否有關(guān)于Spring Crest的速度有多快的數(shù)據(jù)或基準？

Carey：我們暫時沒有公布具體數(shù)字，與Lake Crest相比，在性能上有3-4倍的提升，基于我們用客戶提供的Lake Crest反饋，我們在整個設計過程中提高了性能。

問：有人認為我們正處于部署算法的早期，你對算法的潛在變化有什么看法？

Carey：我認為算法和硬件之間有一點共生關(guān)系，反之亦然。

如果你往回看，過去的幾年，在GPU上的GEMM核心會很快，因此當時所有的深度學習都指出如何利用GEMM核心來進行工作，因為這也是GPU僅有可以很快進行處理的地方，如今，GPU上有很多新的核心，數(shù)據(jù)科學家指出許多新的寫入核心，我們的硬件處于兩者之間，它并沒有完全固定的函數(shù)，我們的硬件處理各種各樣的激勵函數(shù)，通過bfloat處理各種浮點運算，并且我們控制設備執(zhí)行超出當前浮點范圍的事情，你的GEMM，你的卷積神經(jīng)，將會得到超級優(yōu)化，我們不會像其他競爭對手一樣擁有固定的函數(shù)，我們不會像GPU一樣為了通用用途，我認為我們處于一個良好的中間點，在未來的幾年也不會過時，隨著時間的推移，我們將增加更多的通用硬件，以處理更多的混合工作負載。

問：你們是如何制定AI路線圖的？背后有哪些考慮？

Carey：我們的路線圖與任何人的路線圖都相似：每年更大，更強，更快。

我們每年都會進行增量架構(gòu)更改以提升性能，行業(yè)中出現(xiàn)的任何新事物如果與我們的硬件產(chǎn)品組合相關(guān)，我們會采取行動。（完）