11月5日，在Wave Summit+2019深度學(xué)習(xí)開發(fā)者峰會(huì)上，飛槳全新發(fā)布和重要升級(jí)了最新的21項(xiàng)進(jìn)展，在深度學(xué)習(xí)開發(fā)者社區(qū)引起了巨大的反響。
量子位現(xiàn)場(chǎng)親歷了發(fā)布會(huì)的全部環(huán)節(jié)，并做了相關(guān)報(bào)道：《國產(chǎn)最大AI開源框架再升級(jí)：一口氣發(fā)布9大新產(chǎn)品，順便送出億元GPU算力》。從后臺(tái)留言看，再次引發(fā)國貨當(dāng)自強(qiáng)的評(píng)論。
很多未到場(chǎng)的開發(fā)者覺得遺憾，希望可以了解飛槳發(fā)布會(huì)背后的更多技術(shù)細(xì)節(jié)，因此我們特別策劃了一個(gè)系列稿件，分別從核心框架、基礎(chǔ)模型庫、端到端開發(fā)套件、工具組件和服務(wù)平臺(tái)五個(gè)層面分別詳細(xì)解讀飛槳的核心技術(shù)與最新進(jìn)展，敬請(qǐng)關(guān)注。
今天給大家?guī)淼氖窍盗形恼轮w槳的基礎(chǔ)模型庫解讀。
飛槳模型庫，包含智能視覺（PaddleCV），智能文本處理（PaddleNLP），智能語音（PaddleSpeech）和智能推薦（PaddleRec）四大領(lǐng)域，飛槳官方支持100多個(gè)經(jīng)過產(chǎn)業(yè)實(shí)踐長(zhǎng)期打磨的主流模型，其中包括在國際競(jìng)賽中奪得冠軍的模型；同時(shí)開源開放200多個(gè)預(yù)訓(xùn)練模型，助力快速的產(chǎn)業(yè)應(yīng)用。核心內(nèi)容1562字，預(yù)計(jì)閱讀時(shí)間3分鐘。全文7659字，強(qiáng)烈建議收藏備查。
飛槳全景圖，本文主要針對(duì)基礎(chǔ)模型庫部分進(jìn)行深度解讀
第一部分，首先看一下最新版本模型庫的主要更新點(diǎn)
發(fā)布訓(xùn)練部署端到端的圖像分割庫PaddleSeg，圖像分類新增EfficientNet等43個(gè)預(yù)訓(xùn)練模型。PaddleDetection新增2019 Objects365 Full Track冠軍模型、BlazeFace等人臉檢測(cè)小模型，行人檢測(cè)和車輛檢測(cè)的預(yù)訓(xùn)練模型。PaddleVideo新增ActivityNet Challenge 2019奪冠模型，擴(kuò)展包含video caption、video grounding等模型。
發(fā)布全新seq2seq相關(guān)API和文本生成模型樣例。語義表示庫新增XLNet預(yù)訓(xùn)練模型；開源EMNLP2019閱讀理解競(jìng)賽冠軍模型D-NET，同時(shí)支持18個(gè)不同抽取式閱讀理解數(shù)據(jù)集打榜。發(fā)布飛槳多任務(wù)學(xué)習(xí)庫PALM （PAddLe Multi-task learning），更便捷支持多任務(wù)機(jī)器學(xué)習(xí)調(diào)研。
全新發(fā)布，包含語音識(shí)別模型DeepSpeech和語音合成模型 DeepVoice3。
增加PaddleRec的更多模型覆蓋。
以上可以看到，本次的升級(jí)點(diǎn)中，飛槳提供了更多的官方支持模型和預(yù)訓(xùn)練模型，同時(shí)也開源多個(gè)國際冠軍模型，截至目前，飛槳已官方支持超過100個(gè)模型和200多個(gè)預(yù)訓(xùn)練模型，極大的方便開發(fā)者的快速應(yīng)用實(shí)踐。
本次新版發(fā)布，飛槳模型庫增加了8類任務(wù)下的40多個(gè)算法模型，覆蓋任務(wù)門類更全面，算法模型更豐富，基本可以滿足產(chǎn)業(yè)應(yīng)用的各種業(yè)務(wù)需求，快速助力開發(fā)者實(shí)際項(xiàng)目的落地實(shí)現(xiàn)。
飛槳的模型庫已經(jīng)比較完備地支持了自然語言處理，計(jì)算機(jī)視覺、推薦和語音四大領(lǐng)域。官方支持的模型從60個(gè)擴(kuò)充到了100多個(gè)，新增了對(duì)于語音算法的支持。截至目前，飛槳已經(jīng)可以支持人工智能領(lǐng)域應(yīng)用主流算法模型的。開發(fā)者在工業(yè)應(yīng)用項(xiàng)目落地中，可以利用飛槳模型庫中快速實(shí)現(xiàn)。
具體來看，在計(jì)算機(jī)視覺領(lǐng)域，飛槳在圖像分類、生成、檢測(cè)、視頻理解、圖像分割等領(lǐng)域都有新增的模型。在自然語言處理領(lǐng)域，飛槳在語義表示、閱讀理解和問答上有升級(jí)，同樣，在推薦、語音方面，都做了進(jìn)一步的完善和升級(jí)。
除了對(duì)于經(jīng)典模型的支持，飛槳還開源了多項(xiàng)百度在國際競(jìng)賽中奪冠的算法模型，這里面既包括在計(jì)算機(jī)視覺領(lǐng)域的視頻理解、人像分割，也包含自然語言處理領(lǐng)域的閱讀理解。
值得一提的是，在近期剛剛召開的NLP領(lǐng)域頂級(jí)會(huì)議EMLP中，飛槳的D-NET模型，擊敗眾多重量級(jí)參賽玩家，在這次競(jìng)賽當(dāng)中得了10項(xiàng)閱讀理解的冠軍。這個(gè)模型飛槳也毫無保留的開放給廣大開發(fā)者。
下面，我們將從主流四大領(lǐng)域分別為開發(fā)者介紹飛槳模型庫的一些核心內(nèi)容，因?yàn)樗惴Ｐ蛿?shù)量眾多且受限于篇幅，僅對(duì)算法模型的分類及名稱、簡(jiǎn)介和應(yīng)用場(chǎng)景、以及在不同數(shù)據(jù)集上的評(píng)價(jià)指標(biāo)進(jìn)行了整理，
一方面，對(duì)于剛?cè)腴T的開發(fā)者，可以提供模型庫的整體宏觀視角，另一方面，本文也可以作為一個(gè)速查手冊(cè)，強(qiáng)烈建議收藏，供開發(fā)者快速根據(jù)需求選用。
如果迫不及待想了解某個(gè)算法的詳細(xì)內(nèi)容，可以直接傳送門走起！
https://github.com/PaddlePaddle/models
圖像分類 是根據(jù)圖像的語義信息對(duì)不同類別圖像進(jìn)行區(qū)分，是計(jì)算機(jī)視覺中重要的基礎(chǔ)問題，是物體檢測(cè)、圖像分割、物體跟蹤、行為分析、人臉識(shí)別等其他高層視覺任務(wù)的基礎(chǔ)，在許多領(lǐng)域都有著廣泛的應(yīng)用。如：安防領(lǐng)域的人臉識(shí)別和智能視頻分析等，交通領(lǐng)域的交通場(chǎng)景識(shí)別，互聯(lián)網(wǎng)領(lǐng)域基于內(nèi)容的圖像檢索和相冊(cè)自動(dòng)歸類，醫(yī)學(xué)領(lǐng)域的圖像識(shí)別等。
更多圖像分類模型請(qǐng)參考 ImageClassification：https://github.com/PaddlePaddle/models/tree/develop/PaddleCV/image_classification
目標(biāo)檢測(cè)任務(wù)的目標(biāo)是給定一張圖像或是一個(gè)視頻幀，讓計(jì)算機(jī)找出其中所有目標(biāo)的位置，并給出每個(gè)目標(biāo)的具體類別。對(duì)于計(jì)算機(jī)而言，能夠“看到”的是圖像被編碼之后的數(shù)字，但很難解圖像或是視頻幀中出現(xiàn)了人或是物體這樣的高層語義概念，也就更加難以定位目標(biāo)出現(xiàn)在圖像中哪個(gè)區(qū)域。
目標(biāo)檢測(cè)模型請(qǐng)參考 PaddleDetection：
https://github.com/PaddlePaddle/models/tree/develop/PaddleCV/PaddleDetection
圖像語義分割顧名思義是將圖像像素按照表達(dá)的語義含義的不同進(jìn)行分組/分割，圖像語義是指對(duì)圖像內(nèi)容的理解，例如，能夠描繪出什么物體在哪里做了什么事情等，分割是指對(duì)圖片中的每個(gè)像素點(diǎn)進(jìn)行標(biāo)注，標(biāo)注屬于哪一類別。近年來用在無人車駕駛技術(shù)中分割街景來避讓行人和車輛、醫(yī)療影像分析中輔助診斷等。
人體骨骼關(guān)鍵點(diǎn)檢測(cè) (Pose Estimation) 主要檢測(cè)人體的一些關(guān)鍵點(diǎn)，如關(guān)節(jié)，五官等，通過關(guān)鍵點(diǎn)描述人體骨骼信息。人體骨骼關(guān)鍵點(diǎn)檢測(cè)對(duì)于描述人體姿態(tài)，預(yù)測(cè)人體行為至關(guān)重要。是諸多計(jì)算機(jī)視覺任務(wù)的基礎(chǔ)，例如動(dòng)作分類，異常行為檢測(cè)，以及自動(dòng)駕駛等等。
圖像生成是指根據(jù)輸入向量，生成目標(biāo)圖像。這里的輸入向量可以是隨機(jī)的噪聲或用戶指定的條件向量。具體的應(yīng)用場(chǎng)景有：手寫體生成、人臉合成、風(fēng)格遷移、圖像修復(fù)等。PaddleGAN 包含和圖像生成相關(guān)的多個(gè)模型。
場(chǎng)景文字識(shí)別是在圖像背景復(fù)雜、分辨率低下、字體多樣、分布隨意等情況下，將圖像信息轉(zhuǎn)化為文字序列的過程，可認(rèn)為是一種特別的翻譯過程：將圖像輸入翻譯為自然語言輸出。
度量學(xué)習(xí)也稱作距離度量學(xué)習(xí)、相似度學(xué)習(xí)，通過學(xué)習(xí)對(duì)象之間的距離，度量學(xué)習(xí)能夠用于分析對(duì)象時(shí)間的關(guān)聯(lián)、比較關(guān)系，在實(shí)際問題中應(yīng)用較為廣泛，可應(yīng)用于輔助分類、聚類問題，也廣泛用于圖像檢索、人臉識(shí)別等領(lǐng)域。
視頻分類和動(dòng)作定位是視頻理解任務(wù)的基礎(chǔ)。
視頻數(shù)據(jù)包含語音、圖像等多種信息，因此理解視頻任務(wù)不僅需要處理語音和圖像，還需要提取視頻幀時(shí)間序列中的上下文信息。
視頻分類模型提供了提取全局時(shí)序特征的方法，主要方式有卷積神經(jīng)網(wǎng)絡(luò) (C3D, I3D, C2D等)，神經(jīng)網(wǎng)絡(luò)和傳統(tǒng)圖像算法結(jié)合 (VLAD 等)，循環(huán)神經(jīng)網(wǎng)絡(luò)等建模方法。
視頻動(dòng)作定位模型需要同時(shí)識(shí)別視頻動(dòng)作的類別和起止時(shí)間點(diǎn)，通常采用類似于圖像目標(biāo)檢測(cè)中的算法在時(shí)間維度上進(jìn)行建模。
PaddleNLP是基于飛槳深度學(xué)習(xí)框架開發(fā)的自然語言處理 (NLP) 工具，算法，模型和數(shù)據(jù)的開源項(xiàng)目。百度在 NLP 領(lǐng)域十幾年的深厚積淀為 PaddleNLP 提供了強(qiáng)大的核心動(dòng)力。使用 PaddleNLP，您可以得到：
豐富而全面的 NLP 任務(wù)支持：
PaddleNLP為您提供了多粒度，多場(chǎng)景的應(yīng)用支持。涵蓋了從分詞，詞性標(biāo)注，命名實(shí)體識(shí)別等 NLP 基礎(chǔ)技術(shù)，到文本分類，文本相似度計(jì)算，語義表示，文本生成等 NLP 核心技術(shù)。同時(shí)，PaddleNLP還提供了針對(duì)常見 NLP 大型應(yīng)用系統(tǒng)（如閱讀理解，對(duì)話系統(tǒng)，機(jī)器翻譯系統(tǒng)等）的特定核心技術(shù)和工具組件，模型和預(yù)訓(xùn)練參數(shù)等，讓您在 NLP 領(lǐng)域暢通無阻。
穩(wěn)定可靠的 NLP 模型和強(qiáng)大的預(yù)訓(xùn)練參數(shù)：
PaddleNLP集成了百度內(nèi)部廣泛使用的 NLP 工具模型，為您提供了穩(wěn)定可靠的 NLP 算法解決方案?；诎賰|級(jí)數(shù)據(jù)的預(yù)訓(xùn)練參數(shù)和豐富的預(yù)訓(xùn)練模型，助您輕松提高模型效果，為您的 NLP 業(yè)務(wù)注入強(qiáng)大動(dòng)力。
持續(xù)改進(jìn)和技術(shù)支持，零基礎(chǔ)搭建 NLP 應(yīng)用：
PaddleNLP 為您提供持續(xù)的技術(shù)支持和模型算法更新，為您的 NLP 業(yè)務(wù)保駕護(hù)航。
4.1.1. 中文詞法分析LAC(Lexical Analysis of Chinese)
百度自主研發(fā)中文特色模型詞法分析任務(wù)，集成了中文分詞、詞性標(biāo)注和命名實(shí)體識(shí)別任務(wù)。輸入是一個(gè)字符串，而輸出是句子中的詞邊界和詞性、實(shí)體類別。
4.1.2.詞向量（Word2vec）
提供單機(jī)多卡，多機(jī)等分布式訓(xùn)練中文詞向量能力，支持主流詞向量模型（skip-gram，cbow等），可以快速使用自定義數(shù)據(jù)訓(xùn)練詞向量模型。
4.1.3. 語言模型 (Language_model)
給定一個(gè)輸入詞序列（中文需要先分詞、英文需要先 tokenize），計(jì)算其生成概率。語言模型的評(píng)價(jià)指標(biāo) PPL(困惑度)，用于表示模型生成句子的流利程度。
4.2.1. 語義表示
PaddleLARK (Paddle LAngauge Representation ToolKit) 是傳統(tǒng)語言模型的進(jìn)一步發(fā)展，通過在大規(guī)模語料上訓(xùn)練得到的通用的語義表示模型，可以助益其他自然語言處理任務(wù)，是通用預(yù)訓(xùn)練 + 特定任務(wù)精調(diào)范式的體現(xiàn)。PaddleLARK 集成了 ELMO，BERT，ERNIE 1.0，ERNIE 2.0，XLNet 等熱門中英文預(yù)訓(xùn)練模型。
4.2.2. 文本相似度計(jì)算
SimNet (Similarity Net) 是一個(gè)計(jì)算短文本相似度的框架，主要包括 BOW、CNN、RNN、MMDNN 等核心網(wǎng)絡(luò)結(jié)構(gòu)形式。SimNet 框架在百度各產(chǎn)品上廣泛應(yīng)用，提供語義相似度計(jì)算訓(xùn)練和預(yù)測(cè)框架，適用于信息檢索、新聞推薦、智能客服等多個(gè)應(yīng)用場(chǎng)景，幫助企業(yè)解決語義匹配問題。
4.2.3. 文本生成
PaddleTextGEN (Paddle Text Generation) ,一個(gè)基于飛槳的文本生成框架，提供了一些列經(jīng)典文本生成模型案例，如 vanilla seq2seq，seq2seq with attention，variational seq2seq 模型等。
4.3.1. 情感分析
4.3.2. 閱讀理解
PaddleMRC (Paddle Machine Reading Comprehension)，集合了百度在閱讀理解領(lǐng)域相關(guān)的模型，工具，開源數(shù)據(jù)集等一系列工作。
4.3.3. 機(jī)器翻譯
PaddleMT ，全稱為Paddle Machine Translation，基于Transformer的經(jīng)典機(jī)器翻譯模型，基于論文《Attention Is All You Need》：https://arxiv.org/abs/1706.03762
4.3.4. 對(duì)話系統(tǒng)
PaddleDialogue 包含對(duì)話系統(tǒng)方向的模型、數(shù)據(jù)集和工具。
百度最新前沿工作開源，請(qǐng)參考 Research：https://github.com/PaddlePaddle/models/tree/develop/PaddleNLP/Research
個(gè)性化推薦，在當(dāng)前的互聯(lián)網(wǎng)服務(wù)中正在發(fā)揮越來越大的作用，目前大部分電子商務(wù)系統(tǒng)、社交網(wǎng)絡(luò)，廣告推薦，搜索引擎，都不同程度的使用了各種形式的個(gè)性化推薦技術(shù)，幫助用戶快速找到他們想要的信息。PaddleRec包含的模型如下。
PaddleSpeech包含語音識(shí)別和語音合成相關(guān)的模型。
想與更多的深度學(xué)習(xí)開發(fā)者交流，請(qǐng)加入飛槳官方QQ群：796771754。
如果您想詳細(xì)了解更多飛槳PaddlePaddle的相關(guān)內(nèi)容，請(qǐng)參閱以下文檔。
官網(wǎng)地址：https://www.paddlepaddle.org.cn/
項(xiàng)目地址：https://github.com/PaddlePaddle/models
飛槳系列文章之核心框架解讀：https://mp.weixin.qq.com/s/hU0B3NmbGcO0MP2Kthl8oQ
— 完 —
聯(lián)系客服
