文章選自arXiv，作者：Lei Zhang、Shuai Wang、Bing Liu，由機(jī)器之心編譯

情感分析或觀點(diǎn)挖掘是對(duì)人們對(duì)產(chǎn)品、服務(wù)、組織、個(gè)人、問題、事件、話題及其屬性的觀點(diǎn)、情感、情緒、評(píng)價(jià)和態(tài)度的計(jì)算研究。該領(lǐng)域的開始和快速發(fā)展與社交媒體的發(fā)展相一致，如評(píng)論、論壇、博客、微博、推特和社交網(wǎng)絡(luò)，因?yàn)檫@是人類歷史上第一次擁有如此海量的以數(shù)字形式記錄的觀點(diǎn)數(shù)據(jù)。早在 2000 年，情感分析就成為 NLP 中最活躍的研究領(lǐng)域之一。它在數(shù)據(jù)挖掘、Web 挖掘、文本挖掘和信息檢索方面得到了廣泛的研究。實(shí)際上，因其對(duì)商業(yè)和社會(huì)的整體重要性，它已經(jīng)從計(jì)算機(jī)科學(xué)擴(kuò)展到管理學(xué)和社會(huì)學(xué)，如營銷、金融、政治學(xué)、傳播學(xué)、健康科學(xué)，甚至歷史學(xué)。這種發(fā)展原因在于觀點(diǎn)是幾乎所有人類活動(dòng)的核心，是人類行為的重要影響因素。我們的信念、對(duì)現(xiàn)實(shí)的感知，以及我們所做的決策在很大程度上依賴于別人看到和評(píng)價(jià)世界的方式。因此，我們在做決策的時(shí)候，通常會(huì)尋求別人的意見。不只是個(gè)人，組織也是如此。

現(xiàn)有研究已經(jīng)產(chǎn)生了可用于情感分析多項(xiàng)任務(wù)的大量技術(shù)，包括監(jiān)督和無監(jiān)督方法。在監(jiān)督方法中，早期論文使用所有監(jiān)督機(jī)器學(xué)習(xí)方法（如支持向量機(jī)、最大熵、樸素貝葉斯等）和特征組合。無監(jiān)督方法包括使用情感詞典、語法分析和句法模式的不同方法?，F(xiàn)有多本綜述書籍和論文，廣泛地涵蓋了早期的方法和應(yīng)用。

大約十年前，深度學(xué)習(xí)成為強(qiáng)大的機(jī)器學(xué)習(xí)技術(shù)，在很多應(yīng)用領(lǐng)域產(chǎn)生了當(dāng)前最優(yōu)的結(jié)果，包括計(jì)算機(jī)視覺、語音識(shí)別、NLP 等。近期將深度學(xué)習(xí)應(yīng)用到情感分析也逐漸變得流行。本文首先概述深度學(xué)習(xí)，然后對(duì)基于深度學(xué)習(xí)的情感分析進(jìn)行綜述。

論文：Deep Learning for Sentiment Analysis: A Survey

論文鏈接：https://arxiv.org/pdf/1801.07883.pdf

作為一項(xiàng)學(xué)習(xí)數(shù)據(jù)的多層特征或表征的強(qiáng)大機(jī)器學(xué)習(xí)技術(shù)，深度學(xué)習(xí)的出現(xiàn)實(shí)現(xiàn)了當(dāng)前最優(yōu)的預(yù)測結(jié)果。伴隨著在諸多應(yīng)用領(lǐng)域的成功，深度學(xué)習(xí)近年來也被廣泛應(yīng)用于情感分析。本論文首先概述深度學(xué)習(xí)，接著全面調(diào)研深度學(xué)習(xí)在情感分析領(lǐng)域的應(yīng)用現(xiàn)狀。

情感分析中的基本模型

前饋神經(jīng)網(wǎng)絡(luò)

常規(guī)前饋神經(jīng)網(wǎng)絡(luò)（FNN）不考慮輸入數(shù)據(jù)可能具備的任何特定結(jié)構(gòu)。盡管如此，它仍是非常強(qiáng)大的機(jī)器學(xué)習(xí)工具，尤其是與先進(jìn)的正則化技術(shù)一起使用時(shí)。這些正則化技術(shù)幫助解決人們處理「深度」網(wǎng)絡(luò)時(shí)遇到的訓(xùn)練問題：神經(jīng)網(wǎng)絡(luò)有大量隱藏層，隱藏層非常難以訓(xùn)練（梯度消失和過擬合問題）。

圖 4.1：有 N + 1 層（N ? 1 個(gè)隱藏層）的神經(jīng)網(wǎng)絡(luò)。淺層網(wǎng)絡(luò)架構(gòu)僅使用一個(gè)隱藏層。深度學(xué)習(xí)需要使用多個(gè)隱藏層，通常包含同樣數(shù)量的隱藏神經(jīng)元。數(shù)量大約是輸入和輸出變量數(shù)量的平均值。

FNN 由一個(gè)輸入層、一個(gè)（淺層網(wǎng)絡(luò)）或多個(gè)（深層網(wǎng)絡(luò)，因此叫作深度學(xué)習(xí)）隱藏層，和一個(gè)輸出層構(gòu)成。每個(gè)層（除輸出層以外）與下一層連接。這種連接是 FNN 架構(gòu)的關(guān)鍵，具有兩個(gè)主要特征：加權(quán)平均值和激活函數(shù)。

加權(quán)平均過程，即將前一層給神經(jīng)元的激勵(lì)值和對(duì)應(yīng)的權(quán)重矩陣相乘而得出后一個(gè)神經(jīng)元的輸入值，這一過程展示在下圖 4.2 中，我們可以說前一層神經(jīng)元的加權(quán)和就是后一層神經(jīng)元的輸入。

正式地，加權(quán)平均的過程可以使用如下方程式表達(dá)：

此外，每一層的隱藏神經(jīng)元可以定義為：

其中其中 v∈[0,N?1]、f∈[0,(F_v+1)?1]、t∈[0,(T_mb)? 1]。在這里 g 為非線性激活函數(shù)，是 FNN 另外一個(gè)十分重要的元素。因?yàn)榧せ詈瘮?shù)的非線性屬性，所以它允許預(yù)測任意的輸出數(shù)據(jù)。

Word2Vec 詞嵌入

一般來說，Word2Vec 方法由兩部分組成。首先是將高維 one-hot 形式表示的單詞映射成低維向量。例如將 10，000 列的矩陣轉(zhuǎn)換為 300 列的矩陣，這一過程被稱為詞嵌入。第二個(gè)目標(biāo)是在保留單詞上下文的同時(shí)，從一定程度上保留其意義。Word2Vec 實(shí)現(xiàn)這兩個(gè)目標(biāo)的方法有 skip-gram 和 CBOW 等，skip-gram 會(huì)輸入一個(gè)詞，然后嘗試估計(jì)其它詞出現(xiàn)在該詞附近的概率。還有一種與此相反的被稱為連續(xù)詞袋模型（Continuous Bag Of Words，CBOW），它將一些上下文詞語作為輸入，并通過評(píng)估概率找出最適合（概率最大）該上下文的詞。

對(duì)于連續(xù)詞袋模型而言，Mikolov 等人運(yùn)用目標(biāo)詞前面和后面的 n 個(gè)詞來同時(shí)預(yù)測這個(gè)詞。他們稱這個(gè)模型為連續(xù)的詞袋（CBOW），因?yàn)樗眠B續(xù)空間來表示詞，而且這些詞的先后順序并不重要。

連續(xù)的詞袋（Mikolov 等人，2013 年）

CBOW 可以看作一個(gè)具有先知的語言模型，而 skip-gram 模型則完全改變將語言模型的目標(biāo)：它不像 CBOW 一樣從周圍的詞預(yù)測中間的詞；恰恰相反，它用中心語去預(yù)測周圍的詞：

Skip-gram（Mikolov 等人，2013）

自編碼器與降噪自編碼器

自編碼器神經(jīng)網(wǎng)絡(luò)是一個(gè)三層神經(jīng)網(wǎng)絡(luò)，其目標(biāo)是使輸出值近似等價(jià)于輸入值。下圖展示了自編碼器的一般架構(gòu)：

自編碼器神經(jīng)網(wǎng)絡(luò)

因?yàn)樯窠?jīng)元使用了非線性激活函數(shù)，自編碼器可以學(xué)習(xí)非線性表征。這令自編碼器比主成分分析（PCA）或潛在語義分析（LSA）等線性方法要強(qiáng)大很多。

若我們將自編碼器以層級(jí)的形式堆疊，那么高層的自編碼器就使用低層自編碼器的輸出作為輸入。這種堆疊的自編碼器與受限玻爾茲曼機(jī)（RBM）是構(gòu)建深度神經(jīng)網(wǎng)絡(luò)的早期方法。一旦我們以無監(jiān)督的形式訓(xùn)練自編碼器，那么描述 x（中間表征）多級(jí)表征的參數(shù)就能用來初始化監(jiān)督式深度神經(jīng)網(wǎng)絡(luò)，這種神經(jīng)網(wǎng)絡(luò)在實(shí)驗(yàn)上已經(jīng)證明要比隨機(jī)初始化優(yōu)秀。

降噪自編碼器（DAE）是自編碼器的擴(kuò)展，DAE 背后的思想是強(qiáng)制隱藏層發(fā)現(xiàn)更魯棒的特征，并阻止自編碼器簡單地學(xué)習(xí)恒等變換。也就是說，模型應(yīng)該在存在噪聲時(shí)仍能重構(gòu)輸入。這種技術(shù)也體現(xiàn)在情感分析中，例如從文檔中刪除或添加一些文字不應(yīng)該改變文檔的語義。

卷積神經(jīng)網(wǎng)絡(luò)

CNN 非常擅長處理圖像數(shù)據(jù)，如下圖所示，它們一般由若干個(gè)卷積和池化操作組成，通常跟隨著一個(gè)或多個(gè)全連接層（與傳統(tǒng)的 FNN 層相似）。

相比于全連接神經(jīng)網(wǎng)絡(luò)，卷積網(wǎng)絡(luò)每一個(gè)單元都只會(huì)和上一層部分單元相連接。一般每個(gè)卷積層的單元都可以組織成一個(gè)三維張量，即矩陣沿第三個(gè)方向增加一維數(shù)據(jù)。例如 Cifar-10 數(shù)據(jù)集的輸入層就可以組織成 32×32×3 的三維張量，其中 32×32 代表圖片的尺寸或像素?cái)?shù)量，而 3 代表 RGB 三色通道。

卷積神經(jīng)網(wǎng)絡(luò)中最重要的就是卷積層，卷積層試圖將神經(jīng)網(wǎng)絡(luò)中的每一小塊進(jìn)行更加深入的分析，從而得出抽象程度更高的特征。一般來說通過卷積層處理的神經(jīng)元結(jié)點(diǎn)矩陣會(huì)變得更深，即神經(jīng)元的組織在第三個(gè)維度上會(huì)增加。

圖4：卷積神經(jīng)網(wǎng)絡(luò)

為了理解卷積層，下圖展示了卷積核或?yàn)V波器（filter）將當(dāng)前層級(jí)上的一個(gè)子結(jié)點(diǎn)張量轉(zhuǎn)化為下一層神經(jīng)網(wǎng)絡(luò)上的一個(gè)長和寬都為 1，深度不限的結(jié)點(diǎn)矩陣。下圖輸入是一個(gè) 32×32×3 的張量，中間的小長方體為卷積核，一般可以為 3×3 或 5×5 等，且因?yàn)橐?jì)算乘積，那么卷積核的第三個(gè)維度必須和其處理的圖像深度（即輸入張量第三個(gè)維度 3）相等。最右邊的矩形體的深度為 5，即前面使用了五個(gè)卷積核執(zhí)行卷積操作。這五個(gè)卷積核有不同的權(quán)重，但每一個(gè)卷積層使用一個(gè)卷積核的權(quán)重是一樣的，所以下圖五層特征中每一層特征都是通過一個(gè)卷積核得出來的，也就是該層共享了權(quán)重。

循環(huán)神經(jīng)網(wǎng)絡(luò)

在傳統(tǒng)的前饋神經(jīng)網(wǎng)絡(luò)中，所有的示例都被認(rèn)為是獨(dú)立的，它們沒有時(shí)間關(guān)聯(lián)性。這種時(shí)間關(guān)聯(lián)性是由循環(huán)神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)的。一個(gè)典型的 RNN 結(jié)構(gòu)如下：

如果將其展開，它會(huì)變成這樣：

在這些圖表中， x_t 是時(shí)間序列上的輸入，而 h_t 是循環(huán)過程中的隱藏狀態(tài)。我們看到 f 重復(fù)作用于不同時(shí)間步上的隱藏狀態(tài)，并將它傳入下一個(gè)時(shí)間步中，這就是 RNN特有的方式。基本上，你能輸入句子中的詞或者甚至是像 x_t 這樣的字符串中的字符，然后通過該循環(huán)神經(jīng)網(wǎng)絡(luò)它會(huì)得出一個(gè) y_t。

目標(biāo)是用 y_t 作為輸出，并將它與你的測試數(shù)據(jù)（通常是原始數(shù)據(jù)的一個(gè)小子集）比較。然后你會(huì)得出你的誤差率。比較完之后，有了誤差率，你就能使用一種叫隨時(shí)間反向傳播（BPTT）的技術(shù)。BPTT 返回檢查這個(gè)網(wǎng)絡(luò)，并基于誤差率調(diào)整權(quán)重。這樣也調(diào)整了這個(gè)網(wǎng)絡(luò)，并讓它學(xué)習(xí)去做得更好。

LSTM 網(wǎng)絡(luò)

下面我們簡要地向讀者介紹 LSTM 單元選擇記憶或遺忘的具體處理流程。

以下是 LSTM 單元的詳細(xì)結(jié)構(gòu)，其中 Z 為輸入部分，Z_i、Z_o 和 Z_f 分別為控制三個(gè)門的值，即它們會(huì)通過激活函數(shù) f 對(duì)輸入信息進(jìn)行篩選。一般激活函數(shù)可以選擇為 Sigmoid 函數(shù)，因?yàn)樗妮敵鲋禐?0 到 1，即表示這三個(gè)門被打開的程度。

圖片來源于李弘毅機(jī)器學(xué)習(xí)講義

若我們輸入 Z，那么該輸入向量通過激活函數(shù)得到的 g(Z) 和輸入門 f(Z_i ) 的乘積 g(Z) f(Z_i ) 就表示輸入數(shù)據(jù)經(jīng)篩選后所保留的信息。Z_f 控制的遺忘門將控制以前記憶的信息到底需要保留多少，保留的記憶可以用方程 c*f（z_f）表示。以前保留的信息加上當(dāng)前輸入有意義的信息將會(huì)保留至下一個(gè) LSTM 單元，即我們可以用 c' = g(Z)f(Z_i) + cf(z_f) 表示更新的記憶，更新的記憶 c' 也表示前面與當(dāng)前所保留的全部有用信息。我們再取這一更新記憶的激活值 h(c') 作為可能的輸出，一般可以選擇 tanh 激活函數(shù)。最后剩下的就是由 Z_o 所控制的輸出門，它決定當(dāng)前記憶所激活的輸出到底哪些是有用的。因此最終 LSTM 的輸出就可以表示為 a = h(c')f(Z_o)。

RNN 與注意力機(jī)制

一般來說，我們可能會(huì)認(rèn)為雙向 RNN 與 LSTM 就能處理數(shù)據(jù)中的長期依賴性。但是在實(shí)踐中，時(shí)序數(shù)據(jù)的長期依賴性問題仍然很難處理。因此，Bahdanau 等人提出了注意力機(jī)制。

神經(jīng)網(wǎng)絡(luò)中的注意力機(jī)制受到人類視覺中注意力的啟發(fā)，即人類視覺注意力能夠聚焦到圖像的特定區(qū)域，并在這個(gè)區(qū)域有非常高的分辨率，而在其它區(qū)域有較低的分辨率。在自然語言處理中，注意力機(jī)制允許模型根據(jù)輸入文本以及它到目前為止已經(jīng)生成的隱藏狀態(tài)來學(xué)習(xí)要注意什么，而不像標(biāo)準(zhǔn) RNN 與 LSTM 那樣將全部原文本編碼成固定長度的向量。

下圖 8 展示了在雙向 RNN 中使用注意力機(jī)制的方法。其中每個(gè)解碼器輸出的序列 y_t 取決于所有輸入狀態(tài)的加權(quán)組合，而不只是如標(biāo)準(zhǔn)情況那樣選擇最后一個(gè)隱藏狀態(tài)。a_t,T 定義了每個(gè)輸入的隱藏狀態(tài)應(yīng)該加權(quán)多少以結(jié)合為輸出向量。例如，a_2,2 有較大的值，那么它就代表著在第二個(gè)時(shí)間步上，解碼器更多注意原語句中的第二個(gè)隱藏狀態(tài)。所有的權(quán)重 a_t,T 加和為 1，因此能保證輸出值的歸一化。

雙向循環(huán)神經(jīng)網(wǎng)絡(luò)中的注意力機(jī)制

記憶網(wǎng)絡(luò)

Weston 等人介紹了記憶網(wǎng)絡(luò)（MemNN）這個(gè)概念，它能用于問答系統(tǒng)。記憶網(wǎng)絡(luò)通過結(jié)合多個(gè)推斷組件和長期記憶而執(zhí)行任務(wù)，這些組件可以是多個(gè)神經(jīng)網(wǎng)絡(luò)，而長期記憶充當(dāng)著動(dòng)態(tài)知識(shí)庫的角色。記憶網(wǎng)絡(luò)基本的四個(gè)可學(xué)習(xí)或推斷組件分別為：I 組件將輸入數(shù)據(jù)轉(zhuǎn)化為內(nèi)部特征表示；G 組件在給定新的輸入下更新舊的記憶；O 組件生成輸出（同樣是在特征表示空間中完成）；R 組件將輸出特征轉(zhuǎn)化為響應(yīng)格式。例如，給定問答系統(tǒng)一系列語句和問題，MemNN 會(huì)從這些語句中抽取特征并生成答案。

在推斷的過程中，I 組件一次只讀取一條語句，并將它編碼為向量表征。然后 G 組件基于當(dāng)前的語句表征更新一小塊記憶，在所有語句都處理完后，記憶網(wǎng)絡(luò)就生成了一個(gè)記憶矩陣（每一行表示一個(gè)語句），該矩陣儲(chǔ)存了從語句中抽取的語義。對(duì)于問題，記憶網(wǎng)絡(luò)會(huì)將它編碼為向量表征，然后 O 組件使用向量從記憶中選擇一些相關(guān)的證據(jù)，并生成一個(gè)輸出向量。最后，R 組件將輸出向量作為輸入，并輸出最終響應(yīng)。

遞歸神經(jīng)網(wǎng)絡(luò)

詞嵌入是將單詞表示成低維的稠密的實(shí)數(shù)向量。自從詞向量技術(shù)的提出，到目前為止已經(jīng)有很多方法來得到句法和語義方面的向量表示，這種技術(shù)在 NLP 領(lǐng)域發(fā)揮著重要的作用。

如何用稠密的向量表示短語，這是使用詞向量的一個(gè)難題。在成分分析中，我們一般使用遞歸神經(jīng)網(wǎng)絡(luò) (Recursive Neural Network) 來解決這個(gè)問題。遞歸神經(jīng)網(wǎng)絡(luò)是一種通用的模型，用來對(duì)句子進(jìn)行建模。句子的語法樹中的左右子節(jié)點(diǎn)通過一層線性神經(jīng)網(wǎng)絡(luò)結(jié)合起來，根節(jié)點(diǎn)的這層神經(jīng)網(wǎng)絡(luò)的參數(shù)就表示整句句子。遞歸神經(jīng)網(wǎng)絡(luò)能夠給語法樹中的所有葉子節(jié)點(diǎn)一個(gè)固定長度的向量表示，然后遞歸地給中間節(jié)點(diǎn)建立向量的表示。

遞歸神經(jīng)網(wǎng)絡(luò)

情感分析任務(wù)

我們現(xiàn)在開始概述情感分析中的深度學(xué)習(xí)應(yīng)用。但在此之前，我們首先簡單介紹主要的情感分析任務(wù)。若想了解更多細(xì)節(jié)，請參考 Liu 寫的關(guān)于情感分析的書。

研究者主要在三個(gè)粒度級(jí)別上研究情感分析：文檔級(jí)、語句級(jí)和 aspect level。文檔級(jí)情感分類將觀點(diǎn)鮮明的文檔（例如，產(chǎn)品評(píng)論）分類為整體積極的或消極的觀點(diǎn)。它將整個(gè)文檔當(dāng)做基本的信息單元，并假定文檔是觀點(diǎn)鮮明的，包含對(duì)單個(gè)實(shí)體（例如，某個(gè)型號(hào)的手機(jī)）的觀點(diǎn)。語句級(jí)情感分類對(duì)文檔內(nèi)單獨(dú)的語句進(jìn)行分類。然而，單獨(dú)的語句不能假定為觀點(diǎn)鮮明的。

傳統(tǒng)上，人們首先將一個(gè)語句分類為觀點(diǎn)鮮明的（或相反），即主觀性分類。然后觀點(diǎn)鮮明的語句進(jìn)一步被分類為積極的或消極的。語句級(jí)情感分類可以被形式化為三類分類問題，即判斷某語句是中性的、積極的或消極的。和文檔級(jí)、語句級(jí)情感分類相比，aspect level 情感分析或基于 aspect 的情感分析更加細(xì)粒化。它的任務(wù)是提取和總結(jié)人們對(duì)某實(shí)體的觀點(diǎn)以及實(shí)體（也被稱為目標(biāo)）的特征。例如一篇產(chǎn)品評(píng)論，aspect level 情感分析的目的是分別總結(jié)對(duì)產(chǎn)品不同方面的積極和消極觀點(diǎn)，雖然對(duì)產(chǎn)品的總體情感可能是傾向積極的或消極的。

基于 aspect 的情感分析由多個(gè)子任務(wù)構(gòu)成，例如 aspect 提取、實(shí)體提取和 aspect 情感分類。例如，句子「the voice quality of iPhone is great, but its battery sucks」的實(shí)體提取應(yīng)該識(shí)別「iPhone」作為實(shí)體，而 aspect 提取需要識(shí)別「voice quality」和「battery」作為兩個(gè) aspect。aspect level 情感分類需要將對(duì)音質(zhì)的評(píng)論分類為積極的，將對(duì)電池續(xù)航的評(píng)論分類為消極的。出于簡潔性，大多數(shù)算法將 aspect 提取和實(shí)體提取結(jié)合起來，稱為 aspect 提取或情感/觀點(diǎn)目標(biāo)提取。

除了這些核心任務(wù)以外，情感分析還研究了情緒分析、嘲諷檢測、多語言情感分析等。在接下來的章節(jié)中，我們將概述所有這些情感分析任務(wù)中的深度學(xué)習(xí)應(yīng)用。

文檔級(jí)情感分類

文檔級(jí)情感分類是指為觀點(diǎn)型文檔標(biāo)記整體的情感傾向／極性，即確定文檔整體上傳達(dá)的是積極的還是消極的觀點(diǎn)。因此，這是一個(gè)二元分類任務(wù)，也可以形式化為回歸任務(wù)，例如為文檔按 1 到 5 星評(píng)級(jí)。一些研究者也將其看成一個(gè)五類分類任務(wù)。

情感分類通常被當(dāng)做文檔分類的特殊案例。在這種分類任務(wù)中，文檔表征是很重要的部分，需要反映出文檔字里行間所傳達(dá)的原始信息。傳統(tǒng)上，詞袋模型（BoW）通過將文檔看成其中單詞的袋裝形式，被用于在 NLP 和文本挖掘中生成文本表征。通過 BoW，文檔被轉(zhuǎn)換成固定長度的數(shù)值特征向量，其中每個(gè)元素可能代表詞的存在（沒出現(xiàn)或出現(xiàn)）、詞頻或 TF-IDF 分?jǐn)?shù)。向量的維度等于詞匯量大小。用 BoW 表征的文檔向量通常是很稀疏的，因?yàn)閱蝹€(gè)文檔僅包含少量的詞匯。早期的神經(jīng)網(wǎng)絡(luò)使用的基本是這種特征設(shè)定。

雖然 BoW 很常用，它也有一些缺點(diǎn)。首先，BoW 模型忽略詞的順序，這意味著包含相同單詞的兩個(gè)文檔的表征是完全相同的。BoW 的擴(kuò)展版本 Bag-of-N-Grams 在短文本（n-gram）中考慮詞序，但仍然存在數(shù)據(jù)稀疏性和高維度的缺陷。其次，BoW 幾乎不能編碼詞的語義。例如，在 BoW 中，單詞「smart」、「clever」和「book」之間的距離是相同的，但在語義上，相比「book」，「smart」應(yīng)該更接近于「clever」。

為了克服 BoW 的缺陷，人們提出了基于神經(jīng)網(wǎng)絡(luò)的詞嵌入技術(shù)以生成密集向量（或低維向量）用于詞表征，從而在某種程度上可以編碼單詞的某些語義和句法屬性。以詞嵌入作為詞的輸入，可以利用神經(jīng)網(wǎng)絡(luò)得到文檔的密集向量（或稱為密集文檔向量）表征。

除了以上兩種方法，實(shí)際上也可以直接用 BoW 學(xué)習(xí)密集文檔向量。我們在表 2 中區(qū)分了相關(guān)研究使用的不同方法。

當(dāng)文檔被適當(dāng)?shù)乇碚鲿r(shí)，我們可以通過傳統(tǒng)的監(jiān)督學(xué)習(xí)方式，用多種神經(jīng)網(wǎng)絡(luò)模型進(jìn)行情感分類。在某些案例中，神經(jīng)網(wǎng)絡(luò)可能只被用于提取文本特征或文本表征，然后這些特征被饋送到其它非神經(jīng)網(wǎng)絡(luò)的分類器（如 SVM），以獲得最終的全局最優(yōu)分類器。神經(jīng)網(wǎng)絡(luò)和 SVM 的特性以某種方式彼此互補(bǔ)，從而能結(jié)合各自的優(yōu)勢。

除了復(fù)雜的文檔/文本表征之外，研究者還利用數(shù)據(jù)特征（如產(chǎn)品評(píng)論）進(jìn)行情感分類。一些研究者發(fā)現(xiàn)產(chǎn)品評(píng)論對(duì)情感和其它附加信息（例如，用戶信息和產(chǎn)品信息）進(jìn)行聯(lián)合分類建模很有幫助。此外，由于文檔通常包含長期依賴關(guān)系，注意力機(jī)制也經(jīng)常用于文檔級(jí)情感分類。我們在表 2 中總結(jié)了已有的技術(shù)。

表 2：文檔級(jí)情感分類的深度學(xué)習(xí)方法。

語句級(jí)的情感分類

語句級(jí)情感分類用來標(biāo)定單句中的表達(dá)情感。正如之前所討論的，句子的情感可以用主觀性分類和極性分類來推斷，前者將句子分為主觀或客觀的，而后者則判定主觀句子表示消極或積極的情感。在現(xiàn)有的深度學(xué)習(xí)模型中，句子情感分類通常會(huì)形成一個(gè)聯(lián)合的三類別分類問題，即預(yù)測句子為積極、中立或消極。

與文檔級(jí)的情感分類相同，神經(jīng)網(wǎng)絡(luò)生成的語句表征對(duì)于語句級(jí)的情感分類也非常重要。另外由于句子相對(duì)文檔而言較短，因此可以使用一些語法和語義信息（如解析樹、觀念詞典和詞性標(biāo)簽）來幫助分類。其他一些信息如評(píng)測打分、社會(huì)關(guān)系和跨域信息也可以考慮在內(nèi)。例如，社會(huì)關(guān)系已被用于探索社交媒體數(shù)據(jù)中（如推文）的情感。

在早期的研究中，解析樹（提供了一些語義和語法信息）與原始詞一同用作神經(jīng)模型的輸入，這意味著我們可以更好地推斷情感構(gòu)成。但在那之后，CNN 和 RNN 成為主流，它們不需要利用解析樹從句子中提取特征。取而代之的是，CNN 與 RNN 使用詞嵌入（已經(jīng)編碼了一些語義和語法信息）作為輸入。此外，CNN 和 RNN 模型架構(gòu)也可以幫助我們學(xué)習(xí)語句內(nèi)詞間的固有聯(lián)系。

Aspect Level 情感分類

與文檔級(jí)和語句級(jí)的情感分類不同，aspect level 情感分類同時(shí)考慮了情感信息和目標(biāo)信息（情感一般都會(huì)有一個(gè)目標(biāo)）。如前所述，目標(biāo)通常是一個(gè)實(shí)體或?qū)嶓w特征。出于簡潔性，實(shí)體和實(shí)體特征通常都稱為特征（aspect）。給定一個(gè)句子和目標(biāo)特征，aspect level 情感分類可以推斷出句子在目標(biāo)特征的情感極性／傾向。例如，句子「the screen is very clear but the battery life is too short.」中，如果目標(biāo)特征是「screen」，則情感是積極的，如果目標(biāo)特征是「battery life」，則情感是消極的。下一節(jié)將討論自動(dòng)特征提取或目標(biāo)提取。

Aspect Level 情感分類很有難度，因?yàn)榻Ｄ繕?biāo)與上下文的語境詞的語義相關(guān)性很難。不同的語境詞對(duì)句子在目標(biāo)特征的情感極性有不同的影響。因此，使用神經(jīng)網(wǎng)絡(luò)構(gòu)建學(xué)習(xí)模型時(shí)，捕捉目標(biāo)詞和語境詞之間的語義關(guān)系非常必要。

使用神經(jīng)網(wǎng)絡(luò)的 aspect level 情感分類有三個(gè)重要任務(wù)。第一個(gè)任務(wù)是表示目標(biāo)的語境詞。該問題可以使用前兩節(jié)提到的文本表示方法來解決。第二個(gè)任務(wù)是生成目標(biāo)表示，其可與語境詞進(jìn)行恰當(dāng)?shù)鼗?dòng)。通常的解決方案是學(xué)習(xí)目標(biāo)嵌入（與詞嵌入類似）。第三個(gè)任務(wù)是識(shí)別特定目標(biāo)的重要情感語境詞。例如，在句子「the screen of iPhone is clear but batter life is short」中，「clear」是「screen」的重要語境詞，「short」是「battery life」的重要語境詞。近期該任務(wù)通過注意力機(jī)制得到解決。盡管很多深度學(xué)習(xí)技術(shù)可用于處理 aspect level 情感分類，但文獻(xiàn)中仍然沒有主導(dǎo)性技術(shù)。

帶有詞嵌入的情感分析

很明顯詞嵌入在深度學(xué)習(xí)情感分析模型中扮演了重要角色。研究也表明，即使不使用深度學(xué)習(xí)模型，詞嵌入也可以在不同任務(wù)中用作非神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)模型的特征。因此，該部分特別強(qiáng)調(diào)了詞嵌入對(duì)情感分析的貢獻(xiàn)。

我們首先介紹了情感編碼詞嵌入的工作。對(duì)于情感分析，直接使用 CBOW 或 Skip-gram 等常規(guī)的單詞方法學(xué)習(xí)語境中的詞嵌入可能會(huì)遇到問題，因?yàn)榫哂邢嗨普Z境但情感極性相反（例如，「好」或「壞」）的單詞可能被映射到嵌入空間的相近向量。因此，人們提出了情感編碼詞嵌入方法。Mass el al.101 學(xué)習(xí)了可以捕捉語義和情感信息的詞嵌入。Bespalov et al.102 表明，n-gram 模型結(jié)合潛在表征將為情感分類提供更合適的嵌入。通過把語句的情感監(jiān)督作為正則化項(xiàng)，Labutov and Lipson103 將帶有 logistic 回歸的現(xiàn)有詞嵌入進(jìn)行重嵌入。

用于情感分析的多模態(tài)數(shù)據(jù)

多模態(tài)數(shù)據(jù)已被用于情感分析，因?yàn)槠浔任谋咎峁┝烁嗟男畔ⅰＩ疃葘W(xué)習(xí)模型把輸入映射到一些特征空間，來自多模態(tài)數(shù)據(jù)的不同形式的輸入也可以被這些模型投射到一些聯(lián)合潛在空間或表征。因此，使用深度學(xué)習(xí)模型處理多模態(tài)數(shù)據(jù)的趨勢不斷增長。

例如 Wang et al. 提出一個(gè) CNN 結(jié)構(gòu)的深度網(wǎng)絡(luò)，命名為深度耦合形容詞與名詞神經(jīng)網(wǎng)絡(luò)（DCAN），可用于視覺情感分類。DCAN 的核心思想是利用形容詞和名詞性文本描述，把它們看作兩個(gè)（弱）監(jiān)督信號(hào)以學(xué)習(xí)兩個(gè)中間情感表征，然后結(jié)合學(xué)習(xí)的表征并用于情感分類。