圖 楊宗瀚（圖片來(lái)源：楊宗瀚）
從機(jī)器作詩(shī)到神經(jīng)常微分方程
其實(shí)，楊宗瀚最初接觸科研是從自然語(yǔ)言處理開(kāi)始的，他參與的第一個(gè)科研項(xiàng)目與機(jī)器作詩(shī)有關(guān)。如果你對(duì)古詩(shī)詞感興趣，或許你聽(tīng)說(shuō)過(guò)“九歌” [3]。不過(guò)，這里的“九歌”不是《楚辭·九歌》，而是由孫茂松教授領(lǐng)導(dǎo)研發(fā)的可以作詩(shī)的人工智能。“九歌”曾在央視節(jié)目《機(jī)智過(guò)人》中與人類同臺(tái)作詩(shī)，且成功淘汰了一些人類所作的作品。
在提及“九歌”的工作原理時(shí)，楊宗瀚是這樣解釋的：機(jī)器作詩(shī)最主要的原理是序列到序列學(xué)習(xí)（sequence-to-sequence learning）。比如，給定詩(shī)的第一句，想要生成第二句，便是使用編碼器-解碼器（encoder-decoder）的架構(gòu)，將第一句“翻譯”成第二句。這種架構(gòu)最主要的應(yīng)用場(chǎng)景是機(jī)器翻譯，相關(guān)論文所做的實(shí)驗(yàn)也大多和機(jī)器翻譯相關(guān)。
參與這個(gè)項(xiàng)目之后，楊宗瀚開(kāi)始關(guān)注自然語(yǔ)言處理，尤其是機(jī)器翻譯領(lǐng)域，并希望能找到更為普適的方法。他曾參與其導(dǎo)師課題組創(chuàng)立的機(jī)器翻譯閱讀清單項(xiàng)目 [4]，這一清單主要對(duì)近年來(lái)機(jī)器翻譯領(lǐng)域發(fā)表在頂會(huì)上的論文進(jìn)行整理分類。這一清單目前主要由楊宗瀚負(fù)責(zé)維護(hù)，其星標(biāo)數(shù)已達(dá) 1700+，復(fù)用數(shù)達(dá) 360+。
“如果你仔細(xì)觀察這個(gè)清單，你會(huì)發(fā)現(xiàn)很多有趣的地方。” 楊宗瀚解釋說(shuō)。由于能夠發(fā)表于頂級(jí)會(huì)議的論文通常代表著該領(lǐng)域最具價(jià)值或前瞻性的工作，通過(guò)這則清單，我們可以了解該領(lǐng)域的發(fā)展動(dòng)態(tài)。這在無(wú)形中也使楊宗瀚對(duì)機(jī)器翻譯領(lǐng)域有了為全局性的了解。
當(dāng)然，想要成為更成功的學(xué)者，除了要對(duì)領(lǐng)域整體進(jìn)展的把握，還要有對(duì)興趣點(diǎn)更深入的鉆研。除了對(duì)已相對(duì)完備的機(jī)器翻譯技術(shù)的總結(jié)，他開(kāi)始思考機(jī)器翻譯的方法本身，這些方法是否還有需要提高的地方。也正是因?yàn)檫@些思考，讓楊宗瀚參與到更為深入的課題中。
楊宗瀚說(shuō)：“我們發(fā)現(xiàn)，目前的機(jī)器翻譯總會(huì)出現(xiàn)一些漏詞錯(cuò)誤?！倍绻軌蛐拚@些錯(cuò)誤，就可以提高機(jī)器翻譯系統(tǒng)的翻譯質(zhì)量?；谶@一思路，楊宗瀚接下來(lái)參與了關(guān)于改善機(jī)器翻譯效果的相關(guān)研究，其中一項(xiàng)基于對(duì)比學(xué)習(xí)減少機(jī)器翻譯漏詞錯(cuò)誤的工作，在 2019 年被國(guó)際計(jì)算語(yǔ)言學(xué)協(xié)會(huì)會(huì)議（ACL）收錄 [5]，楊宗瀚是這篇論文的第一作者。
在做這些研究的同時(shí)，楊宗瀚也在不斷思考如何在模型架構(gòu)和方法論方面做出進(jìn)一步創(chuàng)新。
“我對(duì)數(shù)值計(jì)算也很感興趣?！睏钭阱f(shuō)。
楊宗瀚曾在“VLSI 設(shè)計(jì)導(dǎo)論”這門專業(yè)選修課上，編寫數(shù)值計(jì)算的程序?qū)﹄娐愤M(jìn)行仿真，這是楊宗瀚第一次將數(shù)值計(jì)算相關(guān)的知識(shí)進(jìn)行實(shí)際應(yīng)用。受到老師的支持和鼓勵(lì)，楊宗瀚進(jìn)一步學(xué)習(xí)了數(shù)值計(jì)算方面的相關(guān)課程。正是這一興趣激發(fā)了楊宗瀚后續(xù)在神經(jīng)常微分方程的研究方向上的探索。另外我們可以看到，今年發(fā)表在 ICML 上的這篇論文的作者中，包承龍和史作強(qiáng)兩位教授來(lái)自數(shù)學(xué)系，楊宗瀚表示，他很享受這種跨學(xué)科式的，理論和實(shí)踐兼顧的研究。
楊宗瀚認(rèn)為，神經(jīng)常微分方程無(wú)論在理論還是應(yīng)用方面都有著許多值得研究的地方，希望在未來(lái)能夠展開(kāi)更為深入的探索。
圖 楊宗瀚在大三暑研期間與卡耐基梅隆指導(dǎo)老師Yulia Tsvetkov教授合影（圖片來(lái)源：楊宗瀚）
幸運(yùn)的是，許多老師的建議都給楊宗瀚帶來(lái)了啟發(fā)。他的導(dǎo)師劉洋教授經(jīng)常與他討論選題相關(guān)的事宜；劉洋教授在選題方面有著深刻的見(jiàn)解，他還曾做過(guò)《淺談研究生學(xué)位論文選題方法》的報(bào)告，鼓勵(lì)大家從事具有重要性、創(chuàng)新性、前沿性的探索。同組的孫茂松教授鼓勵(lì)他做重要的研究，解決困難的問(wèn)題；劉知遠(yuǎn)教授告訴他，在科研上的一切探索和鉆研都有其價(jià)值，沒(méi)有浪費(fèi)一說(shuō)。馬昱春教授以自己的親身經(jīng)歷為例，鼓勵(lì)他不畏困難，不怕挑戰(zhàn)，在科研初期不用過(guò)于挑剔，擔(dān)心領(lǐng)域是否有前途或是能不能勝任。
“若是覺(jué)得一個(gè)課題有意義，就可以去嘗試?！睏钭阱诨貞浝蠋煂?duì)他的鼓勵(lì)時(shí)，想到了清華大學(xué)校歌中的一句歌詞：無(wú)問(wèn)西東。
事實(shí)上，在科研的起步階段，具體從什么課題入手并不是最重要的，重要的是在這些嘗試中，我們能不斷提升自己的能力，并對(duì)如何更好地進(jìn)行下一步有了更切身的體會(huì)。而在這些不斷的嘗試中，我們也會(huì)對(duì)自己的興趣點(diǎn)和擅長(zhǎng)的方面有著更清晰的認(rèn)識(shí)。這些嘗試本身，就是從起步逐漸成長(zhǎng)變得更成熟的過(guò)程。
按照老師們的教導(dǎo)，楊宗瀚遇到感興趣的課題就勇敢去嘗試，在每個(gè)階段都腳踏實(shí)地的走好眼前的一小步，并在這個(gè)過(guò)程中不斷的進(jìn)步和成長(zhǎng)。而當(dāng)持續(xù)這個(gè)過(guò)程一段時(shí)間再回顧之前科研經(jīng)歷的時(shí)候，一些更為宏觀的把握也會(huì)更加清晰。
“即使是現(xiàn)在，我偶爾還是會(huì)迷茫。”楊宗瀚說(shuō)。未來(lái)是我們無(wú)法預(yù)測(cè)的，尤其對(duì)于學(xué)者來(lái)說(shuō)。科研是一場(chǎng)冒險(xiǎn)，只有不斷的嘗試，才可能帶來(lái)突破性的進(jìn)展。但楊宗瀚希望繼續(xù)保持目前這樣的狀態(tài)，在科研路上堅(jiān)定地前進(jìn)，努力做出基礎(chǔ)性、原創(chuàng)性的工作，不畏困難，無(wú)問(wèn)西東。
參考文獻(xiàn)：
[1] Zonghan Yang, Yang Liu, Chenglong Bao, and Zuoqiang Shi. 2020. Interpolation between Residual and Non-Residual Networks. In Proceedings of ICML 2020, Vienna, Austria, July 12-18.
[2] Ricky T. Q. Chen, Yulia Rubanova, Jesse Bettencourt, and David Duvenaud. 2018. Neural Ordinary Differential Equations. In Proceedings of NeurIPS 2018, Montréal, Canada, December 2-8.
[3] http://jiuge.thunlp.org/
[4] https://github.com/THUNLP-MT/MT-Reading-List
[5] Zonghan Yang, Yong Cheng, Yang Liu, and Maosong Sun. 2019. Reducing Word Omission Errors in Neural Machine Translation: A Contrastive Learning Approach. In Proceedings of ACL 2019 (short paper), pages 6191-6196, Florence, Italy, July 28-August 2.
聯(lián)系客服
