本月，人工智能領(lǐng)域共計 495 篇新聞發(fā)生 187 個事件，如圖 1 所示。其中，1 月 11 日因人工智能國際頂會 IJCAI 2020 舉行，19 日因 ICLR 2021 論文接收統(tǒng)計出爐等熱點事件而出現(xiàn)關(guān)注高峰。 值得關(guān)注的事件有：學術(shù)會議方面，人工智能國際頂會 IJCAI 2020 線上成功舉辦，共收到 6814 篇摘要提交，接收率為 12.5%。中國以 232 篇論文接收量排名第一，接收的論文數(shù)量占總數(shù)量的 39.2%。 AI 人物方面，2020 年 “CCF 優(yōu)秀博士學位論文獎” 最終評選結(jié)果名單出爐，清華大學上榜 3 人；2020 年度的 ACM Fellow 名單，12 位華人上榜；陳文光榮獲 2020 年 “CCF 杰出貢獻獎” 等。 研究報告方面，英國發(fā)布《人工智能路線圖》以及清華 AI 研究院發(fā)布的《人工智能發(fā)展報告 2020》等受到較多關(guān)注。 AI 領(lǐng)域科研進展有：由北京智源人工智能研究院聯(lián)合清華大學等單位組成的 "悟道" 聯(lián)合攻關(guān)團隊發(fā)布了面向認知的超大規(guī)模新型預(yù)訓(xùn)練模型 "文匯"；谷歌發(fā)布人類歷史首個萬億級模型 Switch Transformer；OpenAI 發(fā)布 120 億參數(shù)圖像版 GPT-3 等。 近日，國際人工智能領(lǐng)域頂級學術(shù)會議 AAAI 2021（第 35 屆 AAAI）論文收錄結(jié)果出爐。在國內(nèi) AI 陣營前列的京東數(shù)科以高達 16 篇論文的入選量成為本屆 AAAI 的一大黑馬。其研究方向包含了聯(lián)邦學習、對抗學習、深度學習、序列推薦、社交推薦、圖神經(jīng)網(wǎng)絡(luò)、風險管理的反因果推斷，以及智能城市領(lǐng)域的時空 AI 等尖端技術(shù)領(lǐng)域。 詳情鏈接： https://www.chinanews.com/business/2021/01-07/9381098.shtml 1 月 7 日至 15 日，原定于日本橫濱舉行的人工智能國際頂會 IJCAI 2020 因為疫情原因轉(zhuǎn)為線上舉辦。期間，由微眾銀行、蘋果、香港科技大學等機構(gòu)聯(lián)合舉辦的聯(lián)邦學習國際研討會于 1 月 8 日線上召開，來自聯(lián)邦學習研究方向的多位知名研究者在會上圍繞隱私保護與數(shù)據(jù)加密兩大目標進行了回顧、討論與展望。 本次的最佳論文獎授予 Lingjuan Lyu、Xinyi Xu 與 Qian Wang 等人，獲獎工作為 “Collaborative Fairness in Federated Learning”。 論文鏈接： https://www.aminer.cn/pub/5f48d8ba91e011096f95615d 本次的最佳學生論文獎授予 Zhaoxiong Yang、Shuihai Hu 與 Kai Chen 等人， 獲獎工作為 “FPGA-Based Hardware Accelerator of Homomorphic Encryption for Efficient Federated Learning”。 論文鏈接： https://www.aminer.cn/pub/5f18079e91e011c28ff02cd0 本次的最佳應(yīng)用論文獎授予 Xu Guo、Pengwei Xing、Siwei Feng、Boyang Li 與 Chunyan Miao 等人，獲獎工作為 “Federated Learning with Diversified Preference for Humor Recognition”。 論文鏈接： https://www.aminer.cn/pub/5fca094d91e011654d99e700 本屆大會一共收到了 6814 篇摘要提交，有 2191 篇論文被直接拒絕，有 346 篇論文被 desk rejection，接收了 591 篇論文，接收率為 12.5%。 IJCAI 近 9 年論文收錄情況（來源于 AMiner） 論文投稿情況在國家層面，中國仍然是一騎絕塵，2439 篇論文提交，232 篇論文接收排名第一，接收的論文數(shù)量占總數(shù)量的 39.2%。 IJCAI2020 各國論文投稿情況（來源于 AMiner） 從論文主題上來看，機器學習無論是論文提交數(shù)量（1616 篇）還是論文收錄數(shù)量（152 篇）都遠遠高于其他論文主題。 詳情鏈接： https://mp.weixin.qq.com/s/2NfApjFVTULFyPQscpjrdQ CVPR 是谷歌學術(shù)指標排行榜第一的 AI 頂會。1 月 18 日，CVPR 2021 的評審結(jié)果出爐。今年共有 7015 篇有效提交論文，每篇論文都至少有 3 個評審結(jié)果，所有論文加起來總共有 21603 個評審結(jié)果。今年的投稿數(shù)相比去年增加了 19.6%，再創(chuàng)新高。 CVPR2020 關(guān)鍵詞（來源于 AMiner） 詳情鏈接： https://mp.weixin.qq.com/s/edGthcjU43axKMpJbB8Alw ICLR 2021 共有 2997 篇有效論文投稿，最后有 860 篇被接收，錄取率達到了 28.7%，相比去年的 26.5% 有提升。ICLR 2021 論文接收量排名前二十的研究機構(gòu)，分別是：谷歌、斯坦福大學、UC 伯克利大學、卡納基梅隆大學、麻省理工學院、微軟、KAIST、牛津大學、Facebook、蒙特利爾大學、蘇黎世聯(lián)邦大學、華盛頓大學、Deepmind、清華大學、德克薩斯大學奧斯汀分校、劍橋大學、普林斯頓大學、多倫多大學、南加州大學。 ICLR2021 論文接收量排名前 20 的研究機構(gòu)（來源于 AMiner） ICLR 2021 論文平均分排名前二十的研究機構(gòu)，騰訊天衍實驗室平均分 7 + 排名最高，另外同樣排在前二十的國內(nèi)研究機構(gòu)還有商湯科技、華為諾亞方舟實驗室。 ICLR2021 論文平均分排名前 20 的研究機構(gòu)（來源于 AMiner） 在接收論文平均得分最高的 TOP 20 研究機構(gòu)中，艾倫人工智能研究所以近 8 分的平均得分位列第一，國內(nèi)騰訊天衍實驗室、商湯分列第 4 和第 9 位。 詳情鏈接： https://mp.weixin.qq.com/s/6C2zlqsIXCkTvePlb0EvUA 美國計算機學會（ACM）于近日宣布了 2020 年新當選 ACM Fellow 名單，共有 95 位科學家當選，其中包括陳怡然、顏水成、周昆、申恒濤、陶宇飛、王薇、Cathy Wu、李學龍、呂晨陽、任奎、王義、張耀文等 12 位華人學者。本次選出的 95 名 ACM Fellow ，分別在人工智能、云計算、計算機圖形學、計算生物學、數(shù)據(jù)科學、安全和隱私、軟件工程、量子計算和網(wǎng)絡(luò)科學等領(lǐng)域做出了廣泛的基礎(chǔ)性貢獻。ACM Fellow 設(shè)立于 1993 年，截止目前為止，已有 1000 多位 ACM Fellow 誕生。 詳情鏈接： https://mp.weixin.qq.com/s/vhBv0RmZstdDTwkLD8ii2Q 經(jīng)評選，CCF 獎勵委員會決定授予 10 位博士 2020 年 “CCF 優(yōu)秀博士學位論文獎”，以表彰他們的博士論文在創(chuàng)新及學術(shù)影響力方面的突出表現(xiàn)。各高校入選結(jié)果分別是：清華大學 3 人，中科院計算所 2 人，哈爾濱工業(yè)大學 1 人，北京大學 1 人，上海交通大學 1 人，南京大學 1 人，大連理工大學 1 人。 詳情鏈接： https://blog.csdn.net/amusi1994/article/details/112167205 最新 Emery Berger 組織的全球院校計算機科學領(lǐng)域?qū)嵙ε琶?AI（含 5 項細分領(lǐng)域）排名中，清華大學排名第一，北京大學排名第二，CMU 排名第三。CS Rankings（Computer Science Rankings）：是由馬薩諸塞大學安姆斯特分校（University of Massachusetts Amherst）信息與計算機科學學院教授 Emery Berger 發(fā)布的基于研究指標（全球各機構(gòu)的學者在各頂級學術(shù)會議上發(fā)表的論文）的全球頂尖計算機科學機構(gòu)排名。該排名完全基于研究指標，能夠以絕大多數(shù)院校教員在計算機科學領(lǐng)域的各大頂會發(fā)布的論文數(shù)量為衡量指標。 詳情鏈接： http://csrankings.org/#/fromyear/2021/toyear/2021/index?all&us 4. 知識圖譜產(chǎn)業(yè)發(fā)展論壇完成首批 13 家單位認證，智譜·AI 上榜 1 月 8 日，由中國電子技術(shù)標準化研究院主辦的 “第一屆知識圖譜產(chǎn)業(yè)發(fā)展論壇” 在北京成功召開。會上發(fā)布了首批知識圖譜產(chǎn)品認證證書、知識驅(qū)動先鋒企業(yè)榜單、優(yōu)秀案例集等相關(guān)成果。為進一步強化和提升知識圖譜相關(guān)產(chǎn)品的質(zhì)量，規(guī)范知識圖譜在構(gòu)建與應(yīng)用過程中的性能指標和功能要求，電子標準院還聯(lián)合 20 余家單位共同研制了《知識圖譜構(gòu)建平臺認證技術(shù)規(guī)范》、《知識圖譜應(yīng)用平臺認證技術(shù)規(guī)范》，并完成了首批 13 家單位的產(chǎn)品認證工作。由張鈸院士擔任首席顧問的北京智譜華章科技有限公司（智譜?AI），憑借其優(yōu)秀的知識圖譜產(chǎn)品 “科技情報知識圖譜平臺（V2.1.0）” 榮登榜上。 詳情鏈接： https://www.aminer.cn/research_report/5ffa99e9e8a87f775ad22484 該報告是在美國過去五年內(nèi)由政府機構(gòu)、咨詢機構(gòu)、智囊團、科研機構(gòu)等發(fā)表的 32 份科技趨勢相關(guān)研究調(diào)查報告的基礎(chǔ)上提煉形成的。通過對近 700 項科技趨勢的綜合比對分析，最終明確了物聯(lián)網(wǎng)、機器人與自動化系統(tǒng)、智能手機與云計算、智能城市、量子計算、混合現(xiàn)實、數(shù)據(jù)分析、人類增強、網(wǎng)絡(luò)安全、社交網(wǎng)絡(luò)、先進數(shù)碼設(shè)備、先進材料、太空科技、合成生物科技、3D 打印、醫(yī)學、能源、新型武器、食物與淡水科技、對抗全球氣候變化等 20 項最值得關(guān)注的科技發(fā)展趨勢。 詳情鏈接： https://mp.weixin.qq.com/s/GQxqqRDMuc-lVOmv0grVPw 1 月 20 日，清華大學人工智能研究院、清華 - 中國工程院知識智能聯(lián)合研究中心聯(lián)合發(fā)布《人工智能發(fā)展報告 2020》。該報告基于清華大學自主研發(fā)的 “科技情報大數(shù)據(jù)挖掘與服務(wù)平臺”（簡稱 AMiner）平臺，收錄了 2011 年至 2020 年期間，人工智能領(lǐng)域頂級期刊和會議的論文和專利數(shù)據(jù)，全面展現(xiàn)人工智能發(fā)展至今所獲得的重大科研進展、成果產(chǎn)出以及科研熱點，還預(yù)測人工智能下一個十年的重點發(fā)展方向?qū)◤娀瘜W習、神經(jīng)形態(tài)硬件、知識圖譜、智能機器人、可解釋性 AI、數(shù)字倫理和知識指導(dǎo)的自然語言處理等。 詳情鏈接： https://www.chinaai.com/zixun/6005.html 該報告在過往的定性分析方法之外增加了數(shù)據(jù)層面的挖掘、分析和探索，更加側(cè)重對具體技術(shù)趨勢的挖掘以及量化分析指標的形成。報告選取了（人類）自然語言技術(shù)、然語言技術(shù)、計算機視覺、機器人與自動化技術(shù)、機器學習、智能基礎(chǔ)設(shè)備、數(shù)據(jù)智能技術(shù)、AI 交叉領(lǐng)域等七個大發(fā)展趨勢領(lǐng)域?；陂_源的論文與專利語料，結(jié)合機器之心自有的相關(guān)數(shù)據(jù)庫，綜合文獻報告審閱與問卷訪談等形式，分別從 “頂會趨勢（NeurIPS） 分析”、“專家問卷分析” 以及 “專業(yè)分析” 三個不同角度呈現(xiàn)分析結(jié)果，輔助讀者了解近年來 AI 領(lǐng)域的熱門趨勢技術(shù)。 詳情鏈接： https://mp.weixin.qq.com/s/ImsxjEagP4ltkySIgL0Rtg 互聯(lián)網(wǎng)投研平臺 愛分析 ifenxi 發(fā)布《中國人工智能應(yīng)用趨勢報告》。該報告共 72 頁，包含新基建背景下的人工智能應(yīng)用新機遇；企業(yè)人工智能應(yīng)用新趨勢；人工智能落地進展與實踐案例；人工智能未來展望四大部分。 詳情鏈接： https://tech.china.com/article/20210119/012021_699531.html 5. IT 桔子：2021 年中國人工智能與教育融合應(yīng)用報告 IT 桔子發(fā)布《中國人工智能與教育融合應(yīng)用報告》。該報告從近 6 年 AI + 教育投融資情況到重點大額融資事件，包括投資方和企業(yè)的投資布局數(shù)據(jù)披露；教育參與主體、教學環(huán)節(jié)、教育內(nèi)容、產(chǎn)品形態(tài)多方面分析 AI + 教育的應(yīng)用融合；國內(nèi) AI + 教育獨角獸榜單；并提供國內(nèi)人工智能 + 教育產(chǎn)業(yè)鏈圖譜，以及部分國外 AI + 教育企業(yè)簡介。 詳情鏈接： https://new.qq.com/omn/20210113/20210113A05KOD00.html 6、英國的人工智能理事會發(fā)布《人工智能路線圖》報告 近期，英國人工智能委員會發(fā)布《AI 路線圖》報告。該報告認為，英國需要加倍在人工智能方面的投資，需提升尖端技能以使 AI 更多樣化。該《AI 路線圖》圍繞四大維度十六條建議展開：一是研究、開發(fā)與創(chuàng)新，包括擴大公共部門對人工智能的可持續(xù)投資、將艾倫?圖靈研究所打造為全國性機構(gòu)、確認方案推進人工智能發(fā)展；二是技能與多樣性，包括致力于讓所有人具備 AI 和數(shù)據(jù)素養(yǎng)、制定基準將多樣性與包容性作為優(yōu)先事項；三是數(shù)據(jù)、基礎(chǔ)架構(gòu)和公眾信任，包括通過公眾監(jiān)督確保公眾信任、鞏固和加速增加 AI 所需基礎(chǔ)設(shè)施建設(shè)、牽頭制定標準實施數(shù)據(jù)治理等；四是國家跨領(lǐng)域應(yīng)用，包括使用 AI 提升醫(yī)療衛(wèi)生價值、使用 AI 維護國家安全等。 詳情鏈接： https://www.sohu.com/a/444072161_478183 1 月 18 日，中國計算機協(xié)會（CCF）公告決定授予智源學者、清華大學陳文光教授 2020 年 “CCF 杰出貢獻獎”，以表彰他為 CSP 的權(quán)威性、專業(yè)性做出的杰出貢獻。該獎于 2010 年設(shè)立。陳文光，國內(nèi)系統(tǒng)研究的領(lǐng)軍人物之一，中國計算機學會副秘書長，曾任 ACM 中國理事會主席、ACM 中國操作系統(tǒng)分會 ChinaSys 主席、ACM 通訊中文版主編等。 詳情鏈接： https://mp.weixin.qq.com/s/UEwL27oYzpoechd7__XiBg 2021 年 1 月 8 日，騰訊 Robotics X 實驗室及騰訊 AI Lab 負責人張正友博士成為騰訊首位 17 級研究員 / 杰出科學家，17 級是騰訊歷史上最高的專業(yè)職級。張正友領(lǐng)導(dǎo)創(chuàng)建了機器人實驗室 Robotics X，并致力推進人機協(xié)作的下一代機器人研究。目前 Robotics X 實驗室主攻移動、靈巧操作和智能體等三大通用機器人技術(shù)的研究與應(yīng)用，并聚焦于多模態(tài)移動機器人的研發(fā)。騰訊 AI Lab 在張正友的帶領(lǐng)下，致力于全棧式的人工智能的基礎(chǔ)研究和應(yīng)用探索。在做原創(chuàng)性研究的同時，騰訊 AI Lab 還探索結(jié)合騰訊場景與業(yè)務(wù)優(yōu)勢的應(yīng)用，其研發(fā)的農(nóng)業(yè) AI iGrow 系統(tǒng)、虛擬人技術(shù)、人臉識別系統(tǒng)、語音前端技術(shù)等已經(jīng)在騰訊多個產(chǎn)品和業(yè)務(wù)中落地應(yīng)用。 詳情鏈接： https://mp.weixin.qq.com/s/bS-4O5eL529tQqeSwu6J_Q 近日，90 歲的 IEEE 終身 Fellow、以色列科學家 Jacob Ziv 因其 “對信息論和數(shù)據(jù)壓縮技術(shù)的重要貢獻和杰出研究領(lǐng)導(dǎo)地位” 獲得本年度的 IEEE 榮譽勛章。LZ77 與 LZ78 是 Abraham Lempel 與 Jacob Ziv 在 1977 年以及 1978 年發(fā)表的論文中提出的兩個無損數(shù)據(jù)壓縮算法，二人脫離了 Huffman 及算術(shù)編碼的設(shè)計思路，創(chuàng)造出了一系列比 Huffman 編碼更有效，比算術(shù)編碼更快捷的通用壓縮算法。LZ77 的誕生，被稱為 “壓縮算法的開山之作”。LZ 是世界上第一個成功的主流通用壓縮算法，該算法及 Jacob Ziv 的分析為后來的通用算法工作奠定了基礎(chǔ)。 論文鏈接： https://www.aminer.cn/pub/53e99c30b7602d97024e07d2/ 詳情鏈接： https://mp.weixin.qq.com/s/Cpi3ZeViC2g2X42Rv-AC9g CCF 獎勵委員會決定授予深圳大學陳國良教授和上海交通大學孫永強教授 2020 年 “CCF 終身成就獎”，以表彰他們?yōu)橹袊嬎銠C事業(yè)的發(fā)展做出的卓越貢獻?！癈CF 終身成就獎” 授予在計算機科學、技術(shù)和工程領(lǐng)域取得重大突破，成就卓著、貢獻巨大的資深中國計算機科技工作者。該獎于 2010 年設(shè)立。 詳情鏈接： https://mp.weixin.qq.com/s/4meUmUKGgKbLU7KSUS9zmg 五、重要 AI 科研成果 1、AI 將用于體外受精 最近，以色列一家機器學習創(chuàng)業(yè)公司 AiVF 表示，與傳統(tǒng)方法相比，人工智能有可能將體外受精（IVF）的成功率提高三倍。AiVF 使用 ML 和計算機視覺技術(shù)，使胚胎學家能夠發(fā)現(xiàn)哪些胚胎在子宮內(nèi)植入過程中，最有可能獲得成功。據(jù) IEEE 報道，AiVF 的 ML 技術(shù)涉及獲取在孵化器中創(chuàng)建發(fā)育中的胚胎的延時視頻，在五天的視頻中顯示了胚胎發(fā)育中的各種里程碑階段。AiVF 的初步結(jié)果表明，計算機視覺和 ML 可能會降低 IVF 的價格，反過來說，這會使女性懷孕的成本降低。現(xiàn)在，研究人員訓(xùn)練了一種機器學習 算法，通過各種標注了 “患病” 和 “健康” 的數(shù)據(jù)集訓(xùn)練機器，以識別胎盤樣品薄片中圖像的某些特征。 論文地址： https://spectrum.ieee.org/tech-talk/biomedical/diagnostics/how-ai-is-transforming-assisted-reproductive-technology 詳情鏈接： https://mp.weixin.qq.com/s/wvOPWk-byWW8F6ctlNFZ9Q 2、OpenAI 發(fā)布 120 億參數(shù)圖像版 GPT-3 1 月 5 日，OpenAI 同時發(fā)布了兩個與 GPT 有關(guān)的文本 - 圖像工作：DALL?E：個利用文本 - 圖像數(shù)據(jù)集，有著 120 億參數(shù)的 “GPT-3”，可以根據(jù)文本生成各種各樣的圖像；CLIP：可以通過自然語言的監(jiān)督來有效學習視覺概念，只需要提供要識別的視覺類別名稱，利用 CLIP 便能夠做任意的視覺分類，類似于 GPT-2和 GPT-3 的 “Zero-shot”功能。這兩項工作的突破性是無疑的，但同時作為前奏，也讓人更加 期待 OpenAI 接下來的 GPT-4 了。GPT-3 給人們帶來的深刻印象是，大模型可以執(zhí)行各種文本生成任務(wù)。與利用 GAN 來做文本到圖像的生成不同，DALL?E 能夠為大量五花八門的句子創(chuàng)造出似是而非的意象，這些句子很多時候本身就是對語言結(jié)構(gòu)的探索。在生成之后，DALL?E 采用 CLIP 進行排序，從中選取最優(yōu)結(jié)果，整個過程 論文地址： https://cdn.openai.com/papers/Learning_Transferable_Visual_Models_From_Natural_Language.pdf 詳情鏈接： https://mp.weixin.qq.com/s/jRWVKQodWXO2TYIgqBz3ag 3、美學者研制出一種光學卷積神經(jīng)網(wǎng)絡(luò)加速器 近日，美國喬治?華盛頓大學和加州大學洛杉磯分校的研究人員與深度科技創(chuàng)業(yè)公司 Optelligence LLC 共同開發(fā)出一種光學卷積神經(jīng)網(wǎng)絡(luò)加速器，每秒能夠處理拍字節(jié)（1 拍字節(jié) = 250 字節(jié)）級的大量信息。這項創(chuàng)新利用了光的巨量并行性，預(yù)示著用于機器學習的光學信號處理新時代的到來，應(yīng)用領(lǐng)域包括無人駕駛汽車、5G 網(wǎng)絡(luò)、數(shù)據(jù)中心、生物醫(yī)學診斷、數(shù)據(jù)安全等。為了在這種光學機器學習系統(tǒng)中實現(xiàn)突破，研究人員用基于數(shù)字鏡的技術(shù)取代了空間光調(diào)制器，從而開發(fā)出速度快百倍的系統(tǒng)。該處理器的非迭代時序，再加上快速的可編程性以及大規(guī)模并行化處理，使得這個光學機器學習系統(tǒng)的性能甚至超越頂尖的圖形處理單元一個數(shù)量級，而且在最初的原型機之外還有進一步優(yōu)化的空間。不同于目前電子機器學習硬件中按順序處理信息的范式，這款處理器采用了傅里葉光學，即頻率濾波的概念，可以利用數(shù)字鏡像技術(shù)將神經(jīng)網(wǎng)絡(luò)所需的卷積執(zhí)行為更簡單的逐元（element-wise）乘法。 https://www.aminer.cn/pub/5ee7495191e01198a507f7f2?conf=aaai2021 詳情鏈接： https://www.xianjichina.com/special/detail_469277.html 4、人工智能代理在盲文鍵盤上打字 詳情鏈接： https://www.xianjichina.com/special/detail_469274.html 5、機器學習可以提高粒子加速器故障診斷功能 6、德國勞恩霍夫開發(fā)可視化軟件 https://www.xianjichina.com/special/detail_468956.html 7、亞馬遜推出五大 AI 工具 AWS Auto-Aug 搜索算法（來源于 AMiner） https://www.xianjichina.com/special/detail_468835.html 8、牛津大學 ML 算法實現(xiàn) 10 萬高壓非晶硅原子的模擬 http://www.myzaker.com/article/5ff68b718e9f0924d06f6f0c 9、日本 Fugaku 超級計算機計劃推出 10、IBM 公司使用光學在人工智能系統(tǒng)中創(chuàng)建超快速計算 https://www.xianjichina.com/special/detail_469918.html 11、Nature：世界最快光子 AI 加速器 https://www.aminer.cn/pub/5ff8867bd4150a363c8ae317/ 詳情鏈接：https://www.icloudnews.net/a/20210111/40675.html 12、谷歌發(fā)布人類歷史首個萬億級模型 Switch Transformer 論文鏈接：arxiv.org/abs/2101.03961 13、新一代多模態(tài)文檔理解預(yù)訓(xùn)練模型 LayoutLM 2.0，多項任務(wù)取得新突破 https://arxiv.org/abs/2012.14740 詳情鏈接： https://mp.weixin.qq.com/s/U2US1NB-DlAVXJpmlbIneQ 14、科學家利用人工智能通過糞便標測腸道細菌 https://www.aminer.cn/pub/5ff58e11d4150a363c2a4d0c 詳情鏈接： https://www.xianjichina.com/special/detail_470302.html 15、機器算法可以預(yù)測新冠肺炎患者心臟驟停隱患 https://www.aminer.cn/pub/5ea014079fced0a24b9f39b2 詳情鏈接： https://www.xianjichina.com/special/detail_470183.html 16、NeuTigers 推出 CovidDeep https://www.aminer.cn/pub/5ecbc7909fced0a24b5063db/ 詳情鏈接： https://www.xianjichina.com/special/detail_470066.html 本月初發(fā)表在 AI 領(lǐng)域頂級期刊《人工智能研究雜志》（JAIR）上的一篇文章中，馬德里自治大學、馬克斯 - 普朗克人類發(fā)展研究所等機構(gòu)的研究者認為，由于計算本身固有的基本限制，人類可能無法控制超級人工智能。他們表示，任何旨在確保超級人工智能無法傷害人類的算法都必須首先模擬機器行為以預(yù)測其行動的潛在后果。如果超級智能機器確實可能造成傷害，那么此類抑制算法（Containment Algorithm）需要停止機器的運行。然而，科學家們認為，任何抑制算法都不可能模擬 AI 的行為，也就無法百分之百地預(yù)測 AI 的行為是否會造成傷害。 https://www.aminer.cn/pub/57a4e91aac44365e35c97bf0/ 詳情鏈接： https://jair.org/index.php/jair/article/view/12202/26642 https://www.aminer.cn/pub/5e718f5e9e795e1c35c5f80b/ 詳情鏈接： https://www.xianjichina.com/special/detail_470729.html 19、首個 3D 點云 + GAN 新方法，讓機器人 “眼神” 更犀利！ https://mp.weixin.qq.com/s/oFFBICVMBnaztfLTaKO_rQ 20、助力圖深度學習研究與應(yīng)用，清華團隊發(fā)布 CogDL v0.2 https://mp.weixin.qq.com/s/qtJGPAjo2Al4vb1TBbZ0hw 21、麥吉爾大學等開發(fā)新型視覺觸覺傳感器 https://www.aminer.cn/pub/5ffec7ab91e011c4f870bd1a 詳情鏈接： https://www.xianjichina.com/special/detail_471246.html 22、微軟等提出「 ZeRO-Offload 」技術(shù) https://www.aminer.cn/pub/6006bd4891e0111a1b6a236a 詳情鏈接： https://mp.weixin.qq.com/s/ligKUelDFnQxPbPCE46hmg 詳情鏈接： https://mp.weixin.qq.com/s/hcnPpsGo1f-Y-Foi4Uistg 24、GPT-Neo，最大可達 GPT-3 大小，已開源 https://www.aminer.cn/pub/5ed0e04291e011915d9e43ee/ 詳情鏈接： https://mp.weixin.qq.com/s/UEwL27oYzpoechd7__XiBg https://mp.weixin.qq.com/s/2rltjgOjliUEEQNufRKhgA 26、熱門開源 AutoML 工具 NNI 2.0 來襲 https://www.aminer.cn/pub/5ff6897fd4150a363cca6d02 詳情鏈接： https://mp.weixin.qq.com/s/4PqGaESvPhJDoeliOLMW_g https://www.xianjichina.com/special/detail_469845.html 2、清華、智源、協(xié)和聯(lián)合開發(fā)乳腺癌 AI 診斷工具 https://mp.weixin.qq.com/s/cYKg97nBhRzY2nOTKEAhgA 3、百度發(fā)布預(yù)訓(xùn)練模型 ERNIE-M，可理解 96 種語言 https://www.aminer.cn/pub/5fef1c4c91e0113b265a01ef 詳情鏈接： https://mp.weixin.qq.com/s/xsFxqFwrgz6k5xvjAiXfDQ https://arxiv.org/abs/2006.14978 詳情鏈接： https://www.jiqizhixin.com/articles/2021-01-12-6 https://www.jiqizhixin.com/articles/2021-01-11-7 6、P-Waver 提出地震預(yù)警（EEW）模型 https://www.xianjichina.com/special/detail_470827.html 7、Avalanche Computing 開發(fā)超大規(guī)模計算技術(shù) https://www.xianjichina.com/special/detail_470646.html 8、微軟聯(lián)合浙大提出 FastSpeech 2 論文鏈接： https://www.aminer.cn/pub/5fa0be9b9e795e24e12e39b7 詳情鏈接： https://mp.weixin.qq.com/s/dIsKWepmGd5QP2714xV8kg https://www.aminer.cn/pub/5f9159a29fced0a24bc13aa6 詳情鏈接： https://www.jiqizhixin.com/articles/2021-01-27-4 https://mp.weixin.qq.com/s/ligKUelDFnQxPbPCE46hmg https://www.xianjichina.com/special/detail_471872.html
四、AI 學者個人動態(tài)（一）國外 AI 科研
布里斯托爾大學的研究人員最近進行了一項研究，旨在通過強化學習來教人工智能代理在盲文鍵盤上打字。盲文鍵盤是允許人們用盲文為計算機輸入指令的設(shè)備。他們使用最先進的深度學習算法來完成在模擬和真實環(huán)境中創(chuàng)建的四項任務(wù)（即使用物理機器人），這些深度學習算法取得了顯著的效果。
論文鏈接：https://www.sciencedaily.com/releases/2019/10/191020084939.htm
美國能源部國家加速器設(shè)施的初級粒子加速器操作員正在獲得一種新工具，以幫助他們快速解決妨礙加速器順利運行的問題。一個新的機器學習系統(tǒng)已經(jīng)正確地識別出故障加速器組件和正在經(jīng)歷的故障類型。對定制機器學習系統(tǒng)第一次現(xiàn)場測試結(jié)果的分析最近發(fā)表在 Physical Review Accelerators and Beams 上。連續(xù)電子束加速器設(shè)施是美國能源部的一個設(shè)施，其特點是核物理學家利用一種獨特的粒子加速器來探索物質(zhì)的核心。
詳情鏈接：https://www.xianjichina.com/special/detail_469128.html
德國弗勞恩霍夫計算機圖形學研究所 IGD 開發(fā)了一個可視化應(yīng)用程序。它的主要重點是產(chǎn)品設(shè)計，即產(chǎn)品的開發(fā)中所有的可變特性或性能指標的計算和平衡。弗勞恩霍夫研究人員與奧地利林茨機電一體化中心（LCM）一起，專門將這一項目應(yīng)用于電機的開發(fā)。林茨的研究伙伴生成了技術(shù)數(shù)據(jù)，并在此基礎(chǔ)上對所有產(chǎn)品參數(shù)進行了數(shù)學模擬。所有產(chǎn)品參數(shù)在一個單一的交互式可視化 Fraunhofer 軟件創(chuàng)建的可視化表示涵蓋了與電機開發(fā)相關(guān)的所有標準，包括：尺寸、重量、發(fā)動機功率、扭矩、消耗、成本、效率和溫度。通常，在同一時間最多觀察 10 個不同的標準。可視化以精確曲線圖的形式描述了各個參數(shù)之間的相互作用，特別是當一個值發(fā)生變化時會發(fā)生什么。
詳情鏈接：
借助五款專注于工業(yè)應(yīng)用的 AI 工具，亞馬遜云計算服務(wù)（AWS）正在努力擴大工業(yè) AI 的使用范圍。這些工具可以 7x24 小時不間斷地守護制造工廠，在檢測生產(chǎn)線和其他系統(tǒng)問題的同時，還可以預(yù)測所需的維護任務(wù)，能夠幫助工業(yè)和制造業(yè)客戶將機器智能帶入他們生產(chǎn)流程的機器學習服務(wù)，可提高運營效率、質(zhì)量控制、安保和工作場所安全。利用機器學習、傳感器分析和計算視覺功能，這些工具要通過云到邊緣（云計算和邊緣計算）的工業(yè)機器學習服務(wù)，幫助制造業(yè)和工業(yè)運營解決常見的技術(shù)挑戰(zhàn)。
詳情鏈接：
2021 年第一期《自然》雜志封面研究中，來自牛津大學的 Volker Deringer 等人展示了模擬加壓非晶硅的原子機器學習模型，成功解決了這一挑戰(zhàn)，并捕獲了實驗中遇到的所有結(jié)構(gòu)變化。這種計算方法可以為實驗條件極富挑戰(zhàn)性的材料預(yù)測建模開啟全新的方式。這是 2020 年 12 月 DeepMind 人工智能解決生物學 50 年來重大挑戰(zhàn)之后，人工智能在又一個新的領(lǐng)域展現(xiàn)強大能力。
詳情鏈接：
Fugaku 設(shè)定了 9 個對社會有重要意義的應(yīng)用領(lǐng)域，如醫(yī)學、藥理學、災(zāi)難預(yù)測和預(yù)防、環(huán)境可持續(xù)性和能源。Fugaku 計劃于 2021 年在神戶的 Riken 設(shè)施正式推出，它成為世界上第一臺在原始計算速度、大數(shù)據(jù)處理、人工智能深度學習和實用模擬計算四大類別中均位居榜首的超級計算機。它是由日本理研所和富士通公司聯(lián)合開發(fā)的，耗資 1300 億美元。
詳情鏈接：https://www.japantimes.co.jp/news/2021/01/07/business/tech/japans-fugaku-supercomputer/
近來，IBM 研究人員推出了一種新方法，該方法可以為深度學習應(yīng)用程序帶來巨大的變化，這些應(yīng)用程序可以完全用光而不是電來執(zhí)行計算。研究人員已經(jīng)創(chuàng)建了一個光子張量核心，其基礎(chǔ)是光粒子的特性可以以前所未有的速度處理數(shù)據(jù)，從而以極低的延遲提供人工智能應(yīng)用程序。使用光學物理學，IBM 開發(fā)的技術(shù)可以在單個內(nèi)核中并行運行復(fù)雜的操作。結(jié)合內(nèi)存計算，IBM 的科學家實現(xiàn)了超低延遲，這是電路所無法比擬的。IBM 開發(fā)的基于光的處理器具有同時執(zhí)行多項操作的能力，因此所需的計算密度也較小。盡管 IBM 的研究人員已經(jīng)成功設(shè)計并測試了一個強大的內(nèi)核，但是他們需要擴展試驗，以確保該技術(shù)可以在系統(tǒng)級集成，以確保端到端性能。
詳情鏈接：
近日，澳大利亞研究人員徐興元博士（莫納什大學）、譚朦曦博士、David Moss 教授（斯文本科技大學）、Arnan Mitchell 教授（皇家墨爾本理工大學）等首次提出并實現(xiàn)了基于波長、時間交織的光子卷積加速器。該文章以 "11 TOPS photonic convolutional accelerator for optical neural networks" 為題發(fā)表在 Nature。光子神經(jīng)網(wǎng)絡(luò)工作于模擬架構(gòu)中，即數(shù)據(jù)在硬件系統(tǒng)中的實時位置與進行運算的位置相同，因而規(guī)避了馮諾曼依瓶頸研究人員通過采用集成高品質(zhì)因素、高非線性微環(huán)與波導(dǎo)色散調(diào)控，實現(xiàn)了高相干度、易于產(chǎn)生的集成克爾孤子晶體光頻梳。
論文鏈接：
近日，Google Brain 的研究人員 William Fedus、Barret Zoph、Noam Shazeer 等在 arxiv 上提交了一篇論文 “Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity”，提出了稀疏激活專家模型 Switch Transformer。這個 1.6 萬億參數(shù)模型似乎是迄今為止最大的模型，其速度是 Google 之前開發(fā)的最大語言模型（T5-XXL）的 4 倍，參數(shù)規(guī)模幾乎是 1750 億參數(shù)的 GPT-3 的十倍。這應(yīng)該是人類歷史上發(fā)布的第一個萬億級人工智能模型。研究人員在論文中指出，大規(guī)模訓(xùn)練是通向強大模型的有效途徑，具有大量數(shù)據(jù)集和參數(shù)計數(shù)的簡單架構(gòu)可以遠遠超越復(fù)雜的算法，但目前有效的大規(guī)模訓(xùn)練主要使用稠密模型。
詳情鏈接：https://mp.weixin.qq.com/s/bHdkesGA-WaObmJmvfPmfw
2020 年初，微軟亞洲研究院的研究人員提出并開源了通用文檔理解預(yù)訓(xùn)練模型 LayoutLM 1.0，受到了廣泛關(guān)注和認可。如今，研究人員又提出了新一代的文檔理解預(yù)訓(xùn)練模型 LayoutLM 2.0，該模型在一系列文檔理解任務(wù)中都表現(xiàn)出色，并在多項任務(wù)中取得了新的突破，登頂 SROIE 和 DocVQA 兩項文檔理解任務(wù)的排行榜（Leaderboard）。未來，以多模態(tài)預(yù)訓(xùn)練為代表的智能文檔理解技術(shù)將在更多的實際應(yīng)用場景中扮演更為重要的角色。針對多模態(tài)文檔理解任務(wù)提出的多模態(tài)預(yù)訓(xùn)練模型 LayoutLM 2.0，不僅考慮了文本和頁面布局信息，還將圖像信息融合到了多模態(tài)框架內(nèi)。同時，空間感知自注意力機制的引入進一步提高了模型對文檔內(nèi)容的理解能力。為了進一步在模態(tài)間建立深度關(guān)聯(lián)，研究人員也提出了新的多模態(tài)信息對齊預(yù)訓(xùn)練任務(wù)。實驗結(jié)果顯示，經(jīng)過預(yù)訓(xùn)練 — 微調(diào)的 LayoutLM 2.0 在對應(yīng)不同類型任務(wù)的六個文檔理解數(shù)據(jù)集上顯著優(yōu)于基線方法，表明提出的方法能夠有效提升文檔理解效果。經(jīng)過數(shù)據(jù)增強和全量數(shù)據(jù)微調(diào)，LayoutLM 2.0 單模型性能超出了使用 30 個模型聯(lián)合預(yù)測的原榜首方法 1.6 個百分點，達到 86.72%，成為新的 SOTA。
論文鏈接：
哥本哈根大學的研究人員開發(fā)了一種突破性的技術(shù)，可以幫助我們揭開人類腸道細菌的某些神秘面紗。西蒙?拉斯穆森（Simon Rasmussen）副教授在《自然》雜志上發(fā)表他與諾和諾德基金會蛋白質(zhì)研究中心的研究人員一起負責這項新研究的研究結(jié)果。西蒙?拉斯穆森（Simon Rasmussen）和他的研究人員開發(fā)了一種算法，該算法利用人工智能來完成糞便中細菌的 DNA 串。這種方法不僅限于腸道細菌。人工智能分析非常小的樣品中細菌含量的能力也可用于研究糞便以外的其他物質(zhì)。該算法不僅可以用于研究細菌，還可以使用它來分析健康數(shù)據(jù)，可以收集有關(guān)患者群體的大量信息，例如有關(guān)患者遺傳學，蛋白質(zhì)組成，血液中物質(zhì)以及電子記錄數(shù)據(jù)的知識。然后，利用人工智能可以分析這些非常不同的數(shù)據(jù)集，并確定模式和連接。
論文鏈接：
約翰霍普金斯大學生物醫(yī)學工程師和心臟專家團隊開發(fā)了一種算法，可使住院的新冠肺炎患者出現(xiàn)心臟驟停或血凝塊之前數(shù)小時向醫(yī)生發(fā)出警告。新冠肺炎心臟預(yù)測器可以預(yù)測新冠肺炎患者的心臟驟停，平均預(yù)警時間為 18 小時，并且可以提前三天預(yù)測血液凝塊。它是根據(jù) 3 月 1 日至 9 月 27 日在 Johns Hopkins 衛(wèi)生系統(tǒng)的五家醫(yī)院接受治療的 2178 名患者的數(shù)據(jù)開發(fā)的。研究人員的下一步是開發(fā)在醫(yī)院中設(shè)置該技術(shù)的最佳方法，以幫助護理新冠肺炎患者。
論文鏈接：
1 月 13 日消息，普林斯頓大學分拆出來的人工智能公司 NeuTigers 推出了 CovidDeep，這是一個經(jīng)過臨床驗證的解決方案，可以利用可穿戴設(shè)備衍生的生理傳感器數(shù)據(jù)，對需要進一步檢測 SARS-CoV-2/COVID-19 的人進行分流。CovidDeep 應(yīng)用在預(yù)測一個人是無病毒還是病毒陽性方面的準確率高達 90% 以上，是目前體溫檢查和問卷調(diào)查等分流工具的兩倍。CovidDeep 由最前沿的人工智能深度神經(jīng)網(wǎng)絡(luò)驅(qū)動，模仿人腦如何感知、學習和解釋世界。NeuTigers 在普林斯頓大學電子工程系的研究聯(lián)合創(chuàng)始人使用專有的深度神經(jīng)網(wǎng)絡(luò)從數(shù)十萬個數(shù)字健康數(shù)據(jù)點和 SARS-CoV-2 陽性和健康參與者的特定問卷中學習。
論文鏈接：
17、馬克斯 - 普朗克人類發(fā)展研究所：超級人工智能從理論上就無法控制
論文鏈接：
18、卡內(nèi)基?梅隆大學提出新的 AI 環(huán)境探索模型
近日，卡內(nèi)基?梅隆大學、臉書等機構(gòu)的研究人員提出了一個新的 AI 環(huán)境探索模型。這個新模型綜合了傳統(tǒng)環(huán)境探索模型和基于學習方法的環(huán)境探索模型的優(yōu)點，更簡單和不易出錯。這項研究已經(jīng)發(fā)表在學術(shù)網(wǎng)站 arXiv 上，論文標題為《利用主動神經(jīng) SLAM 學習探索環(huán)境（Learning To Explore Using Active Neural SLAM）》。為了解決全面端到端學習的局限性，卡內(nèi)基?梅隆大學、臉書、伊利諾大學厄巴納 - 香檳分校的研究人員推出了 “主動神經(jīng)即時定位與地圖構(gòu)建（ANS，Active Neural SLAM）模型”。ANS 模型包括一個學習神經(jīng)即時定位與地圖構(gòu)建（SLAM，Simultaneous localization and mapping）模塊，一個全局策略（global policy）和一個局部策略（local policy）。ANS 導(dǎo)航模型克服了之前的基于端對端學習策略的缺陷，基于更真實的數(shù)據(jù)庫進行訓(xùn)練，最終探索效率有所提升。
論文鏈接：
近日，來自德克薩斯大學阿靈頓分校（University of Texas at Arlington，UTA）研究團隊提出了一種名為 PCGAN 的方法。相關(guān)研究論文以 “A Progressive Conditional Generative Adversarial Network for Generating Dense and Colored 3D Point Clouds” 為題，發(fā)表在預(yù)印本網(wǎng)站 arXiv 上。研究人員表示，這是第一個以無監(jiān)督方式生成 3D 點云（3D point cloud）的條件生成對抗網(wǎng)絡(luò)（GAN），該網(wǎng)絡(luò)能夠產(chǎn)生具有多分辨率和精細細節(jié)的 3D 彩色點云，以生成利于辨別的物體圖像，這將極有利于機器人視覺靈敏度的提升。
詳情鏈接：
在 CogDL v0.2 版本中，將任務(wù)、數(shù)據(jù)集、模型和參數(shù)，統(tǒng)一為一個 experiment 接口，只需直接調(diào)用 experiment 函數(shù)即可完成一行實現(xiàn)訓(xùn)練。experiment 接口還整合了 optuna 的超參搜索功能，只需提供不同超參的搜索范圍即可。此外，新增 pineline 方法，通過調(diào)用 pipeline 方法可以很容易的實現(xiàn)一些有趣的應(yīng)用，比如數(shù)據(jù)集的狀態(tài)顯示、節(jié)點的 k-hop neighbor 可視化等。pipeline 接口還支持調(diào)用 OAGBert 模型。
詳情鏈接：
來自三星、麥吉爾大學和約克大學的研究人員，近日研發(fā)出一個全新的生成式多模態(tài)感知 AI 框架，能夠根據(jù)物體初始狀態(tài)的視覺和觸覺數(shù)據(jù)，來預(yù)測出物體的運動趨勢。據(jù)悉，這是第一個利用視覺和觸覺感知來學習多模態(tài)動力學模型的研究。該研究團隊的這項新成果能夠基于觸覺、視覺的雙模態(tài)數(shù)據(jù)對物體的運動軌跡進行預(yù)判，并推測出物體的最終靜止狀態(tài)。相較于以往的運動預(yù)測技術(shù)，該研究團隊實現(xiàn)了觸覺和視覺數(shù)據(jù)的雙向推測，為制造業(yè)的自動化場景提供了更多的可能性。
論文鏈接：
微軟、加州大學默塞德分校的研究者提出了一種名為「 ZeRO-Offload 」的異構(gòu)深度學習訓(xùn)練技術(shù)，可以在單個 GPU 上訓(xùn)練擁有 130 億參數(shù)的深度學習模型，讓普通研究者也能著手大模型的訓(xùn)練。與 Pytorch 等流行框架相比，ZeRO-Offload 將可訓(xùn)練的模型規(guī)模提升了 10 倍。此外，ZeRO-Offload 還可以和模型并行一起使用，在一個 DGX-2 box AI 服務(wù)器上訓(xùn)練參數(shù)量超 700 億的模型。與單獨使用模型并行相比，這一參數(shù)量實現(xiàn)了 4.5 倍的規(guī)模提升。
論文鏈接：
23、谷歌大腦科學家 Quoc V. Le 等提出用 AutoML 方式自動學習 Dropout 模式
近日，卡內(nèi)基梅隆大學在讀博士 Hieu Pham、谷歌大腦研究科學家 Quoc V. Le 提出了一種自動學習 Dropout 的方法。研究者稱，通過強化學習來學習 Dropout 的規(guī)律，AutoDropout 可以提高圖像識別、語言理解和機器翻譯的性能。該研究已被人工智能頂會 AAAI-2021 接收。AutoDropout 的主要貢獻是一個新穎的結(jié)構(gòu)化 Dropout 模式搜索空間。在這個搜索空間中，人們可以為每個模型架構(gòu)和任務(wù)找到適合的 Dropout 模式。此外，該搜索空間還泛化了很多現(xiàn)有的 Dropout 模式。
論文名稱：AutoDropout: Learning Dropout Patterns to Regularize Deep Networks
論文鏈接：https://www.aminer.cn/pub/5ff6d10091e011b497e28f3b
近日，有個名叫 EleutherAI 的團隊（創(chuàng)始成員為：Connor Leahy，Leo Gao 和 Sid Black），宣布推出 GPT-Neo 開源項目，可用于復(fù)現(xiàn) GPT 系列的各種語言模型，也包括 GPT-3。目前已經(jīng)成功制造出 GPT-2 大小的模型。從項目代碼的可擴展性來看，他們預(yù)計可以復(fù)刻出 GPT-3 大小的語言模型，甚至比 GPT-3 更大。目前，作者已經(jīng)給出了詳細的訓(xùn)練步驟。本質(zhì)上，GPT-Neo 有點像是 GPT 系列的 “高仿” 項目：GPT-Neo 中的各種模型，設(shè)計原理接近 GPT 系列，但代碼并不一樣。作者們打算嘗試各種結(jié)構(gòu)和注意力類型，最終擴展出 GPT-3 大小的大語言模型。
論文鏈接：
25、微軟 “AI 聊天機器人” 最新專利獲批
近日，微軟通過了一項名為 “AI 聊天機器人” 的專利申請。微軟專利是首次通過 “社交媒體數(shù)據(jù)” 創(chuàng)建逝者的 AI 機器人。在某些情況下，它甚至可以使用圖像和視頻創(chuàng)建人物的 3D 模型來增加互動的真實感，該 AI 聊天機器人可以模仿逝者與親人進行實時互動和聊天。如果在交談時，用戶提及的問題沒有具體的存儲數(shù)據(jù)，AI 系統(tǒng)可以基于 “人群感知” 和 “心理數(shù)據(jù)” 給出邏輯上可能的回答。
詳情鏈接：
近期，微軟亞洲研究院發(fā)布了 NNI 2.0 版本，其中加入了對 “探索性訓(xùn)練” 框架 Retiarii、基于掩碼的模型壓縮加速工具的支持，提供了利用 Python 發(fā)起實驗 (預(yù)覽功能) 與多種算力混合訓(xùn)練的能力，并簡化了自定義算法的安裝方法。NNI（Neural Network Intelligence）是微軟亞洲研究院為研究人員和算法工程師量身定制的自動機器學習（AutoML）工具。
論文鏈接：
（二）國內(nèi) AI 科研
1、超大規(guī)模新型預(yù)訓(xùn)練模型 ——“文匯”
2021 年 1 月 11 日，由北京智源人工智能研究院、阿里巴巴、清華大學、中國人民大學、中國科學院、搜狗、智譜.AI、循環(huán)智能等單位的科研骨干成立 "悟道" 聯(lián)合攻關(guān)團隊，發(fā)布了面向認知的超大規(guī)模新型預(yù)訓(xùn)練模型 "文匯"，旨在探索解決當前大規(guī)模自監(jiān)督預(yù)訓(xùn)練模型不具有認知能力的問題?！拔膮R” 模型不僅使用數(shù)據(jù)驅(qū)動的方法來建構(gòu)預(yù)訓(xùn)練模型，還將用戶行為、常識知識以及認知聯(lián)系起來，主動 “學習” 與創(chuàng)造?！拔膮R” 模型參數(shù)規(guī)模達 113 億，僅次于 DALL?E 模型的 120 億參數(shù)量，是目前我國規(guī)模最大的預(yù)訓(xùn)練模型，并已實現(xiàn)與國際領(lǐng)先預(yù)訓(xùn)練技術(shù)的并跑。目前，“文匯” 已支持基于認知推理的多種自然語言及跨模態(tài)應(yīng)用任務(wù)，部分應(yīng)用將與搜狗、阿里巴巴、學堂在線、智譜.AI、循環(huán)智能等機構(gòu)合作上線。目前已有四個樣例應(yīng)用可用于展示模型效果。
詳情鏈接：
一項基于 VGG 模型，對超聲影像進行良 / 惡性檢測 及分子亞型分類的深度神經(jīng)網(wǎng)絡(luò)模型 SonoBreast 的研究團隊經(jīng)過數(shù)月對數(shù)據(jù)集預(yù)處理算法和訓(xùn)練模型的改進，根據(jù)近期公布結(jié)果，這一模型的分子分型準確率提升了近 20 個點，達到 76%；而在二分類問題上可以達到 93% 的準確率。SonoBreast 模型使用了卷積神經(jīng)網(wǎng)絡(luò) VGG-19 進行特征提取，然后將特征送入到全連接層進行二分類，并將所有層從頭開始訓(xùn)練。為了進一步擴大數(shù)據(jù)集，研究團隊也與智源研究院的數(shù)據(jù)中心進行合作，希望通過聯(lián)邦學習的技術(shù)，將多家醫(yī)院的超聲影像進行聯(lián)合訓(xùn)練，從而提升模型效果。
詳情鏈接：
2021 年伊始，百度研究院發(fā)布多語言預(yù)訓(xùn)練模型 ERNIE-M。ERNIE-M 通過對 96 門語言的學習，使得一個模型能同時理解 96 種語言，該項技術(shù)在 5 類典型跨語言理解任務(wù)上刷新世界最好效果。在權(quán)威跨語言理解榜單 XTREME 上，ERNIE-M 也登頂榜首，超越微軟、谷歌、Facebook 等機構(gòu)提出的模型。據(jù)了解，基于飛槳實現(xiàn)的 ERNIE-M 模型會于近期開源。
論文鏈接：
4、強化學習與 3D 視覺結(jié)合新突破：高效能在線碼垛機器人
近日，國防科技大學、克萊姆森大學和視比特機器人的研究人員合作提出了使用深度強化學習求解基于動態(tài)變化觀察的序列決策這一問題。該算法性能優(yōu)異，實現(xiàn)簡單，可適用于任意多個前瞻箱子的情形，擺放空間利用率達到甚至超過人類水平。同時，該團隊結(jié)合 3D 視覺技術(shù)，實現(xiàn)了業(yè)界首個高效能無序混合碼垛機器人。論文已被人工智能頂會 AAAI 2021 大會接收。作者使用帶約束的深度強化學習求解 BPP-1 問題，即只能前瞻一個箱子的情形。然后基于蒙特卡洛樹搜索實現(xiàn)了從 BPP-1 到 BPP-k 的拓展。
論文鏈接：
5、元戎啟行推理引擎亮相 CES 2021
在 2021 年 CES 上，L4 級自動駕駛解決方案提供商元戎啟行將在線上展示其針對 L4 級自動駕駛深度學習模型研發(fā)的推理引擎 DeepRoute-Engine。該推理引擎實現(xiàn)了比開源深度學習框架平均高 6 倍的推理速度，大幅提升了自動駕駛的計算效率，令自動駕駛擺脫了對高算力計算平臺的依賴。自動駕駛要做到像人類一樣感知周圍物體，需要通過深度學習來完成，即需要通過大規(guī)模的、復(fù)雜的深度學習網(wǎng)絡(luò)模型來對輸入的數(shù)據(jù)進行推理。在推理過程中，需要實時完成大量的計算。元戎啟行選擇通過自研的推理引擎 ——DeepRoute-Engine，讓 L4 級自動駕駛的感知模塊，可以運行在低成本、低功耗的計算平臺上。
詳情鏈接：
總部位于臺灣的初創(chuàng)公司 P-Waver 在 CES 2021 上宣布了一種新的分析數(shù)據(jù)系統(tǒng)，旨在為政府設(shè)計地震預(yù)警（EEW）模型。P-Waver 基于臺灣中央氣象局的地震數(shù)據(jù)和包括 25 萬多個地震模型的 AI 技術(shù)構(gòu)建了 EEW 系統(tǒng)。該系統(tǒng)可以向距震中 30 至 100 公里的區(qū)域提供 5 至 15 秒的警告時間，以采取預(yù)防措施。為了防止誤報，P-Waver 實施了多個傳感器來捕獲初始波。該團隊估計準確性約為 98％。該系統(tǒng)可以在一到三秒鐘內(nèi)預(yù)測 p 波，而通過多個備用傳感器的設(shè)置和校準不會產(chǎn)生誤報。
詳情鏈接：
Avalanche Computing 是一家總部位于臺北和灣區(qū)的超大規(guī)模計算技術(shù)提供商，它已開發(fā)出一種單擊式 AI 框架，該框架可提高生產(chǎn)速度并具有高度可擴展性。Avalanche Computing 的 AI 框架可以在不改變算法的情況下，有效地在多個 GPU 上以并行或分布式模式訓(xùn)練你的 AI 模型，以降低 AI 項目成本，然后在一個命令中完成 AI 模型從一個到多個邊緣設(shè)備的部署。
詳情鏈接：
近日，微軟亞洲研究院和微軟 Azure 語音研究團隊聯(lián)合浙江大學提出了 FastSpeech 2 和 FastSpeech 2s。改進版 FastSpeech 2 拋棄了 Teacher-Student 知識蒸餾框架降低訓(xùn)練復(fù)雜度，直接用真實的語音數(shù)據(jù)作為訓(xùn)練目標避免信息損失，同時引入了更精確的時長信息和語音中的其它可變信息（包括音高（Pitch）和音量（Energy）等）來提高合成的語音質(zhì)量。研究團隊還提出了加強版 FastSpeech 2s 以支持完全端到端的從文本到語音波形的合成，省略了梅爾頻譜的生成過程。
9、瞰點科技與華師大共同發(fā)布 GraphSEAT
近日，瞰點科技與華東師范大學、哈佛大學、上海交通大學的研究人員合作，將論文發(fā)表在 ACM CIKM2020 上的面向量化投資的細粒度金融文本分類框架正式對外發(fā)布。該方法采用針對目標任務(wù)的全局和模塊信息編碼融合的思想，有效地提升了針對金融領(lǐng)域的細粒度文本分類精度，可以為中國頂級金融信息服務(wù)供應(yīng)商提供金融文本分類服務(wù)。研究者利用神經(jīng)序列編碼器從文本的詞序列中提取語義信息，并通過注意力機制融合文本學得的兩個表征，最終形成了文本的整體嵌入表征并進行預(yù)測。
論文鏈接：
10、京東開源 PyTorch 人臉識別工具包 FaceX-Zoo
今年 1 月，來自京東的研究人員面向人臉識別技術(shù)開發(fā)社區(qū)提出了全新的開源框架 FaceX-Zoo。依靠高度模塊化和可擴展的設(shè)計，F(xiàn)aceX-Zoo 提供具備多種 supervisory head 和骨干網(wǎng)絡(luò)的訓(xùn)練模塊，以實現(xiàn)效果最優(yōu)的人臉識別。此外，它還具備標準化評估模塊，以便在大多數(shù)情況下測試模型效果。
詳情鏈接：
11、鴻海推出非監(jiān)督式學習人工智能算法
1 月 21 日，鴻海宣布正式推出非監(jiān)督式學習（Unsupervised Learning）人工智能（AI）算法 “FOXCONN NxVAE”，運用正面表列的模型訓(xùn)練方式，只以產(chǎn)品容易取得的正樣本進行光學檢測演算，解決產(chǎn)線中瑕疵樣本取得的問題，適用于良率高的成熟產(chǎn)品線，可增加 AI 模型的整體容錯能力，此技術(shù)已實際導(dǎo)入集團部分產(chǎn)品外觀檢測生產(chǎn)線，成功降低 50 % 以上的產(chǎn)線檢測人力。
詳情鏈接：
聯(lián)系客服
