那些Siri里有趣的回答,許多都是人寫的,和機(jī)器智能無(wú)關(guān)。
作者|施晨
編輯|甲小姐
設(shè)計(jì)|孫佳棟
微信|甲子光年(ID:jazzyear)
“現(xiàn)在的聊天機(jī)器人為什么做得這么爛?”
自從讀了聊天機(jī)器人方向的博士,這是我最常被問(wèn)到的問(wèn)題。
這個(gè)世界上的科技進(jìn)步有兩類,一類是委屈的,一類是不委屈的。
委屈和不委屈的區(qū)別在于:前者是大眾期望走在科技進(jìn)步前面;后者是大眾期望走在科技進(jìn)步后面。
比如,最初的汽車行業(yè)就一點(diǎn)都不委屈。亨利福特曾說(shuō):“如果我最初問(wèn)消費(fèi)者們想要什么,他們只會(huì)告訴我想要一匹更快的馬。”——對(duì)于那個(gè)時(shí)候的福特而言,他只需要發(fā)明一輛低級(jí)的老爺車就可以創(chuàng)造歷史。
而現(xiàn)在的自動(dòng)駕駛從業(yè)者開(kāi)始委屈了。人們?cè)缫严胂蠛昧艘粋€(gè)無(wú)人汽車甚至飛行汽車應(yīng)該長(zhǎng)什么樣子,站在終點(diǎn)看起點(diǎn),怎么看,現(xiàn)在的狀態(tài)都讓人覺(jué)得“傻大笨粗”。
而聊天機(jī)器人也屬于很委屈的一類。它的委屈在于——世界上所有人都知道一個(gè)好的聊天機(jī)器人應(yīng)該是什么樣的。自1950年被圖靈提出,聊天機(jī)器人就成為了人類對(duì)于人工智能的“終極想象”。從《星球大戰(zhàn)》里可愛(ài)而話癆的C-3PO,到《鋼鐵俠》里堪稱全能助手的Javis,再到兩年前的電影《Her》中有著寡姐聲線和近乎完美設(shè)定的Samantha——人類對(duì)于聊天機(jī)器人一開(kāi)始就直盯著結(jié)局,相比之下,現(xiàn)實(shí)中無(wú)論哪款聊天機(jī)器人都越看越像“人工智障”。
當(dāng)大眾期望走在科技進(jìn)步后面時(shí),研究者們就像是航海家,每到一處都是新的成就,掌聲與鮮花聞風(fēng)而來(lái);當(dāng)大眾期望走在科技進(jìn)步前面時(shí),研究者們就像是馬拉松跑者,你在漫長(zhǎng)的跑道上汗流浹背,而路的盡頭,卻是一個(gè)早已預(yù)設(shè)好的了無(wú)新意的終點(diǎn)。
作為一個(gè)聊天機(jī)器人專業(yè)博士,這個(gè)現(xiàn)實(shí)一開(kāi)始的確令人有點(diǎn)無(wú)fuck說(shuō)。然而,慢慢地我卻意識(shí)到,我們其實(shí)并沒(méi)什么抱怨的資格。
在過(guò)去,回答開(kāi)篇那個(gè)問(wèn)題,我總會(huì)以“大眾心理閾值過(guò)高”之類的理由來(lái)搪塞??僧?dāng)我深入了解這個(gè)領(lǐng)域之后,我意識(shí)到,這怪不得別人——目前這個(gè)領(lǐng)域的從業(yè)者,我們自身做得并不好。
現(xiàn)在讓我回答這個(gè)問(wèn)題,我一般會(huì)以下面這句話開(kāi)始:
“因?yàn)榱奶鞕C(jī)器人領(lǐng)域,目前還不是一個(gè)well-defined question。”
什么是一個(gè)well-defined question?
對(duì)于機(jī)器學(xué)習(xí)領(lǐng)域來(lái)說(shuō),刨去對(duì)于問(wèn)題本身insight的深入理解不談,首先,你至少需要一套被大家廣泛使用的標(biāo)準(zhǔn)數(shù)據(jù)集,這樣人們每提出一個(gè)新的模型,便可以在同一套數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)和比對(duì);
然后,你還需要一套行之有效的Metric,即自動(dòng)評(píng)測(cè)方法,這樣便可以對(duì)不同實(shí)驗(yàn)結(jié)果使用統(tǒng)一標(biāo)準(zhǔn)進(jìn)行打分。
以“標(biāo)準(zhǔn)數(shù)據(jù)集+評(píng)測(cè)方法”為機(jī)制,才能夠保證學(xué)術(shù)層面的公平性與透明性,這大大利于復(fù)現(xiàn)他人的實(shí)驗(yàn),并在此基礎(chǔ)上進(jìn)行改進(jìn)與提高——以此迭代下去,優(yōu)秀的方法才會(huì)不斷出現(xiàn)。
然而,聊天機(jī)器人領(lǐng)域的現(xiàn)狀是:既沒(méi)有一套統(tǒng)一的數(shù)據(jù)集,也沒(méi)有一個(gè)統(tǒng)一的Metric。
學(xué)術(shù)界發(fā)論文時(shí),往往每個(gè)組自己搞一套數(shù)據(jù)集,然后借隔壁領(lǐng)域的各種Metric(如機(jī)器翻譯的BLEU,語(yǔ)言模型的ppl)來(lái)湊活著用,甚至很多時(shí)候直接進(jìn)行人工評(píng)測(cè)。這樣,不僅使得實(shí)驗(yàn)結(jié)果十分主觀,也使得不同模型方法之間不具備任何可比較性——這就相當(dāng)于一個(gè)人在水泥地上跑步,另一個(gè)人在橡膠地上練跳高,他們本身運(yùn)動(dòng)的環(huán)境就不一樣,而你沒(méi)法去比誰(shuí)跑得快或誰(shuí)跳得高,只能簡(jiǎn)單地看誰(shuí)更“好”。
為什么標(biāo)準(zhǔn)的數(shù)據(jù)集和統(tǒng)一的Metric對(duì)于聊天機(jī)器人領(lǐng)域這么難?
拿數(shù)據(jù)集來(lái)說(shuō),對(duì)話語(yǔ)料在自然場(chǎng)景下本就很難獲取,天然有標(biāo)注的語(yǔ)料更是無(wú)跡可尋。限于高昂的標(biāo)注費(fèi)用,現(xiàn)在各組大多只能通過(guò)與企業(yè)合作來(lái)借取對(duì)話語(yǔ)料,但涉及到企業(yè)隱私規(guī)定,語(yǔ)料往往無(wú)法開(kāi)源,因此很多時(shí)候別組想要復(fù)現(xiàn)時(shí)很難拿到最初的語(yǔ)料數(shù)據(jù)。這是對(duì)話領(lǐng)域的標(biāo)準(zhǔn)數(shù)據(jù)集至今難產(chǎn)的一大原因。
這個(gè)問(wèn)題,其實(shí)和十幾年前的視覺(jué)圖像領(lǐng)域(CV)有些類似。曾經(jīng)CV領(lǐng)域也極度缺乏標(biāo)準(zhǔn)數(shù)據(jù)集,直到斯坦福大學(xué)的李飛飛教授領(lǐng)導(dǎo)小組發(fā)布了ImageNet,之后吸引了越來(lái)越多的人來(lái)貢獻(xiàn)數(shù)據(jù),問(wèn)題也就迎刃而解了。
而對(duì)于評(píng)測(cè)Metric,到處借用隔壁領(lǐng)域并不十分合適的Metric,其背后深層次的原因,其實(shí)是學(xué)界對(duì)于對(duì)話任務(wù)本身的理解還并不透徹。
要想構(gòu)建一個(gè)適合該領(lǐng)域的Metric,首先需要學(xué)術(shù)界對(duì)這個(gè)領(lǐng)域有一個(gè)較為全面深入的理解,在此基礎(chǔ)上才能提出更有針對(duì)性也更為科學(xué)的Metric。聯(lián)想到專為機(jī)器翻譯任務(wù)核心特點(diǎn)“word-level alignment”設(shè)計(jì)的BLEU,目前我們似乎還沒(méi)有找到對(duì)話任務(wù)相對(duì)別的任務(wù)最核心的特點(diǎn)。
一般而言,一個(gè)真正有價(jià)值的學(xué)術(shù)成果,從被學(xué)界認(rèn)可,到在工業(yè)界的產(chǎn)品中實(shí)際落地,總要有幾年的技術(shù)沉淀期。
工業(yè)界已有產(chǎn)品一般都經(jīng)過(guò)較長(zhǎng)的研發(fā)周期,無(wú)論組織架構(gòu)還是代碼都已相對(duì)成型且具備一定規(guī)模,這個(gè)時(shí)候如果下定決心上一套新方法,將面臨著巨大的維護(hù)與調(diào)整開(kāi)銷,有些部分甚至需要推倒重來(lái),涉及很多人力物力與可兼容性的問(wèn)題。因此,工業(yè)界對(duì)于新技術(shù)的態(tài)度一向?qū)徤?,就算被證明work,也傾向于再等一段時(shí)間。更何況,從決定使用新成果,到完全調(diào)試成功真正上線,又要很長(zhǎng)一段時(shí)間。
換句話說(shuō),學(xué)術(shù)界畫餅畫得再美好,工業(yè)屆真的能吃到餅也得等到幾年以后了。更別說(shuō)聊天機(jī)器人這個(gè)領(lǐng)域,學(xué)術(shù)界的餅究竟要怎么畫,現(xiàn)在還是沒(méi)譜的事。
事實(shí)上,現(xiàn)在市面上絕大多數(shù)智能助理或者類似的聊天機(jī)器人系統(tǒng),其內(nèi)核都相當(dāng)?shù)亍安恢悄堋?/strong>。
和任何領(lǐng)域一樣,一旦技術(shù)從學(xué)術(shù)界走向工業(yè)界,系統(tǒng)的技術(shù)性與智能性往往就會(huì)降低一檔。就像搜索引擎與機(jī)器翻譯等再成熟的產(chǎn)品,最好效果的高頻內(nèi)容永遠(yuǎn)“靠手標(biāo)”——以人工來(lái)輔助智能。
一位從事聊天機(jī)器人開(kāi)發(fā)的工程師就曾向我調(diào)侃:
“現(xiàn)在研發(fā)聊天機(jī)器人的成本,花在請(qǐng)人標(biāo)數(shù)據(jù)的錢,比花在研發(fā)人員上的錢都多。”
當(dāng)有時(shí)社會(huì)輿論出現(xiàn)熱點(diǎn)問(wèn)題,或是聊天機(jī)器人要新上一個(gè)skill時(shí),一般從純技術(shù)層面上是來(lái)不及保證效果與coverage的。這時(shí),工程上采取的方法一般是手工開(kāi)一個(gè)白名單,人工地“調(diào)大”某些回答被觸發(fā)的概率——比如那些Siri里有趣的回答,很多都是人寫的,和機(jī)器智能無(wú)關(guān)。
目前市場(chǎng)上一些主流聊天機(jī)器人的內(nèi)核,很多時(shí)候都是用大量相對(duì)“暴力”的code“堆”起來(lái)的。
從另一個(gè)角度來(lái)看,一個(gè)公司開(kāi)發(fā)的聊天機(jī)器人效果好不好,很大程度依賴于你有沒(méi)有自己的數(shù)據(jù)。
有的數(shù)據(jù)來(lái)自搜索引擎。有些大公司的聊天機(jī)器人項(xiàng)目最初就是host在公司旗下的搜索項(xiàng)目上的。所以理論上講,如果一家公司沒(méi)有自己的搜索引擎,只能去借別家的湊活著用,搜索部分的許多質(zhì)量會(huì)打折扣,聊天機(jī)器人就很難玩得轉(zhuǎn)。
從這個(gè)角度來(lái)看,Google無(wú)愧是當(dāng)前聊天機(jī)器人在技術(shù)層面上的翹楚,其它各家,Cortana的背后有Bing,度秘的背后有Baidu,連Alexa背后的Amazon其實(shí)也有自家的搜索引擎系統(tǒng)。
不過(guò),有趣的是,唯一一家沒(méi)有自己搜索引擎的巨頭,因?yàn)閾碛惺謾C(jī)入口“強(qiáng)推”,反而占據(jù)了聊天機(jī)器人領(lǐng)域最大的市場(chǎng)。更有趣的是,這一點(diǎn)和十年前互聯(lián)網(wǎng)時(shí)代的瀏覽器的格局簡(jiǎn)直一模一樣,彼時(shí)微軟靠windows操作系統(tǒng)強(qiáng)行捆綁,和現(xiàn)在情況如出一轍,可看看十年后的今天瀏覽器的結(jié)局,也許會(huì)對(duì)當(dāng)前各家巨頭聊天機(jī)器人的未來(lái)產(chǎn)生一些有趣的預(yù)測(cè)。
另一些數(shù)據(jù)來(lái)自手工建立的知識(shí)庫(kù)。閑聊場(chǎng)景之外,工業(yè)應(yīng)用落地,幾乎靠的都是規(guī)則方法。
很贊同文因互聯(lián)創(chuàng)始人鮑捷之前在文章《八一八聊天機(jī)器人》的觀點(diǎn):
“能做好的最后必然是擁有數(shù)據(jù)的公司。制造設(shè)備的公司會(huì)有幻覺(jué),以為自己有用戶數(shù)據(jù),其實(shí)此數(shù)據(jù)非彼數(shù)據(jù)。自然語(yǔ)言理解雖然是語(yǔ)義搜索的重要輔助工具,但是當(dāng)前階段還不應(yīng)是Value Proposition或者Key Technology。淺而高質(zhì)量的數(shù)據(jù)關(guān)系才是?!?/span>
這兩年,人工智能重新走向歷史前臺(tái),和深度學(xué)習(xí)的崛起密不可分,一片“奇點(diǎn)將至”的論斷下,與人工智能相關(guān)的一切似乎都搭上了一條通向未來(lái)的快車道。
作為人工智能肇始的聊天機(jī)器人領(lǐng)域,有借著這波東風(fēng)一舉取得突破性進(jìn)展么?
似乎并沒(méi)有。
嚴(yán)格來(lái)說(shuō),深度學(xué)習(xí)在對(duì)話領(lǐng)域至今幾乎“寸功未立”。
從學(xué)界角度看,聊天機(jī)器人按照功能可以分為兩類:一類以閑聊為目的,比如微軟小冰;另一類則以完成任務(wù)、解決實(shí)際問(wèn)題為導(dǎo)向,比如各類智能助手。
對(duì)于閑聊來(lái)說(shuō),對(duì)話的通順連貫與“有趣”是關(guān)鍵,專業(yè)性似乎不重要;而對(duì)智能助手來(lái)說(shuō),解決問(wèn)題是第一要?jiǎng)?wù),因此系統(tǒng)需要能很好地利用相關(guān)數(shù)據(jù)庫(kù)與外部知識(shí)。相比之下,前者對(duì)于深度學(xué)習(xí)技術(shù)的運(yùn)用相對(duì)更好。但在大多數(shù)場(chǎng)景里,人們還是希望聊天機(jī)器人能解決一些實(shí)際問(wèn)題,要為用戶完成任務(wù),這通常需要在結(jié)構(gòu)化數(shù)據(jù)上做答案生成,很大程度依賴知識(shí)庫(kù)應(yīng)用和規(guī)則方法——在這個(gè)過(guò)程中,深度學(xué)習(xí),乃至機(jī)器學(xué)習(xí)起的作用都不大。
事實(shí)上,在過(guò)去,對(duì)話領(lǐng)域的學(xué)界基本不用深度學(xué)習(xí)。這兩年由于深度學(xué)習(xí)火了,很多人嘗試把深度學(xué)習(xí)用在任務(wù)型助手上,但尚未有大突破。
未來(lái),深度學(xué)習(xí)這條路究竟work還是不work,學(xué)術(shù)界也有爭(zhēng)議,甚至不乏看衰之聲。從一個(gè)本專業(yè)博士的角度,我也對(duì)此持謹(jǐn)慎態(tài)度,不過(guò)我同時(shí)覺(jué)得,現(xiàn)在就看衰深度學(xué)習(xí)似乎也還為時(shí)尚早。
想當(dāng)初,在sequence-to-sequence模型誕生之前,也沒(méi)人會(huì)想到深度學(xué)習(xí)在機(jī)器翻譯領(lǐng)域能work,以那時(shí)機(jī)器翻譯領(lǐng)域的一貫做法,似乎也看不到太多深度學(xué)習(xí)可以插手的空間。革命性技術(shù)的意義就在于,它可能會(huì)完全顛覆行業(yè)現(xiàn)有的做法,就像sequence-to-sequence模型之于機(jī)器翻譯一樣——而當(dāng)這種革命性技術(shù)被提出之前,沒(méi)有人知道它會(huì)是什么樣的,經(jīng)驗(yàn)總會(huì)讓你覺(jué)得它并不存在。
學(xué)界尚無(wú)定論,當(dāng)我們把目光投向工業(yè)界,從業(yè)者們更是“戴著鐐銬起舞”了。
由于死磕技術(shù)鏈太難,很多從業(yè)者開(kāi)始繞道前行:把軟件做成各式各樣的機(jī)器人、音箱,靠外觀征服用戶,靠設(shè)計(jì)征服用戶——好看固然有利于user acquisition,但user retention還是要靠真本事。
考慮到對(duì)話領(lǐng)域當(dāng)前還不是一個(gè)well-defined question,我認(rèn)為,當(dāng)前聊天機(jī)器人的戰(zhàn)場(chǎng)更多還是在學(xué)界和巨頭公司的戰(zhàn)略布局,離獨(dú)立商用還有一段距離。Timing很重要,標(biāo)準(zhǔn)的數(shù)據(jù)集與評(píng)測(cè)方法就緒了,一些方法論上的驚喜出現(xiàn)了,工業(yè)界的春天才會(huì)真正到來(lái)。
2011年10月4日,蘋果在加州的庫(kù)比提諾總部發(fā)布了它們的新一代智能手機(jī)。這是蒂姆·庫(kù)克首次作為蘋果CEO亮相,一天之后,喬布斯與世長(zhǎng)辭。
這本該是一場(chǎng)極其特別的發(fā)布會(huì),但新推出的iPhone4s卻有點(diǎn)配不上這個(gè)時(shí)刻:它和被視為經(jīng)典產(chǎn)品的前作iPhone4太像了,以至于剛出來(lái)那會(huì)兒,如何區(qū)分4和4s,幾乎成了果粉論壇里的找茬游戲。
但蘋果敢把4s和4做得那么像,不是毫無(wú)理由,他們對(duì)4s一個(gè)內(nèi)在突破寄予厚望——全新的語(yǔ)音助手Siri。庫(kù)克后來(lái)解釋,4s里的“s”正是指Siri。
在這部喬布斯生前留下的最后一部作品中,Siri被他視為最主要的創(chuàng)新點(diǎn)。在All Things Digital大會(huì)上被問(wèn)及Siri是什么時(shí),他曾斬釘截鐵的說(shuō)Siri“不是搜索公司,是人工智能公司”,在那個(gè)人工智能從業(yè)者多在孤獨(dú)中前行的年代,這樣的遠(yuǎn)見(jiàn)著實(shí)令人佩服。
Siri在挪威語(yǔ)中的含義是“引導(dǎo)你走向勝利的美人”。六年過(guò)去,我們果真如幫主預(yù)言跨入了人工智能時(shí)代,但恐怕,Siri還沒(méi)有完成他生前設(shè)想的使命——人們還沒(méi)有真的開(kāi)始使用siri,只是偶爾調(diào)戲它。
如今,自阿蘭圖靈第一次提出“圖靈測(cè)試”已過(guò)去六十余載,距第一個(gè)聊天機(jī)器人Eliza的誕生也已有整五十年。半個(gè)世紀(jì)幾經(jīng)起落,時(shí)有高潮,但人類似乎始終沒(méi)有停止對(duì)于完美人工智能的幻想與渴望。
從哲學(xué)層面來(lái)講,人類對(duì)于聊天機(jī)器人的癡迷其實(shí)是有內(nèi)在邏輯的。
在茹毛飲血的蠻荒時(shí)代,手無(wú)寸鐵的原始人要想獲取信息,靠的只有“眼觀六路耳聽(tīng)八方”;后來(lái)人類有了語(yǔ)言與文字,信息獲取終有了正軌渠道;隨著書籍逐漸增多,人類獲取信息需要在汗牛充棟的圖書館中漫長(zhǎng)耐心地檢索與查找;互聯(lián)網(wǎng)的到來(lái)解放了這一切,搜索引擎的輕輕一點(diǎn)帶來(lái)了前所未有的便捷,但互聯(lián)網(wǎng)同時(shí)也帶來(lái)了信息量指數(shù)級(jí)的增長(zhǎng);再后來(lái),當(dāng)人們終于對(duì)從龐雜的網(wǎng)頁(yè)結(jié)果中搜尋信息也感到厭倦時(shí),直接給出回答的聊天機(jī)器人作為下一代解決方案,自然成為了大家的期待。
“心理閾值”,看起來(lái)是個(gè)和技術(shù)毫不相關(guān)的話題,但在科技史上卻多次影響了技術(shù)從業(yè)者的命運(yùn)。
李開(kāi)復(fù)在回顧自己的研究經(jīng)歷時(shí),曾感嘆“生不逢時(shí)”。他對(duì)人工智能領(lǐng)域的主要貢獻(xiàn)在語(yǔ)音識(shí)別技術(shù)上,摒棄了依靠語(yǔ)言學(xué)家的專家系統(tǒng),開(kāi)始使用統(tǒng)計(jì)模型方法,大大提高了語(yǔ)音識(shí)別的效率。
但當(dāng)時(shí),這個(gè)學(xué)術(shù)成果,尚無(wú)法達(dá)到大眾可用的“心理閾值”。識(shí)別準(zhǔn)確率從50%到80%也許從技術(shù)上看是很大提升,但人們能夠接受的心理閾值卻要求準(zhǔn)確率至少達(dá)95%——在達(dá)到這個(gè)臨界點(diǎn)之前,人們總會(huì)覺(jué)得人工智能是“人工智障”,無(wú)法滿意,于是技術(shù)從業(yè)者總要坐在冷板凳上前行,并不能構(gòu)成新的產(chǎn)業(yè)機(jī)會(huì)。
李開(kāi)復(fù)遺憾自己當(dāng)時(shí)沒(méi)有遇上“深度學(xué)習(xí)”,他曾說(shuō):如我生在今天,我所開(kāi)發(fā)的技術(shù)和產(chǎn)品一定會(huì)被億萬(wàn)人使用,并深刻改變?nèi)藗兊纳罘绞健?/span>
作為一個(gè)研究對(duì)話系統(tǒng)的人,我有時(shí)也忍不住想:我們這一波,是不是還是生早了?依然沒(méi)趕上聊天機(jī)器人和對(duì)話系統(tǒng)技術(shù)突破人們“心理閾值”的臨界時(shí)刻。
按照大家心中所想,一個(gè)真正走向勝利的聊天機(jī)器人,所承載的,應(yīng)該是越過(guò)信息的海嘯、代替上一代搜索引擎“把網(wǎng)頁(yè)擺到用戶面前讓用戶自己找”的方式,給用戶以直接的回應(yīng),可想而知,如果對(duì)話系統(tǒng)真的勝利了,其前景,理應(yīng)是一個(gè)與互聯(lián)網(wǎng)量級(jí)相當(dāng)?shù)臇|西。
這一天何時(shí)到來(lái)?
Siri的CEO Dag Kittlaus有一篇文章Siri Is Only The Beginning,也聊起過(guò)這種真正的勝利,文章里說(shuō),“when our kids are our age”。
等我們的孩子都長(zhǎng)大,20-30年吧。
爬科技樹(shù),絕非一朝一夕。聊天機(jī)器人真的沒(méi)有捷徑。
END.
|今日福利|
如今大數(shù)據(jù)、人工智能已經(jīng)成為行業(yè)顛覆的代名詞,不僅讓傳統(tǒng)的速記、翻譯、基礎(chǔ)客服受到顛覆,甚至讓智力密集型的行業(yè)也受到巨大沖擊。本期《對(duì)話人工智能》 知乎Live分為四期,請(qǐng)到人工智能方面領(lǐng)先的上市公司科大訊飛總裁胡郁、創(chuàng)業(yè)公司泛化智能CEO王漢洋、造數(shù)科技創(chuàng)始人黃震昕、神策數(shù)據(jù)創(chuàng)始人兼CEO桑文鋒、IPN創(chuàng)始人不鳥(niǎo)萬(wàn)如一,知乎大V北冥乘海生、Kaiser、云天外、小賴、路人甲,以及科技智庫(kù)甲子光年創(chuàng)始人、CEO張一甲,共同討論行業(yè)最新的發(fā)展、理論進(jìn)展和全新理念。我們將從底層數(shù)據(jù)是如何采集處理開(kāi)始,暢談人工智能的方方面面,不僅讓你感受到各個(gè)行業(yè)的驚喜發(fā)展,更能深深明白需要如何用新的思維工具武裝自己,進(jìn)而指導(dǎo)人生規(guī)劃和職業(yè)發(fā)展。
live時(shí)間:第一期 2017年12月15日
聯(lián)系客服