2017年，Gartner發(fā)布的《2017年數(shù)據(jù)管理技術(shù)成熟度曲線》將Hadoop掀上輿論巔峰，報告極其明顯的標(biāo)識出Hadoop即將在到達(dá)生產(chǎn)成熟期之前進(jìn)入淘汰席。
Gartner預(yù)測，到2018年，70%的Hadoop部署無法實現(xiàn)節(jié)約成本和收入增長的目標(biāo)。在今年年初，Hadoop被列為2018年大數(shù)據(jù)領(lǐng)域的“漸凍”趨勢之一，不少人將Hadoop稱作“倒下的大象”，比如Lucidworks首席執(zhí)行官Will Hayes。
Gartner認(rèn)為，Hadoop到達(dá)生產(chǎn)成熟期前即被淘汰
當(dāng)然，國內(nèi)很多人將這種現(xiàn)象歸結(jié)于國內(nèi)外大數(shù)據(jù)領(lǐng)域發(fā)展?fàn)顩r不平衡造成的，因此筆者耗費了半年時間，走訪了國內(nèi)數(shù)家大數(shù)據(jù)廠商及技術(shù)專家，以下是10位技術(shù)專家的觀點匯總，這些技術(shù)專家涵蓋了國外的大數(shù)據(jù)廠商、銀行、國內(nèi)互聯(lián)網(wǎng)公司以及國內(nèi)大數(shù)據(jù)廠商，“Hadoop是生是死”一目了然。
1、任何IT技術(shù)發(fā)展到一定階段都會被挑戰(zhàn)，Hadoop也不例外！
采訪對象：王蘋，榮之聯(lián)解決方案架構(gòu)師。曾就職于IBM大數(shù)據(jù)團隊，具有多年大數(shù)據(jù)平臺研發(fā)經(jīng)驗。目前專注于大數(shù)據(jù)企業(yè)級應(yīng)用的方案設(shè)計及技術(shù)選型，同時帶領(lǐng)團隊研發(fā)榮之聯(lián)大數(shù)據(jù)產(chǎn)品。
王蘋認(rèn)為，企業(yè)之所以愿意使用Hadoop，是因為其足以解決現(xiàn)階段企業(yè)用戶在大數(shù)據(jù)方面存在的問題，并且其開源社區(qū)成熟完善。企業(yè)用戶沒有互聯(lián)網(wǎng)公司樂于冒險，他們更愿意選擇成熟穩(wěn)定的解決方案，因此Hadoop的需求量還是很大。
至于是否會失寵，在快節(jié)奏的IT圈，任何一種技術(shù)發(fā)展到一定階段都會被挑戰(zhàn)，Hadoop也不例外。當(dāng)然，Hadoop自身確實存在一定的問題，也有很多新技術(shù)足以彌補其缺陷。但是，新技術(shù)如果不與已經(jīng)在企業(yè)中站穩(wěn)腳跟的Hadoop打配合，又何談市場呢？
2、Hadoop或衰落，但核心組件生命力旺盛！
采訪對象：劉譯璟，百分點集團技術(shù)副總裁兼首席架構(gòu)師。
劉譯璟認(rèn)為，單就Gartner報告，我們很難對Hadoop判死刑。畢竟，事實上，它已經(jīng)存在于國內(nèi)很多企業(yè)的大數(shù)據(jù)架構(gòu)中，每天都會有成千上萬的任務(wù)運行在Hadoop之上，這其中不免核心任務(wù)。
但是，Hadoop生態(tài)中的各組件生命力有很大差異，一旦其中的大部分組件都被替換掉，整個生態(tài)也很難稱之為“Hadoop生態(tài)”。
談到組件，他認(rèn)為HBase、HDFS以及ZooKeeper這類組件的生命力還是挺長的，短期內(nèi)不會消失。
畢竟，類似HDFS這樣的基礎(chǔ)組件消失是很困難的，無論是Spark還是Flink，底層的文件系統(tǒng)都是HDFS，很少有第三方廠商基于開源再造一個文件系統(tǒng)，HDFS在某種程度上奠定了大數(shù)據(jù)的基礎(chǔ)。
但是，MapReduce、Hive這類組件確實可能被Spark等替換掉，隨著硬件越來越成熟，Spark的優(yōu)化工作越來越好，企業(yè)很可能傾向于在內(nèi)存中計算。
此外，Hadoop在機器學(xué)習(xí)方面確實不太擅長，Mahout等組件表現(xiàn)不佳，成為不少企業(yè)選擇Spark的原因之一。
最后，資源管理器Yarn與Hadoop的綁定過于緊，而實際上，我們有很多資源調(diào)度管理方法可供選擇，比如Kubernetes等，對各種應(yīng)用的支持某種程度上比Yarn更完善，無論是外部類型應(yīng)用，大數(shù)據(jù)應(yīng)用還是機器學(xué)習(xí)應(yīng)用均可處理。
3、Hadoop確實有問題，但不能成為“看衰”論斷的主要原因!
采訪對象：星環(huán)科技，星環(huán)Transwarp Data Hub是Gartner認(rèn)可的Hadoop國際主流發(fā)行版。
有不少人認(rèn)為Gartner報告中提到的Hadoop是指“Hadoop發(fā)行版”，如果是這樣，那么星環(huán)科技相當(dāng)有話語權(quán)，因為其創(chuàng)業(yè)團隊很早之前就在做Hadoop發(fā)行版的工作。
在實際的使用中，星環(huán)也承認(rèn)Hadoop有一些缺點，比如使用門檻略高，技術(shù)迭代快導(dǎo)致學(xué)習(xí)成本和運維成本升高。不過，這些缺點并不是致命的。
至于Gartner的這一言論，星環(huán)科技認(rèn)為這與Hadoop自身存在的問題以及國內(nèi)外大數(shù)據(jù)環(huán)境的差異有關(guān)，一方面，Hadoop的使用有一定門檻，雖然過去幾年人才供應(yīng)數(shù)量在不斷增加，但是企業(yè)對人才的需求增加速度更快，所以企業(yè)構(gòu)建Hadoop團隊的人才成本較高，初次構(gòu)建成本偏高。
另一方面，Gartner的調(diào)查客戶主要集中在國外，而國外Hadoop廠商給客戶提供的功能無法完全取代傳統(tǒng)數(shù)據(jù)庫的地位，未能將Hadoop的優(yōu)勢全部體現(xiàn)，導(dǎo)致國外用戶對Hadoop的應(yīng)用比較簡單，未能充分體現(xiàn)新技術(shù)帶來的優(yōu)勢，故容易得出Hadoop投入產(chǎn)出比較低、能力局限較大的結(jié)論。
國內(nèi)用戶對Hadoop的認(rèn)可度偏高，是因為國內(nèi)使用Hadoop技術(shù)的數(shù)據(jù)量和應(yīng)用場景的復(fù)雜度都遠(yuǎn)超國外用戶，新技術(shù)替換舊技術(shù)的過程給國內(nèi)用戶帶來的價值顯著，例如整體成本降低，性能提升，擴展方便，基于新技術(shù)進(jìn)行的業(yè)務(wù)場景創(chuàng)新等，這些都讓國內(nèi)用戶切實感受到Hadoop生態(tài)的強大。
4、Hadoop地位穩(wěn)固，其他競爭者尚不具備叫板能力！
采訪對象：天云大數(shù)據(jù)，天云大數(shù)據(jù)是國內(nèi)為數(shù)不多的大數(shù)據(jù)PaaS層組件研發(fā)廠商，其BDP(Beagledata Platform)平臺是一款基于Hadoop生態(tài)體系的企業(yè)級大數(shù)據(jù)中間件平臺。
天云大數(shù)據(jù)認(rèn)為，Hadoop未來發(fā)展還是泛生態(tài)的發(fā)展，它會是整個通用計算框架演進(jìn)迭代的一個過程。企業(yè)與其花心思研究其組件級別的優(yōu)劣，不如將更多精力放在Hadoop生態(tài)演進(jìn)以及自我大數(shù)據(jù)架構(gòu)的優(yōu)化上。
至于可能的競爭對手——Spark和Flink，天云認(rèn)為二者尚且不具備與Hadoop叫板的實力，未來更傾向于合作共贏的方式。
5、Gartner看衰結(jié)論正確解讀：此“Hadoop”非彼“Hadoop”!
采訪對象：封神，09年加入阿里，9年來專注在分布式計算、存儲、數(shù)據(jù)庫領(lǐng)域。曾研發(fā)集團超過1w臺Hadoop集群，萬臺規(guī)模的跨機房建設(shè)，并負(fù)責(zé)其中分布式調(diào)度及內(nèi)存計算引擎Spark。
封神認(rèn)為，Gartner所提及的Hadoop更多是狹義上的Hadoop一體化平臺，但我們通常意義上討論的是廣義Hadoop生態(tài)，整個生態(tài)包含了眾多組件，這個范圍與前者相差很大。
對于Hadoop生態(tài)的發(fā)展?fàn)顟B(tài)，我們可以分層逐級解析。首先是HDFS分布式文件系統(tǒng)層，目前尚沒有任何一款開源產(chǎn)品足以完整替代HDFS，因此其生命力必定是旺盛的；
其次是Yarn所在的分布式調(diào)度層。作為大數(shù)據(jù)核心調(diào)度組件，Yarn的使用覆蓋率非常高。雖然在離線與在線數(shù)據(jù)混合方面表現(xiàn)欠缺，但Yarn一直在不斷改進(jìn)。
此外，從某種意義上講，Yarn與Hadoop生態(tài)體系中的一些組件包都可共享，貿(mào)然更換勢必面臨著適配問題。
在分布式文件系統(tǒng)和分布式調(diào)度系統(tǒng)的基礎(chǔ)之上，各類組件的加入讓Hadoop生態(tài)更加豐富。在絕大多數(shù)用戶的認(rèn)知中，Hive、MapReduce、熱議的Spark以及Flink的定位都只是Hadoop生態(tài)中的一個計算引擎，并不存在替代Hadoop生態(tài)的關(guān)系，Hadoop生態(tài)的整體生命力非常強。
6、Hadoop失寵前提是出現(xiàn)更強大的替代品！
采訪對象：蘇寧易購，其大數(shù)據(jù)平臺基于Hadoop構(gòu)建。
對于Gartner的唱衰論調(diào)，蘇寧易購認(rèn)為，Hadoop就好比日常生活中的水電煤，因為太普遍反而引不起特別關(guān)注，或者，Gartner報告中所說的Hadoop是指狹義上的Hadoop，也就是原始的HDFS和MapReduce組合。
如果單看這兩大組件的發(fā)展，MapReduce確實在逐漸退出舞臺，被Spark/Flink所取代。蘇寧易購認(rèn)為，Hadoop失寵前提一定是出現(xiàn)更強大的可替代大數(shù)據(jù)解決方案，現(xiàn)在來看，并沒有這樣的方案出現(xiàn)。
7、Hadoop已經(jīng)展現(xiàn)出極強的年代感，并且其在機器學(xué)習(xí)方面是有欠缺的！
采訪對象：Ness SES的CTO Moshe Kranc
Ness SES的CTO Moshe Kranc認(rèn)為，Hadoop已經(jīng)展示出了其年代感，不管是Hadoop的HDFS、MapReduce還是它的機器學(xué)習(xí)組件Mahout。
在這一方面，Spark似乎表現(xiàn)更加優(yōu)異，Spark不斷從Hadoop的經(jīng)歷中學(xué)習(xí)，具有更通用和可擴展的編程模型，易于分析且擁有強大的圖形數(shù)據(jù)庫(Graphx)和全功能數(shù)據(jù)科學(xué)庫(MLib)。當(dāng)然，如果企業(yè)自己具備生態(tài)整合的能力，那么這個問題可能就不存在了。
8、很多企業(yè)都低估了部署Hadoop的復(fù)雜度！
采訪對象：Silicon Valley Data Science的CTO John Akred
Silicon Valley Data Science的CTO John Akred表示，在國外，無論是醫(yī)療保健、制造業(yè)還是金融領(lǐng)域，公司在部署Hadoop這樣的分布式系統(tǒng)時一般會選擇從初始用例也就是簡單用例開始，以便了解整個Hadoop的工作流程。
公司可能會開始嘗試將部分?jǐn)?shù)據(jù)收集并運行到Hadoop之上，通過簡單的測試證明，確實可以使用Hadoop來存儲大量非結(jié)構(gòu)化數(shù)據(jù)，到這里所有步驟似乎都沒有問題，但這真的對業(yè)務(wù)產(chǎn)生價值了嗎?如果企業(yè)并沒有通過部署Hadoop而對業(yè)務(wù)產(chǎn)生價值，那么這一決策的意義是什么呢?
其次，很多企業(yè)會低估Hadoop的操作復(fù)雜性，無法清晰認(rèn)知習(xí)慣了使用IBM Db2和Oracle等傳統(tǒng)數(shù)據(jù)技術(shù)的人在使用Hadoop方面會面臨多少轉(zhuǎn)型問題。
9、企業(yè)用戶對數(shù)據(jù)湖需求旺盛，但對Hadoop接受意愿較低！
采訪對象：Teradata天睿公司策略性產(chǎn)品管理高級副總裁Tim Henry
Tim Henry認(rèn)為，Hadoop更直接的使用者是企業(yè)用戶而不是大數(shù)據(jù)廠商，雖然數(shù)據(jù)湖或Hub的概念最初由大數(shù)據(jù)廠商提出，但真正的大規(guī)模應(yīng)用還是在企業(yè)內(nèi)部。這些企業(yè)很可能并不會選擇Hadoop，因為Hadoop的管理相當(dāng)困難，尤其是技術(shù)層面。
要想使用Hadoop進(jìn)行數(shù)據(jù)治理，企業(yè)員工必須對Hadoop的整體運作流程以及各大組件非常熟悉，否則無法從眾多組件中挑選出符合業(yè)務(wù)需求的組合，導(dǎo)致無法發(fā)揮Hadoop的真正價值。
企業(yè)并不是對數(shù)據(jù)湖沒有需求，而是對Hadoop的接受意愿較低，這也同樣契合了Gartner的結(jié)論。
10、我們非?？春肏adoop的未來發(fā)展，不知道Gartner的這一結(jié)論從何說起！
采訪對象：Cloudera創(chuàng)始人Mike Olson
Cloudera創(chuàng)始人Mike Olson在國外接受采訪時，對Gartne報告中關(guān)于Hadoop的觀點進(jìn)行了駁斥，并談到了他的看法。Mike Olson表示并不認(rèn)同Gartner對Hadoop的結(jié)論，有很多客戶在其平臺上執(zhí)行關(guān)鍵業(yè)務(wù)，他不清楚Gartner到底跟誰討論得出的這一結(jié)論。
他表示，Cloudera不僅是看好，更為重要的是已經(jīng)在一些方面已經(jīng)取得了很大成功。例如：通過使用Impala等工具進(jìn)行高性能分析查詢，企業(yè)可以在擴展平臺上為其傳統(tǒng)關(guān)系工作負(fù)載的某些部分提供替代方案。
他坦言，不得不懷疑Gartner是否看到的是10年前的Hadoop，而非現(xiàn)在。早期的Hadoop只有MapReduce和HDFS，確實非常有限，但它并不是Hadoop的全部，現(xiàn)在有26個不同的開源項目，包括Spark，其中有18種是Cloudera創(chuàng)建的，這是一個比過去更廣闊、更有能力的生態(tài)系統(tǒng)。
結(jié)論
從上述多位技術(shù)專家的言論中不難看出，Hadoop在國內(nèi)之所以流行是因為國內(nèi)很多大數(shù)據(jù)廠商為企業(yè)省去了部署Hadoop解決方案的麻煩，而國內(nèi)的互聯(lián)網(wǎng)企業(yè)具備自己搭建并改進(jìn)的技術(shù)實力，如果這些問題都得到了解決，那我們自然愿意享有Hadoop帶來的優(yōu)勢。
但是，國外的技術(shù)專家卻是非常一致的不看好，除了Mike Olson，這與國外的大數(shù)據(jù)環(huán)境也有關(guān)，國外很多企業(yè)所擁有的數(shù)據(jù)量可能尚未達(dá)到使用Hadoop的級別，國外大數(shù)據(jù)廠商所提供的服務(wù)可能沒有國內(nèi)廠商深入，這或許就是Gartner這一報告的癥結(jié)所在。
當(dāng)然，對于Gartner報告中所提及的Hadoop到底是Hadoop發(fā)行版，Hadoop一體化商業(yè)模式還是Hadoop生態(tài)似乎各種說法都有，但其報告中（如頭圖）使用的“Hadoop Distributions”似乎更傾向于Hadoop發(fā)行版。
聯(lián)系客服
