前海中泰咨詢

【文章來源：騰訊科技】在11月6日召開的Techo開發(fā)者大會(huì)上，騰訊云副總裁、騰訊數(shù)據(jù)平臺(tái)部總經(jīng)理蔣杰博士正式對(duì)外披露騰訊大數(shù)據(jù)平臺(tái)10年技術(shù)演進(jìn)歷程。經(jīng)過10年的積累，騰訊大數(shù)據(jù)平臺(tái)的算力資源池目前已有超過20萬臺(tái)的規(guī)模，每天實(shí)時(shí)數(shù)據(jù)計(jì)算量超過30萬億條，騰訊已經(jīng)成為中國(guó)實(shí)時(shí)數(shù)據(jù)計(jì)算量最大的公司。并且，隨著資源管理平臺(tái)核心TKE和分布式數(shù)據(jù)庫TBase正式對(duì)外開源，騰訊正在成為大數(shù)據(jù)領(lǐng)域開源最全面的公司。

騰訊云副總裁、騰訊數(shù)據(jù)平臺(tái)部總經(jīng)理蔣杰

作為全球最大的互聯(lián)網(wǎng)公司之一，騰訊的數(shù)據(jù)量在短短5、6年時(shí)間增長(zhǎng)了幾千倍，目前每天產(chǎn)生的數(shù)據(jù)量超過幾十萬億條數(shù)據(jù)在產(chǎn)生。為了應(yīng)對(duì)這種爆炸式增長(zhǎng)，騰訊走出了一條技術(shù)引進(jìn)+改造+自研的道路。經(jīng)過長(zhǎng)達(dá)十年的不斷升級(jí)和完善，騰訊大數(shù)據(jù)平臺(tái)已經(jīng)經(jīng)歷了四代演進(jìn)。針對(duì)最新的大數(shù)據(jù)和人工智能技術(shù)發(fā)展趨勢(shì)，騰訊正在下一代計(jì)算平臺(tái)中，探索批流融合、ABC融合以及數(shù)據(jù)湖和聯(lián)邦學(xué)習(xí)等前沿技術(shù)。

十年四次升級(jí) 建立“大數(shù)據(jù)+AI”雙引擎技術(shù)架構(gòu)

騰訊內(nèi)部目前有超過100萬臺(tái)服務(wù)器，騰訊云聯(lián)合所有業(yè)務(wù)部門，利用業(yè)務(wù)空閑資源打造一套算力共享平臺(tái)，該算力彈性資源池有20萬的規(guī)模，大數(shù)據(jù)平臺(tái)每天有1500萬的分析任務(wù)、30萬億次的實(shí)時(shí)計(jì)算量，并且每天數(shù)據(jù)接入條數(shù)達(dá)35萬億條數(shù)據(jù)。此外，騰訊云的分布式機(jī)器學(xué)習(xí)平臺(tái)，能支撐1萬億維度的數(shù)據(jù)訓(xùn)練。

能支撐如此大規(guī)模數(shù)據(jù)的接入和運(yùn)算，是騰訊在大數(shù)據(jù)技術(shù)領(lǐng)域超過10年的積累，其核心的大數(shù)據(jù)平臺(tái)已經(jīng)完成了三次迭代。從以Hadoop為核心的離線計(jì)算時(shí)代到以Spark、Storm、Flink為核心的實(shí)時(shí)計(jì)算時(shí)代，再到如今的機(jī)器學(xué)習(xí)和深度學(xué)習(xí)時(shí)代，騰訊從無到有研發(fā)了分布式的機(jī)器學(xué)習(xí)引擎Angel，以及一站式AI開發(fā)平臺(tái)智能鈦TI，用來解決數(shù)據(jù)訓(xùn)練和算法的問題。目前，騰訊正在研究以批流融合、ABC融合、以及數(shù)據(jù)湖和聯(lián)邦學(xué)習(xí)為方向的下一代大數(shù)據(jù)平臺(tái)的研究,該平臺(tái)將具備混合部署、跨域數(shù)據(jù)共享和邊緣計(jì)算等能力。

據(jù)了解，為支撐海量業(yè)務(wù)發(fā)展，騰訊已經(jīng)建立了“大數(shù)據(jù)+AI”的雙引擎技術(shù)架構(gòu)，其中，最底層為分布式存儲(chǔ)層，存儲(chǔ)結(jié)構(gòu)化及非結(jié)構(gòu)化數(shù)據(jù)，第二層是資源調(diào)度層，做CPU、GPU和FPGA的管理，第三層是計(jì)算層、分析層、數(shù)據(jù)采集層，而頂層則是業(yè)務(wù)應(yīng)用層。通過四層完整的技術(shù)架構(gòu)，自下而上為騰訊的整個(gè)應(yīng)用生態(tài)保駕護(hù)航，保障億萬用戶能安全順暢地享受到騰訊的優(yōu)質(zhì)服務(wù)。

從局部?jī)?yōu)化到自主研發(fā) 在實(shí)踐中不斷創(chuàng)新

從開始的技術(shù)引進(jìn)、局部?jī)?yōu)化到如今的自主創(chuàng)新，騰訊的大數(shù)據(jù)技術(shù)在實(shí)踐中不斷完善、不斷創(chuàng)新。十年前，騰訊管理幾百個(gè)節(jié)點(diǎn)都很困難，調(diào)度性能差，規(guī)模上不去。為了有效解決計(jì)算能力和大規(guī)模集群?jiǎn)栴}，騰訊自研調(diào)度器，相對(duì)原生調(diào)度器性能提升150倍，大大提升了集群可擴(kuò)展性。2016年，騰訊打破Sort Benchmark四項(xiàng)世界紀(jì)錄，標(biāo)志著算力已經(jīng)達(dá)到世界領(lǐng)先水平。

由于騰訊20萬臺(tái)彈性資源池的機(jī)器分布在多個(gè)數(shù)據(jù)中心，不同地區(qū)甚至是不同國(guó)家，為了降低數(shù)據(jù)使用壁壘，去年自研了漂移計(jì)算引擎SuperSQL，作為統(tǒng)一的數(shù)據(jù)分析入口，通過智能CBO優(yōu)化器，將計(jì)算下推到分布在各地的異構(gòu)數(shù)據(jù)源，數(shù)據(jù)分析性能提高很多倍，并且數(shù)據(jù)量越大優(yōu)勢(shì)越明顯。

數(shù)據(jù)應(yīng)用越來越深入，騰訊對(duì)數(shù)據(jù)挖掘的需求也越來越多。隨著模型的增大，最初用來做數(shù)據(jù)訓(xùn)練的MR、Spark已經(jīng)不能滿足上億的模型維度的需求。2015年初，騰訊開始自研高性能的分布式機(jī)器學(xué)習(xí)平臺(tái)Angel，采用PS架構(gòu)，能支持10億維度。目前Angel發(fā)展到3.0版本，能支持萬億維度，也可以兼容Spark、PyTorch、TensorFlow等生態(tài)，進(jìn)一步降低了使用門檻。此外，Angel今年還新增了對(duì)深度學(xué)習(xí)、圖計(jì)算等的支持。

騰訊正成為大數(shù)據(jù)領(lǐng)域開源最全面廠商

技術(shù)迭代不斷加速，企業(yè)建設(shè)大數(shù)據(jù)平臺(tái)和機(jī)器學(xué)習(xí)平臺(tái)，不僅成本高昂，而且缺乏相應(yīng)的專業(yè)人才，面臨種種問題。

云時(shí)代，這些問題得到有效解決。目前，騰訊已經(jīng)把網(wǎng)絡(luò)、存儲(chǔ)、數(shù)據(jù)庫等IaaS能力，大數(shù)據(jù)、機(jī)器學(xué)習(xí)等PaaS的能力，以及上層的圖像、語音、NLP、BI等SaaS能力，通過騰訊云對(duì)外開放。在大數(shù)據(jù)和AI兩個(gè)領(lǐng)域，騰訊推出了以TBDS和智能鈦TI為首的雙引擎。讓每個(gè)企業(yè)，不需要專業(yè)的大數(shù)據(jù)和AI團(tuán)隊(duì)，也能便捷用上領(lǐng)先的大數(shù)據(jù)和AI的能力。

另外，騰訊也通過開源和廣大開發(fā)者共享技術(shù)成果。從2014開始，將第一代平臺(tái)的核心，騰訊版的Hive進(jìn)行了開源，2017年，更是把第三代平臺(tái)的核心Angel開源。今年，騰訊加快了開源的腳步，在內(nèi)部推開源協(xié)同的戰(zhàn)略推動(dòng)下，騰訊所有的技術(shù)棧，后續(xù)會(huì)越來越開放。

2個(gè)月前，騰訊在ApacheCon 2019上，面向全球開發(fā)者正式宣布開源自身核心平臺(tái)——實(shí)時(shí)數(shù)據(jù)采集平臺(tái)TubeMQ，并捐獻(xiàn)給Apache社區(qū)。此次在Techo大會(huì)現(xiàn)場(chǎng)，再次重磅宣布正式開源資源管理平臺(tái)核心TKE和分布式數(shù)據(jù)庫TBase，隨著在大數(shù)據(jù)開源領(lǐng)域的開源逐步加速，騰訊正在成為中國(guó)大數(shù)據(jù)領(lǐng)域開源最全面的廠商。

“目前，已經(jīng)有數(shù)百萬的開發(fā)者在騰訊云上構(gòu)建應(yīng)用，相信后面會(huì)有越來越多開發(fā)者加入，我們將和所有開發(fā)者一起，共建云上的應(yīng)用生態(tài)”，蔣杰表示。

來源：騰訊科技