大數據大創新:阿里巴巴數據中臺業務模式解密
  • 推薦0
  • 收藏0
  • 瀏覽608

大數據大創新:阿里巴巴數據中臺業務模式解密

鄧中華 (作者) 

  • 叢  書:阿里巴巴集團技術叢書
  • 書  號:978-7-121-34902-7
  • 出版日期:2018-11-12
  • 頁  數:216
  • 開  本:16(185*235)
  • 出版狀態:上市銷售
  • 維護人:王靜
紙質版 ¥99.00
阿里巴巴云上數據中臺正服務著阿里生態中的數十個業務板塊、百余家公司、千萬級客戶,在幫助決策層看清甚至決定業態走向的同時,在上萬個業務場景中應用并催生創新。
本書基于作者在阿里巴巴的十年大數據從業經歷,精彩演繹云上數據中臺之道。全書基于大數據探索的大趨勢,講述阿里巴巴云上數據中臺頂層設計,再以實際案例詳述阿里巴巴云上數據中臺建設及其業務模式的形成過程,總結云上數據中臺沉淀的獨特價值,并開誠布公地分享阿里巴巴以賦能為本質的大數據戰略。
作者希望通過一名老數據人發自肺腑的分享,幫助盡可能多的有志于大數據構建、應用與創新者,構建自己的云上數據中臺,從而擁有既“準”且“快”的“全”“統”“通”的智能大數據體系,以驅動各類業務數據化與數據業務化創新!
聯動阿里巴巴云上數據中臺能力與阿里云云上服務
基于十年大數據親身經歷,精彩演繹數據中臺之道
推薦序
從大數據的概念被正式提出,到馬云老師預言人類正從IT 時代走向DT 時代,大數據浪潮迭起。大數據同仁共同認知的一點是,大數據會對社會創新、產業變革、業務創新及每個人的角色定位產生近乎決定性的影響。
馬云老師早在2014 年就提出了業務數據化和數據業務化,阿里巴巴因此付諸行動,通過全局數據監控、數據化運營、數據植入業務場景的各個鏈路等推進業務數據化;通過統一商家端數據產品、計量信用分,以及風險預測與防控等,推進數據業務化。但與此同時,我們也清楚地知道,在實現這個愿景的道路上存在著很多挑戰,其中,如何提升大數據能力則是關鍵。
在2014 年以前的阿里巴巴,我們的計算資源分散各處,我們的數據指標經常相互沖突,我們的數據應用大多從數據源頭向上耗費大量資源進行垂直開發。這種狀況無法可持續地推進業務數據化與數據業務化。于是,阿里巴巴數據人協同起來,從業務視角而非純技術視角出發,建設既“準”且“快”的“全”“統”“通”的智能大數據體系。其間,在極致追求技術提升的同時,我們自成OneData、OneEntity、OneService 三大體系,開發了致力于智能數據構建與管理的Dataphin、高效數據分析與展現的Quick BI 等產品,培育了一大批獨具阿里特色的大數據人才,云上數據中臺的建設也就水到渠成了。
今天的阿里巴巴,幾乎所有的業務都運行在大數據之上,幾乎所有的小二都在用大數據改善工作甚至創新。云上數據中臺正服務著阿里生態中的數十個業務板塊、百余家公司、千萬級客戶,在上萬個業務場景中應用并催生創新。而每一年的雙十一都在上演著數據奇跡。
以2016 年的雙十一為例,當天實時計算處理的數據量達到9400 萬條/ 秒,面向業務系統提供應用服務的單日數據調用約百億次,而全鏈路完成數據采集、整合構建、服務展現僅需2.5 秒,這些驚人的數字背后是因為有強大的云上數據中臺大數據能力在支撐。
如今,中國正處于數字化轉型階段,政府的各個部門及各行各業越來越相信大數據的力量。我們認為,這套在阿里生態內實戰過的云上數據中臺大數據能力及其推進業務數據化、數據業務化的云上數據中臺業務模式,可以在阿里生態之外推而廣之,賦能全社會!
2016 年9 月,我們不再將云上數據中臺深藏于阿里生態內,開始以親身經歷的各種積淀對社會各界有志于大數據戰略者伸出合作之手,幫助諸如零售、旅游、環保、地產、傳媒、運營商、文教、政府部門等領域的客戶構建自己的大數據能力,并在數字化轉型之路上逐步走向成功!
一群有情有義、有夢想、有擔當又有極強戰斗力的人共同締造了今天的阿里巴巴。但如何驅動大數據讓世界更加美好呢?我們希望攜手同道者,共創、開拓,進而修煉大數據能力,共同在大數據實踐之路上走向成功!大數據能力本應無邊界,越多地參與,才越有可能真正實現無邊界。
永不停歇地奮斗,正因樂在于志!我們堅信,一切美好,都會因此開始的剛剛好!
胡曉明( 花名 孫權)
阿里巴巴合伙人,阿里云總裁

前言
正說阿里巴巴云上數據中臺及云上數據中臺業務模式
今天的阿里巴巴,幾乎所有業務都運行在大數據之上,幾乎所有小二都在用大數據改善工作、進行創新。阿里巴巴云上數據中臺正服務著阿里生態中的數十個業務板塊、百余家公司、千萬級客戶,在幫助決策層看清甚至決定業態走向的同時,在上萬個業務場景中推進業務數據化、嘗試實現數據業務化并催生創新。而這背后則是因為強大的云上數據中臺大數據能力的支撐。
阿里巴巴的大數據觀
在阿里巴巴,我們有自己的大數據觀。我們堅信,“大數據擁有超能力”,大數據所具備的數據計算能力、智能數據能力和數據智能能力,就像人的經絡、血液和大腦,缺一不可!圍繞著“統一數據建設與數據資產化管理能力”“統一實體連接識別與標簽畫像高效生產能力”“統一數據服務能力”(在書中分別代稱為“OneData”“OneEntity”和“OneService”[1])三大體系,阿里巴巴實踐著云上數據中臺,進行著一系列自我命題與自我解題。
阿里巴巴云上數據中臺建設之路
從2012 年開始,阿里巴巴云上數據中臺建設經歷了不斷革新理念和實戰、不斷量變和質變的過程。其中,2014 年4 月至2015 年11 月的阿里巴巴數據公共層建設和2016年9 月正式開始實施的阿里巴巴大數據能力賦能社會戰略,是阿里巴巴在大數據領域的兩次關鍵質變。第一次質變確定了阿里巴巴云上數據中臺及數據中臺團隊,第二次質變確定了阿里巴巴云上數據中臺業務模式的社會賦能戰略。
2014 年,適逢阿里巴巴數據登月元年,首批登月預算數億元且很快面臨耗盡的局面,這引起了時任阿里巴巴CTO 姜鵬(花名三豐)的特別關注,OneData 體系特別是其方法論也因此進入高層管理者的視線。
經過一段時間的方案細化和多輪評審及溝通,2014 年4 月8 日,阿里巴巴數據公共層建設項目正式啟動。在保障平穩支持日常業務的前提下,一期啟動全局架構,二期啟動18 個子項目,三期啟動9 個子項目,并啟動6 大數據技術領域。一年后,阿里巴巴數據公共層建設項目即取得了階段性戰果,除深度參與的淘系、B2B 等BU 外,涉及或影響小微金服[1]、阿里云等10 多個BU[2]。其數據服務20 多個BU,主打小二端統一的數據產品平臺——阿里數據,統一商家端數據產品平臺為生意參謀,并推出數據大屏助力雙十一,同時深入業務,協助業務創新及探索數據自主創新。與此同時,以阿里巴巴數據公共層建
設為切入點繁榮發展起來的數據構建、管理和服務自成體系,其特別之處在于OneData體系的升級、OneEntity 體系方法論的提出、OneService 體系數據產品的升級。這些不僅在技術上降低成本、提高效率,在業務上驗證著數據價值化的可能性,也同時促進了組織優化。此時,阿里巴巴數據中臺已經在事實上存在了。2015 年12 月7 日,張勇(花名逍遙子)在給阿里巴巴全體小二的郵件《阿里巴巴集團全面組織升級,啟動中臺戰略》中正式宣布:“構建符合DT 時代的更創新、更靈活的‘大中臺小前臺’組織機制和業務機制?!弊源?,數據中臺成為阿里巴巴中臺事業群的重要組成部分,阿里巴巴數據中臺團隊正式成立!
在此過程中,阿里巴巴獨特的大數據觀越來越清晰明確,也累積了獨特價值,包括云上數據中臺大數據技術、云上數據中臺建設方法論、云上數據中臺產品化服務、云上數據中臺業務體感、OneTeam 協同作戰思維、特色大數據人6 大方面。
阿里巴巴云上數據中臺業務模式賦能全社會
在阿里巴巴,有一句眾所周知的話:“今天最好的表現是明天最低的要求!”數據中臺團隊的正式成立預示著更高的要求和更多的挑戰。與此同時,阿里生態內越來越多的全資或投資子公司提出了數據訴求,既有同時輸入數據和消費數據的,也有只消費數據的,還有只輸入數據的。于是,從2015 年12 月開始,整個阿里巴巴數據中臺團隊開始面向阿里生態內建設智能大數據體系!智能大數據體系的建設極大地豐富和完善了阿里巴巴大數據中心,OneData、OneEntity、OneService 漸趨成熟并成為上至CEO、下至一線員
工共識的三大體系,云上數據中臺深入業務、賦能業務,也讓數據價值及賦能業務的潛在價值越來越被認可和期待。同時,我也深深地反省將其放大到阿里生態內時的不足之處,以及在阿里生態之外,這套大數據能力是否可以推而廣之,賦能全社會呢?
于是,2016 年9 月,為了使命,為了達成愿景,我們不再將云上數據中臺深藏于阿里生態內,開始將阿里巴巴大數據能力同時賦能阿里生態內外!
歷經了阿里生態內各種業態挑剔的實戰歷練,云上數據中臺除自身具備的內核能力外,還向上與“賦能業務前臺”連接、向下與“統一計算后臺”連接,并與之融為一體,形成云上數據中臺業務模式,具備了對全社會賦能的可能。關于云上數據中臺與云上數據中臺業務模式的關系,如圖0-1 所示。
??????????????????????????????????????????????
??????????????????????????????????
???????? ????????????
????????????
????
????????
??“??”??“??”??“??”??“??”??“??”??
??????????????
????
???????????? ???????????? ???????????? ?????????????????
圖0-1 阿里巴巴云上數據中臺與云上數據中臺業務模式的關系
云上數據中臺定位于計算后臺和業務前臺之間,其內核能力是以業務視角而非純技術視角,智能化構建數據、管理數據資產并提供數據調用、數據監控、數據分析與數據展現等多種服務;承技術啟業務,是建設智能數據和催生數據智能的引擎。而指導云上數據中臺內核能力不斷積累和沉淀的正是OneDataOneEntity、OneService 三大體系的方法論。
以云上數據中臺自身內核能力為中堅力量的云上數據中臺業務模式,同時關注著與大數據能力相關的技術、數據、業務等,其基于技術而又深入業務,是包括數據產品+ 數據技術+ 方法論+ 場景價值實現等在內的綜合性能力輸出。它為智能化數據、極致提升技術和數據智能化業務負責,即,一方面專注于從業務視角建設既“準”且“快”的“全”“統”“通”的智能大數據體系,并且極致化追求技術上的降低成本及提高效率,另一方面致力于智能大數據與業務場景深度融合中的各類應用與智能化價值創新。
我們的追求與努力
為何而來?將往何處?這是我們一直思考的問題!
云上數據中臺業務模式是活性的,是有血有肉、有情感的,其信念是“大數據擁有超能力”,其使命是“讓大數據催生大創新”,其愿景是實現 “大數據創新無處不在,大數據人才無處不在”。所以,未來,我們將全力以赴地分享云上數據中臺業務模式,不遺余力地將云上數據中臺業務模式中的方法論、數據產品、數據技術、數據與業務融合的價值化經驗等付諸幫助國內、國際的云上客戶的實戰中!希望可以有越來越多的志同道合者一起“華山論劍”!
從2016 年9 月開始,我們結合一些客戶的實際訴求,分享了不少大數據領域相關經驗,而本書則是應多方期望,對于阿里巴巴云上數據中臺及云上數據中臺業務模式的系統、全面、深入的分享。后續,我們計劃推出《阿里巴巴云上數據中臺的賦能實戰》《大數據產品經理》《大數據大設計》《深入大數據產品與技術》《大數據大管理》等一系列大數據相關圖書。對于分享,我們是認真的!
鄧中華(花名 宗華)
阿里巴巴大數據人,資深產品專家


特別說明,特別感謝
本書所有內容均基于筆者十年來在阿里巴巴大數據領域實戰中的親身經歷,所有圖片均來自于筆者的100 余篇PPT 和數本手稿,以及筆者所在阿里巴巴數據中臺團隊的戰友積累的20 余篇PPT。所以,這本書代表著真正意義上的云上數據中臺實戰。十年寒來暑往,十年風刀霜劍,相信讀者可以從中或多或少感受到阿里巴巴大數據人用初心和信仰、求變與務實、不懈與努力鑄就的云上數據中臺及其業務模式!
特別感謝相信我、支持我、陪伴我一起戰斗的阿里巴巴數據公共層建設若干期項目中的數百名伙伴、生意參謀平臺中的80 名隊友、新能源實驗室與新行業賦能團隊的120 名熱血同仁!書中圖片中引用的部分圖標來自iconfont 平臺,在此一并感謝!因人數眾多,在此不一一列出姓名。
謹以此書,獻給這么多年來不離不棄陪我奔跑在大數據之路上的夢想戰友!獻給一直包容我、疼惜我并且支持我投身大數據事業的家人!獻給在本書成書過程中無欲無求給予我幫助的好友!
生命因為有你們而美好,征程因為有你們而無悔,因為相信,所以堅持,終于看見!

目錄

目錄
第1章  筆者自述  001
1.1 我的阿里九年:相信一切都是最好的安排  002
1.2 我眼中的阿里:有情有義,有夢想,有擔當  005
第2章 阿里巴巴云上數據中臺之頂層設計  007
2.1 大數據的發展歷程與價值探索  008
2.1.1 國內外大數據發展研究  008
2.1.2 同仁如何用大數據  013
2.2 阿里巴巴的大數據主張  017
2.2.1 阿里巴巴的大數據主張概述  017
2.2.2 大數據催生大創新  018
2.2.3 大數據擁有超能力  019
2.2.4 云上數據中臺是“承技術啟業務”的關鍵存在  021
2.3 水到渠成的云上數據中臺  022
2.3.1 云上數據中臺賦能業務全景圖  023
2.3.2 云上數據中臺的頂層設計  025
2.3.3 云上數據中臺業務模式的愿景與使命  031
第3章 阿里巴巴云上數據中臺之建設過程  035
3.1 云上數據中臺執行計劃  036
3.1.1 現狀梳理和未來展望  036
3.1.2 項目計劃與組織協同  041
3.1.3 實際落地與項目總結  048
3.2 從零散的數據到統一的數據  062
3.2.1 煙囪式開發造成業務困擾和技術浪費  062
3.2.2 數據公共層力求讓業務和技術都滿意  067
3.3 從成本中心到資產中心  083
3.3.1 大數據容易陷入成本中心的深淵  083
3.3.2 大數據應該且必須回歸資產本質  086
3.4 從孤島數據到融通的數據  097
3.4.1 孤島數據存在的必然性  098
3.4.2 數據只有融通才能真正產生價值  099
3.5 從“授人以魚”到“授人以漁”  106
3.5.1 給數式服務——授人以魚  106
3.5.2 業務主題式服務——授人以漁  107
3.6 從“數據可有可無”到“無數據不智能”  109
3.6.1 野蠻增長時期:數據是可有可無的  109
3.6.2 智能化增長時期:無數據則不智能  111
3.6.3 大數據引爆“雙十一全球盛典”  120
第4章 阿里巴巴云上數據中臺業務模式之獨特價值  141
4.1 云上數據中臺業務模式的獨特價值  142
4.2 云上數據中臺大數據技術  144
4.3 云上數據中臺建設方法論  146
4.4 云上數據中臺產品化服務  149
4.4.1 云上數據中臺產品化服務概覽  150
4.4.2 云上數據中臺核心產品Dataphin  151
4.4.3 云上數據中臺核心產品Quick BI  154
4.5 業務體感  156
4.6 OneTeam 協作作戰思維  157
4.7 特色大數據人  158

第5章 走向大數據成功之路
5.1 如果可以選擇,你會走怎樣的大數據之路  162
5.2 阿里巴巴以賦能為本質的大數據戰略  163
5.2.1 基于云上數據中臺業務模式的解決方案  163
5.2.2 阿里巴巴真正在意的和能夠給予的  166
5.2.3 循序漸進的云上數據中臺業務模式  166
5.3 你的成功依賴于你的遠見和執行力  168
后記 一位老數據人的心路與情懷  169
附錄A 云上數據中臺演進格局選圖  179
A.1 筆者見證的阿里巴巴大數據團隊演進  180
A.2 一張圖說盡云上數據中臺頂層設計演進  181
A.3 阿里巴巴云上數據中臺的成長歷程  182
A.4 阿里巴巴云上數據中臺賦能業務運行圖  186
A.5 阿里巴巴云上數據中臺賦能業務全景圖  187
附錄B 云上數據中臺核心產品選圖  189
B.1 阿里巴巴云上數據中臺核心產品Dataphin 圖示  190
B.2 阿里巴巴云上數據中臺核心產品Quick BI圖示  194
附錄C 插圖索引  199

讀者評論

同系列書

  • 深入分析Java Web技術內幕(修訂版)

    《深入分析Java Web技術內幕(修訂版)》主要圍繞Java Web 相關技術從三方面全面、深入地進行了闡述。首先介紹前端知識,即在JavaWeb 開發中涉及...

    ¥79.00
  • 盡在雙11——阿里巴巴技術演進與超越

    阿里巴巴集團雙11技術團隊 (作者)

    “雙 11”,誕生于杭州,成長于阿里,風行于互聯網,成就于新經濟,貢獻于全世界。 從 2009 年淘寶商城起,雙 11 已歷經八年。每年的雙 11 既是當年的...

    ¥49.00
  • 機器學習在線:解析阿里云機器學習平臺

    楊旭 (作者)

    以機器學習中的典型案例為主線,條分縷析梳理阿里云的平臺功能,講解如何用阿里云的機器學習平臺來實現各類應用,包括商家作弊檢測、生存預測、信用風險預測、用戶購買行為...

    ¥79.00
  • 大數據大創新:阿里巴巴數據中臺業務模式解密

    鄧中華 (作者)

    阿里巴巴云上數據中臺正服務著阿里生態中的數十個業務板塊、百余家公司、千萬級客戶,在幫助決策層看清甚至決定業態走向的同時,在上萬個業務場景中應用并催生創新。<br...

    ¥99.00
  • 企業數字化基石——阿里巴巴云計算基礎設施實踐

    高山淵 蔡德忠 趙曉雪 劉禮寅 劉水旺 陳義全 徐波 編著 (作者)

    在互聯網行業中,云計算基礎設施技術具有非常重要的作用與影響,一方面,在電商、金融科技、云計算、大數據、AI等重要戰略領域發展的過程中,云計算基礎設施技術的重要支...

     
国际官方棋牌下载中心 股票配资平台是合法的么重生回古代小说 青海十一选五今天预测 湖北11选5遗漏top10 甘肃快3和值走势一定牛 甘肃11选5任3中了多少钱 二分时时彩今天出的好 贵州十一选五历史开奖结果查询结果 安徽11选五前三直选遗漏 急速赛车全天计划数据 广西快3走势图专业版