開源的底色,易觀數科的誕生

(原標題:開源底色易觀數科的誕生)

2020年,疫情的出現,不僅讓人們正常的生活和工作狀態經常被打斷和改變,而且人類未來可能要學會與疫情常態化共存。疫情的出現也加速了國內企業數字進程,比如,企業原來的營銷方式主要靠線下,但疫情的常態化迫使企業更多依賴數字化的方式。

在數字化進程加速的當下,互聯網也已經從流量時代進入留量時代。流量時代是一個增量時代,“互聯網的滲透率還未飽和,還有人口紅利,大家總覺得永遠會有新用戶”。而留量時代則是一個存量時代,幾乎沒有新的增量。兩者最大的變化在於“老的流量時代是一個增量思維,新的留量時代是一個存量思維”。易觀 CEO 於揚表示,“在新的留量時代,對每個企業而言,如何構建和運營好自己的核心數字用戶資產,我覺得這是最大的挑戰,也是最大的機會。”因此,對易觀來說,當前最主要的是用好數據,幫企業解決問題抓住機會。而過去,它們只是幫企業發現問題,指出行業發展趨勢。

在10月23日的“A10數據智能峰會”上,易觀戰略全新升級,正式公佈兩大業務線:聚焦數字用戶洞察的易觀分析,專注智能用戶運營的易觀數科。簡言之,易觀分析是幫企業發現問題,指出發展趨勢,而易觀數科則是幫企業解決問題,抓住機會。易觀 CEO 於揚表示,“易觀的使命是讓數據能力平民化。易觀數科更希望通過技術產品解決方案來賦能企業,提供工具和優質服務,再加上客戶至上的服務態度去幫助客戶在數字化升級中做好數據驅動。”

從幫助企業發現問題到幫企業解決問題,這對易觀數科來說是個不小的挑戰!

如何跨越技術關?

易觀大數據成立於2012年,雖然從成立第一天起,就是一個產品和技術驅動的科技公司,當時的主要業務還是業務諮詢和行業分析。因此真正去幫企業解決問題時,你要跟客戶的業務流程和業務系統打通第一個挑戰就是技術。對於這個話題,郭煒是最有話語權的。他2016年加入易觀,此時易觀主要做業務諮詢和行業分析。

當時,易觀有一款分析產品,叫易觀千帆。它通過與衆多數據合作伙伴的合作,構建了基於統計算法的大數據分析平臺,分析 APP 用戶活躍度。據郭煒介紹,易觀千帆最初月活只有1000多萬,但業務發展快,數據量快速增加,很快逼近兩億。而此時,公司的技術狀況“堪憂”,總共有30多個技術人員,產品主要依賴阿里雲,使用 Apache Hadoop。但是,問題在於整個 Apache Hadoop 生態的技術門檻很深,“很多東西要花兩三個月修改,才能把它做好”。他說:“我們當時在 Apache Azkaban 上有幾千個任務,經常在晚上死掉,我們被折磨得不行了,後來開始自研。”

總之,平臺非常不穩定,不僅宕機,還老出各種問題。

“天天加班,回不了家,好不容易回了家,任務在半夜又掛了。那時,我天天晚上三四點被叫起來處理問題,沒法睡覺。”郭煒補充說。以至於,團隊用上自研的 Apache DolphinScheduler 後流行幾句話——工具選得好,下班回家早;調度用得對,半夜安全睡。

剛到易觀的第6個月,郭煒過生日,“這一天,老於(於揚)把我叫到辦公室,說你來了六個月,很感謝你的工作,但你看我們現在這個平臺還是不穩定”。

技術團隊感覺壓力非常大,爲了改善現狀,做了這麼幾件事。

首先,對30多人的技術團隊進行大幅調整,只剩8個人,然後,進行了團隊重組。“有時候,團隊成員還不夠快,有的技術人員跟不上,就需要重新調整團隊”。

其次,在技術路線上,始終堅持 Apache 生態。在郭煒看來,當時的技術路線第一是擁抱開源,擁抱 Apache 生態。他說:“Apache 的東西跑起來不行,當然,你也可以用商業版,比如 Cloudera,用完就能解決問題,但有兩個問題:一是它有商業版權,如果要用,需要付費;另一個是與我們公司的理念相沖突,我覺得擁抱開源才能進一步提升我們自己的技術人員能力。”並且,在他剛到易觀時,公司主業還是業務諮詢和行業分析,因此如何積累自己的技術能力和技術實力也就成爲郭煒考慮的重要因素。

因此,易觀技術團隊不僅基於 Apache Hadoop 生態研發了一些性能優化的東西,而且自研了 Apache DolphinScheduler。這樣,平臺的性能和穩定性得到不斷提高,爲現在的技術平臺奠定了基礎。

隨着團隊技術人員成長了起來,而且積累了不錯的技術實力,這纔有易觀現在的技術,易觀數科纔有可能出現。同時,爲打造更穩定、更可靠的平臺,易觀也從公有云轉向混合雲。

2015年到2016年時,易觀使用公有云(阿里雲)。後來,易觀開始採用混合雲,”把它變成實體機,用 Apache 的框架給跑起來,用了 Pivotal Greenplum,加上 Hadoop 去解決一些業務上的問題”。在這一年,易觀先後遷移了兩次:

先從阿里雲遷到自建的混合雲,他們找到一家供應商,買了一根光纖,從阿里雲連到 UCloud。後來,UCloud 推出自己的混合雲,易觀租用它的機房,將自己的機器搬進去,又做了一次遷移。兩次遷移結束後,平臺基本穩定下來,“一直到現在,6.8PB 大數據平臺都在 UCloud 的混合雲裡”。郭煒對 InfoQ 記者指出,易觀這樣既可以使用公有云的彈性擴展能力,也能充分利用物理機的穩定性。

遷移兩次,雖然問題不少,但是也鍛鍊了團隊,把易觀數科的技術做起來了,“我們做的 Hadoop 集羣非常穩定”。正是各種踩坑和磨練,讓易觀數科逐漸積累起自己強大的技術能力。易觀數科的核心技術能力源自易觀的大數據平臺,6.8PB 大數據平臺中大量的計算引擎的優化,大量的調度,還有從中孵化出的 Apache DolphinScheduler。“把原來內部使用的技術,以產品的形式打包,變成一種商業化的產品,比如易觀方舟,最終賦能我們的用戶“。

對易觀而言,這只是邁過了技術關。接下來,他們需要把自己對業務的理解和技術相結合變成客戶能使用的產品,因此易觀數科需要跨越產品關。這就帶來兩大挑戰:第一,私有化部署。很多人在過去認爲大數據平臺越大越好,但是,一旦到了私有化部署,優化的方向就有所不同。實際上,這個技術門檻挺高。“我們做到了,但很多友商費了半天勁也沒做出來,因爲這不僅要對底層橫向的平臺進行優化,而且對計算的性能要求很高”。

第二,適配場景。易觀原來的產品主要供內部的數據分析師使用,場景比較固定。但是,當產品向外提供,如何去支撐客戶的業務場景?據郭煒介紹,他們通過產品抽象出12大模型,賦能客戶。“最開始,我們調研了一圈,提出一個很重要的架構,叫 IOTA 架構”。從 IOTA 架構中,從裡面核心抽象出三個主要數據模型,被稱之爲主謂賓模型,即主語、謂語和賓語。基於這些模型,去適配易觀跟用戶相關的所有場景,“它是通用的”。基於模型之外,根據客戶的需求去適配,系統將客戶的場景歸到哪一種或模塊下。“如果都不合適,我們再新建一個模塊去適配它。當然,我們的模型也會變,有時候增,有時候減,逐步去適配我們客戶的使用”。

最重要的一點是易觀數科有着開源和雲化的基因,因此產品的開放性很高。據悉,某頭部股份制商業銀行使用易觀數科的產品,融合到系統中非常順利,受到雙方一致好評。郭煒稱,“我們的最終目標是賦能客戶,即把我們的系統融合成客戶系統的一部分,賦能客戶的業務部門,一起把這個事做好。”

更懂業務

當然,僅僅過了技術關和產品關還不夠,還差落地。怎樣把技術、產品與服務相結合,應用到行業客戶的業務場景中,真正解決客戶的業務問題,這是關鍵。“最終,只有解決了業務問題纔是王道”。

易觀 CEO 於揚認爲,“我們相信,不會是普適性的產品,不會僅有技術就能解決客戶的業務問題,一定是技術、產品加上服務組成的解決方案,來解決客戶的業務問題。”在行業解決方案上,易觀有一個很大的優勢——易觀分析多年來深耕行業的數字化。“這給我們第二個業務品牌——易觀數科在行業解決方案上提供了很好的助力”。

換句話說,易觀數科有先進的技術和產品能力,加上易觀分析多年來對行業業務場景的洞察,最後可以幫助易觀數科拿出更好的行業解決方案,去真正解決客戶的痛點

簡言之,易觀數科更懂業務。

十幾年的行業諮詢和分析,讓易觀對行業客戶有着深入的理解。以銀行爲例,銀行的信用卡業務一直有個難點:有信用卡的人很多,但是信用卡的活躍度不高。顯然,在今天移動支付無所不在的情況下,信用卡已經退到支付的後面,微信和支付寶成爲人們的首選支付工具。

那怎樣讓消費者在這些支付場景中想到綁定某個銀行的信用卡?對銀行而言,它們首先要接入更多的場景,比如餐飲、娛樂、機酒火車、商城、生活繳費等。其次,銀行需要深度運營這些場景。

於揚說:“易觀有一套解決方案,可以通過多場景、持續不斷的深入運營,讓銀行卡的用戶有更多的激活,更多的人使用信用卡,這對銀行的信用卡業務就意味着更多的收入。”

酒店來說,今年受疫情衝擊比較大,不僅商旅出差減少,而且大型會議活動幾乎全部停止。但是,酒店歷史上有大量的用戶和客戶的數據,怎麼通過數字化的方式把沉澱在酒店 CRM 系統中的客戶數據激活,讓用戶重新與酒店發生關係。這就顯得極其重要。

“這個又能用到易觀數科的智能用戶運營。首先,你要建立一個數字觸點,把這些數據採集回來,再跟後臺的 CRM 數據拉通,判斷哪些客人歷史上是高價值客人。有沒有可能在公域把它激活,持續的推出一些活動,比如婚宴、生日宴和親子活動等。甚至跟當地的景點搞一些短途 / 主題旅行,激活酒店的住宿和餐飲。“他說。

無論是信用卡,還是酒店,現在各行各業的核心都是怎麼更好的促活,更好的增加黏性,怎樣提升復購,延伸用戶生命週期。

據悉,除了銀行和酒店,易觀還有不少的快消品客戶,比如相宜本草。“同樣是促活,不同的行業,它的解決方案是不一樣的”。銀行的信用卡怎麼促活?酒店怎麼促活?化妝品怎麼促活?...... 實際上,這都需要針對性的解決方案。於揚表示,“這又發揮了易觀歷史上的優勢,即我們更懂業務。同時,我們的諮詢和分析團隊,可以跟產品結合在一起提供優質的服務。”

更懂業務的調性,加上開源的技術路線,讓易觀的解決方案能發揮更大的價值。業務要落成產品,它要求這個技術有很高的開放性。它要能快速適配,比如汽車和金融,這是兩個完全不同的行業,“可能產品形態都不同,但我們只有一個產品團隊,怎麼更好的適配它們。因爲我們有開放的組件、開放的 API,因此可以快速組裝一些小模塊去適配不同的行業解決方案。”郭煒說。

在他看來,只有懂行業才能更好的落地,纔能有的放矢。“尤其是技術類的純算法,它沒有辦法去解決業務問題,它一定是在某個固定的場景中,對行業有了深入瞭解,才能發揮算法的作用”。

開源的技術路線,開放的心態

2016年,於揚花了6個月的時間通過各種角度和郭煒溝通,最終達成幾個共識:開源、雲化和生態,並請郭煒加盟易觀擔任 CTO。某種意義上,開源是於揚和郭煒共同的信仰。他們有一種觀念:不認爲商業軟件是應該蓬勃發展的,反而堅信開源這種“我爲人人、人人爲我”的精神。

在面對開源和閉源的兩種技術路線時,於揚和郭煒堅定地選擇了開源,“我們堅定地認爲開源是一個更有擴展性、更有連接性和更有生態包容性的一個方向”。特別是當今地緣政治衝突的背景下,基於開源生態的自主、安全、可控的雲服務,不僅對國家安全至關重要,也對行業客戶的風險控制至關重要。試想,如果採用了閉源的不友好國家的商業組件,我們將如何避免斷供、停更、數據泄露、後門操控這些風險呢?

今天,易觀數科的開源生態正在茁壯成長,社區開發者羣體不斷壯大,Argo、DolphinSchedulur 等產品的開發者,累計已超過一萬人。

據易觀數科介紹,如今的 Apache DolphinScheduler 社區有近三千五百人,Argo 社區也有一千五百人,使用 DolphinScheduler 的企業接近400家,使用 Argo 的企業也有200多家。並且,DolphinScheduler 已經成爲 Apache 基金會孵化器項目,預計明年年初從 Apache 畢業。

郭煒說:“我們有兩個技術基本價值觀:一是開源,二是雲化。一直到現在,團隊規模變這麼大,我們還是這兩個價值觀。我們的使命是讓數據能力平民化,我們會在裡面投入很多的精力,通過開源或免費的方式讓大家用起來。”

郭煒強調,自己非常堅信 Apache 的這種開源生態,“我們做完後,願意把我的東西貢獻出去,開源出去,貢獻給社區,比如 Apache DolphinScheduler“。這裡還有一個小故事,有一天郭煒找到於揚說,我們如果開源的話,所有的代碼都要貢獻給基金會,畢竟這是公司花費很多成本開發的,我們是否想清楚了。於揚看着郭煒的眼睛說:“雖然我們還沒想清楚如何變現,但這個方向還是我們一直堅持的,咱就這麼幹吧“。這是一種信仰。

實際上,在擁抱 Apache 生態的過程中,易觀數科的技術團隊也是受益匪淺。比如,在開發流程上,國際上的開發流程,“像 Code Review、自動化的 CI/CD 跟我們不一樣。原來,我們的開發流程比較粗糙一些,這就過不了 Apache 的流程”。於是,易觀數科的技術團隊按照 Apache 的流程實施,並要求其他項目也跟 Apache 的流程靠齊。舉個例子,在做 Code Review 時,有很多國外技術專家替易觀的技術人員 Review 一些代碼,這給他們帶來很大的提升。“我覺得開源的好處之一是讓你的團隊快速和國際大牛的團隊去接軌,你貢獻這些代碼,再經過大牛的打磨,這讓你的團隊能快速成長,得到快速提高”。

對郭煒而言,接下來需要進一步擴大社區,吸引更多的開發者參與進來。目前,Apache DolphinScheduler 社區已經進入一個比較良性的自發展階段。它現在的每個版本大概有30%-40% 的功能都不是易觀開發出來的,是由社區其他成員貢獻出來的。而談到易觀 Argo,他想讓用戶能更快地上手。打個比方,Argo 產品有點像高射炮,但一般用戶的目標是打蚊子,所以上手有點重。郭煒表示,後續會從產品功能迭代上降低其上手難度,調一調產品調性,讓它更加平民化,比如通過文檔、視頻和案例的方式,再加上運營的手段。

寫在最後

從業務諮詢分析、行業分析再到智能運營的產品和技術及解決方案,易觀一直在進化。而易觀數科的出現,則讓進化之路更清晰:幫助企業建立以數字用戶資產爲核心的數字化商業能力,通過深耕行業場景的智能用戶運營的解決方案,助力企業快速實現面向用戶的數字化升級。