阿里雲首次實現自研、商用、開源“三位一體”,雙11 的核心技術可以直接給到客戶用?!

(原標題:阿里雲首次實現自研商用開源“三位一體”,雙11 的核心技術可以直接給到客戶用?!)

對於阿里的技術同學來說,每年的 雙11都是一場"盛宴"。爲了讓顧客有順滑的購物體驗,給商戶提供更多樣化的讓利活動,阿里電商平臺對於效率、可靠性、規模性的要求在 雙11的驅動下成倍提高,激發着技術人的潛力。作爲基礎技術核心之一,阿里中間件也會在每年 雙11迎來一次技術的全面演進和升級

阿里在2019年完成了全站的核心繫統上雲,對於阿里中間件來講,這是一個意義非凡的機遇挑戰。實際上,從2011年 Dubbo 開源開始,阿里中間件就已經嘗試在雲產品和開源方面努力探索,希望讓支持阿里核心業務的中間件系統從封閉走向開放,服務更廣泛的用戶。過去幾年,阿里雲推出了 EDAS 產品線,希望能夠把阿里在微服務和應用託管體系的實踐經驗分享給用戶;與此同時,阿里雲還在開源社區中推出了 Dubbo、RocketMQ、Nacos、Seata 等多個爲人熟知的開源項目,鼓勵廣大開發者共建中間件生態體系。

阿里雲在探索中一直存在的苦惱,是內部的自研體系、商業化的產品技術與開源的項目,三方的技術路線一直沒有機會融爲一體。然而,就在今年阿里雲提出了"三位一體"理念,即將"自研技術"、"開源項目"、"商業產品"形成統一的技術體系,最大化技術的價值。隨着阿里自研體系的上雲,這個機遇終於到來了。今年,讓阿里雲中間件技術人最興奮的,除了支持 雙11大促的再一次成功,更是能用這些技術持續賦能阿里雲上數以萬計的企業、機構、開發者以及他們的用戶,把 雙11的技術紅利發揮到極致。

基於集團場景,沉澱 Spring Cloud Alibaba 全家桶,形成微服務領域最佳實踐

在考拉入淘過程中,集團基於開源核心預研的下一代服務框架 Dubbo 3.0,完美融合了內部 HSF 的特性。考拉基於 Dubbo 以及 MSE 提供的服務發現和流量治理能力,輕鬆實現了與集團核心電商業務的接入。在今年 雙11大促中,考拉核心鏈路上的數百個應用運行在 Dubbo 3.0這個版本上。

Nacos 與 Dubbo/Spring Cloud Alibaba 生態完成無縫整合。2018年,隨着阿里開源戰略的推進,阿里雲以10年 雙11沉澱的註冊中心和配置中心爲基礎開源了 Nacos,以簡單易用、性能卓越、高可用、特性豐富等核心競爭力快速成爲領域首選。並且跟阿里 Dubbo/Spring Cloud Alibaba 生態完成無縫整合,形成微服務領域最佳實踐。2020年,隨着阿里全站上雲的全面推進,阿里雲將阿里經濟體內部註冊中心和配置中心用 Nacos 重構完成,並以雲產品 MSE 支撐了淘寶、餓了麼、考拉等核心 BU 平穩度過 雙11。

阿里微服務體系通過阿里內部場景鍛煉出高性能和高可用的核心競爭力,通過開源構建了生態和標準,憑藉 MSE、EDAS 等雲產品完成產品化和能力輸出。基於此,阿里雲中間件完成了三位一體的正向循環,通過標準持續輸出阿里巴巴的核心競爭力,讓外部企業快速享有阿里微服務能力,加速企業數字化轉型!

Spring Cloud Alibaba 全家桶

阿里雲 Prometheus 監控服務,提供了水平擴展能力,平均查詢性能比開源提升30% 以上

基礎設施自動化是雲原生紅利能夠被充分釋放的前提,而可觀測性是一切自動化決策的基石。Prometheus 是 CNCF 下第二個畢業的項目,已成爲雲原生可觀測領域的事實標準之一。如何將開源 Prometheus 的優秀生態與技術架構與阿里雲原生基礎設施進行整合,提供一個監、管、控一體化的自動化運維平臺,提升業務系統的交付效率與在線穩定性,是阿里雲這一年多來不斷探索的目標。在今年的 雙11期間我們見證了這一目標的實現,阿里雲 Prometheus 服務成功爲衆多大規模在線業務保駕護航,幫助業務系統順利度過洪峰

相比於自研的監控體系,阿里雲 Prometheus 服務與雲生態有更緊密的集成,實現了與託管類產品底層 API 的深度集成與聯動。外部用戶也無需顧慮運維 Prometheus 服務,只需一鍵開啓一組資源開銷極小的無狀態採集組件,即可實現自動服務發現、高可靠的數據採集與上報,以極低的遷移成本將自建 Prometheus 遷移到阿里雲的 Prometheus 服務上。相比於開源版本的 Prometheus,阿里雲的 Prometheus 爲了應對阿里的大規模體量,提供了水平擴展能力,能夠應對超大規模的指標寫入,其優化後的查詢引擎,針對高維查詢、正則查詢、長時間線查詢等場景做了特定優化,平均查詢性能比開源版本提升30% 以上。

釘釘視頻會議在今年基於 ASK 實現了全球系統的全量容器化,採用雲原生 Serverless 技術,使得整體業務架構變得更加輕量易運維,能夠更好地應對音視頻領域流量特徵所帶來的特殊資源彈性訴求。阿里雲 Prometheus 服務針對 ASK 集羣特性做了一系列定製,實現了無損的 Serverless 指標採集能力,以及釘釘視頻會議整個 Serverless 架構的全局可觀測能力。與此同時,我們開始在無狀態工作負載下探索,基於 Prometheus 指標數據的自動彈性能力。

基於 RocketMQ 的消息產品家族無縫快速上雲,擁抱標準,引領標準

RocketMQ 是阿里巴巴在2012年開源的第三代分佈式消息中間件,並在2017年正式成爲 Apache 頂級開源項目。在阿里經濟體內部,RocketMQ 一直承載着阿里巴巴所有核心鏈路的消息流轉,歷經多年 雙11萬億級消息洪峰的嚴苛考驗。隨着阿里全站上雲戰略的推進,阿里雲消息團隊打造了三位一體的技術融合架構,克服了微內核抽象統一、商業化差異性打造等難關,實現了自研、開源、商用三方技術的平滑兼容,以同一消息體系支撐阿里經濟體、阿里雲產品以及開源社區需求。通過三種截然不同場景的打磨,RocketMQ 可以幫助用戶無縫快速上雲。

今年 雙11,菜鳥、餓了麼、考拉等阿里經濟體核心部門將其消息系統遷移到雲上消息產品,相比於原有需要提前預算規劃的使用方式,雲消息產品爲其提供了快速按需擴縮容的彈性能力,不僅節省了成本,也消除了其對容量預估失準的擔憂。除此之外,三位一體技術融合也爲內部用戶帶來了諸多便利。RocketMQ 開源社區中的一大批生態項目可以快速在經濟體內部以及雲上得以複用,不僅節省了開發成本,也使得開發模式從依賴經濟體內部組件的封閉方式,走向與社區開源生態協同的開放方式,在擁抱標準的同時引領標準。而這些生態項目通過阿里經濟體內部嚴苛場景的打磨,也正在變的愈發成熟,吸引着越來越多的開發者。

消息隊列產品家族

目前,阿里雲消息產品已服務於數千家付費企業用戶,爲其提供開箱即用,穩定可靠的消息服務。三位一體技術融合使得 RocketMQ 不僅讓阿里成熟穩定的技術能夠服務外部客戶,造福無數企業和開發者,也通過開源與開放的共贏方式,消除了用戶被廠商鎖定的擔憂。

繼今年9月雲棲大會上阿里巴巴宣佈成立雲原生技術委員會,雲原生升級爲阿里技術新戰略。2020雙11核心系統全面雲原生化,成爲雲原生技術委員會推動阿里經濟體全面雲原生化的重要里程碑。阿里巴巴集團首席技術官程立表示,"雲原生帶來最大的不同是讓阿里真正實現了自研、商用、開源的"三位一體",雙11的核心技術可以直接給到客戶使用,省略了經過雲上沉澱再輸出的過程,降低了客戶獲取 "雙11同款技術引擎" 的門檻和成本,可幫助客戶快速邁入數字原生時代。"我們堅信驅動技術演進的背後一定是複雜的業務場景、嚴格的穩定性和挑戰以及來自於用戶的的信任和支持。