聯邦學習開源框架FATE LTS版本發佈，接入全新客戶端套件助力高效開發
（原標題：聯邦學習開源框架FATE LTS版本發佈，接入全新客戶端套件助力高效開發）
企業發展到一定階段，各事業部之間的數據往往都各自存儲，各自定義。每個事業部的數據就像一個個孤島一樣，無法進行連接互動。又或者不同機構組織間，受隱私保護條例法律的約束，無法進行關聯交互，這樣的情況稱爲“數據孤島”。
爲了連接不同組織機構間的數據，使數據得到更大的應用價值，微衆銀行人工智能部提出了基於“聯邦學習”的系統性的通用解決方案，並在2019年開源了全球首個工業級開源框架——FATE。
經歷了近兩年的沉澱，FATE在近期發佈了首個長效穩定版本v1.5（下稱LTS）。這兩年期間，FATE在開源倉庫GitHub上，FATE團隊累計合入提交代碼7600+次,根據調研需求完成上百項不同用戶場景的功能新增與迭代。通過開源社區大量不同行業領域的用戶，不同應用場景的生產環境反饋積累，FATE得到了全面的完善提升。
據官方團隊介紹，此次版本規劃將會持續維護兩年以上，爲商業化應用提供穩定基礎，未來將持續探索多方聯合建模，數據應用的更多可能性。同時經歷過系統框架層重構後，不僅在性能表現上有長足的進步，1.5LTS版本還具備優秀的靈活擴展性，用戶可以便捷按需取用不同模塊，進行二次開發。
以下爲FATE v1.5 LTS版本各模塊的詳細介紹：
FederatedML：性能再翻番，覆蓋更全面的聯邦算法，提升工業實用性
作爲長效版本，我們吸取了來自衆多行業的社區用戶生產經驗，爲了兼顧不同領域的場景，我們加入了更多的算法、協議等，如新增縱向聯邦FastSecureBoost、縱向聯邦SecureBoost的complete secure機制、DataStatistic、縱向KMeans、評分卡，以及Oblivious Transfer協議和RandomIterativeAffine同態加密協議。
除此以外，針對已有算法進行升級與優化，如縱向FTL的全新重構，使得性能比上一版本呈指數級的提升；縱向聯邦SecureBoost直方圖統計過程使用矩陣運算對高維稀疏數據優化；縱向聯邦SecureBoost預測性能優化，預測交互次數降低爲樹最大深度，在100顆樹下能達到32倍的性能提升；縱向特徵選擇全新升級，增加SecureBoost特徵重要度&特徵PSI指標過濾器；縱向聯邦特徵分箱計算邏輯優化，性能提升30%-50%；縱向GLM計算邏輯優化，性能提升10%+。更多的提升體驗，歡迎前往github.com/FederatedAI獲取體驗。
FATE-Flow：易擴展，高可用
FATE-Flow是聯邦學習框架FATE的作業調度系統，實現聯邦學習作業生命週期的完整管理，其中包括數據輸入、訓練作業調度、指標追蹤、模型中心等功能。
此次版本更新，核心的調度能力升級，支持組件多輸出、組件任務並行和組件任務重跑；資源調度能力升級，依據不同計算引擎，支持調整核數、內存、工作節點數粒度。除此以外，還新增了DSL v2、模型註冊中心，以及適配各種數據源的數據讀取組件，大大地提升了易用性。
FATE-Client包括Pipeline、Flow CLI v2和Flow SDK，通過發佈pypi包的形式，用戶通過pip指令可以直接安裝和使用，這個fate 第一次提供這樣的調用方式，簡化用戶使用pipeline或者fate cli指令的流程。
FATE-Test：自動化、自動化、自動化，重要的事情說三遍
FATE-Test模塊是fate-1.5版本的新特色，目前提供全面迴歸fate算法庫所有功能，以及常用的建模算法中心化訓練與FATE聯邦訓練的正確性對比，及算子調用和傳輸時間統計。
將來，FATE-Test模塊會集成更多新的功能，比如大數據壓力測試、多任務併發等等，自動化測試是未來的終極目標。
FATE-Board：數據與交互解耦，效率與流暢度提升
FATEBoard是聯邦學習建模的可視化工具，旨在幫助用戶簡單而高效地理解模型與探索模型，從而更有效地調試和改善模型效果。
這次豐富的更新，提供更多新增算法模型的可視化，並提升已有算法模型的可視化，同時圖形界面的可操作空間也有提升，如任務重試以及從FATEBoard下載算法組件的模型和數據等。
以上爲FATE各個模塊的詳細介紹。此次更新，FATE系統整體的結構彈性化是一重要的優化。全新的架構，支持了不同的計算、存儲、傳輸引擎結合，以及新增的Spark、HDFS、RabbitMQ引擎，新增的數據表管理功能，儲存引擎統一的API，都在幫助不同行業領域用戶，按需取用FATE不同的功能模塊。
據介紹，新增的能力有許多是來自於開源社區中的體驗反饋，也因爲不斷反饋到不斷實現的正循環，FATE開源社區已經壯大至超過500家企業與220所高校等科研機構的開發團隊參與共建。
這次FATE LTS的版本，除了總結這近千個合作伙伴的業務場景經驗，給予穩定工業生產的版本更新以外。團隊將會挖掘未來商業化的可能性，如近期開源的聯邦學習雲服務——FATE Cloud，該模塊使FATE可實現多雲管理，形成了一種安全的聯邦數據網絡。旨在爲跨機構間、機構內部不同組織間提供安全可靠、合規的數據合作網絡構建解決方案，提供企業級的聯邦學習生產力應用解決方案。開源倉庫位於GitHub/FederatedAI/FATE-Cloud，歡迎前往獲取。
不僅如此，聯邦學習在不同領域不斷地進行多方位的商業化探索，如不久前剛結束的《 2020異構計算：聯邦學習新算力革命》研討會上，微衆AI團隊就與英偉達、英特爾等多家業內知名廠商一同探討聯邦學習硬件加速的未來，聯邦學習領域AI加速卡的到來，未來可期。