To The Moon

2）實現數據便捷開發和運維，提升工作效率 利用網易數帆提供的一套便捷可視化數據開發工具，九州通數據研發團隊可快速實現離線開發、實時開發、權限管理、資源管理等功能。通過數據運維平臺實現任務的監控和報警推送，預估任務實例的產出時間、展示實例對下游報表影響範圍，實現任務高效運維。 3）對多源數據進行統一治理，降低工作量和資源成本 九州通建設數倉平臺匯聚各業態各層級的多源數據，包括不限於各中西成藥、中藥、醫療器械、零售等業態版塊中，集團、區域以及子公司各級的採購、庫存、人力、營銷等系統數據。之後通過數據治理平臺對多源數據進行統一治理，包括建設數據地圖使業務人員能在海量數據中快速找到所需數據，通過數據血緣關係展示表的上下游表動態追溯、表的下游任務等；搭建數據指標體系實現跨部門指標定義統一和指標定義管理；建立數據質量管理體系，業務人員可預設多場景下的質量監控規則，並設置郵箱、電話等多種告知形式；建立數據資產管理體系，評估數據資產的成本、價值、質量，優化存儲成本，節約計算資源，實現精細化的數據生命週期管理等。 數據中臺賦能業務應用，經營效率再提升 通過數據中臺，九州通實現集團複雜組織架構下跨業態、跨層級、跨系統的數據打通，成功消除數據孤島；並通過統一的數據架構、模型開發、數據治理等功能盤活數據資產，建立通暢、標準化的數據鏈路，持續爲前臺業務應用和分析提供數據服務，推動營銷創新、提升經營效率。 消除數據孤島，實現數據共享共通。九州通通過數據中臺對旗下各業態各層級數據進行匯聚，由數據中臺提供統一數據出口，實現全集團跨平臺數據分享調用。 搭建統一的數據指標體系，實現數據科學管理和快速響應。本次項目共建設8個主題域，落地213個業務指標，全部指標統一口徑、統一管理，能有效避免因指標定義模糊和邏輯混亂而導致的數據質量問題，大大減少無效、重複工作，同時能快速提高數據響應速度，如採購分析體系中，所有采購分析數據需求，均實現秒級響應，平均5秒出結果。 健全客戶標籤體系，支撐精準客戶洞察。本次項目開發客戶標籤共計6大分類，共100+個標籤，覆蓋基本信息、行爲屬性、交易屬性、企業信用及風險信息等，組成標籤工廠，對數據進行更精細的分類管理，支撐精準營銷決策和風險控制。 利用數據中臺靈活快速開發業務應用，實現降本增效。如通過數據中臺開發供應商畫像，綜合資金週轉、供貨預期、付款週期、銷售情況等信息，爲供應商付款審批提供數據支撐；針對業務員開發業務員畫像，跟進業務員成單率、拜訪計劃、拜訪效果等實現精準考覈等；針對藥店拜訪開發藥店畫像，提高業務員拜訪成功率等。 深挖數據價值，從數據支撐到數據賦能。相較於傳統數倉，大數據平臺提供了更強的算力支撐，在通過中臺整合了各系統數據資源，利用項目完成數據的集中化標準治理的基礎上，九州通深挖數據價值，嘗試通過AI算法模型在業務前側，包括採購體系、銷售體系、獲客體系等方面實現數智化。例如：零售門店的銷售預測、活動商品的精準營銷、採購智能AI補貨、中藥生產供應鏈優化等。 廠商數據集成和諮詢能力是傳統企業搭建數據中臺關鍵 回顧本項目實施全過程，廠商的選型對九州通數據中臺建設以及成功應用具有關鍵影響。對於有同類數據中臺建設的企業，在選擇數據中臺廠商時可借鑑以下兩點經驗。 針對具有複雜組織架構的傳統企業，應選擇具有深厚底層數倉開發以及數據集成能力的廠商。對於複雜架構的集團型企業，在數字化進程中，各子公司及各業務常根據業務需要分別建設數倉，造成數倉架構不統一。因此廠商需要具備紮實的組件開發以及數據集成能力，以靈活適配多種數據庫環境，實現多源數據高效、穩定集成。 針對技術團隊開發能力較弱的傳統企業，應選擇具有諮詢能力的廠商。尤其對於雖有技術團隊，但尚未成功建立數倉平臺，且數據應用意識較弱的企業，應選擇具有諮詢能力的廠商，在廠商協助下開展梳理業務、制定指標體系、搭建數據模型、管理數據權限、開發數據應用等活動，快速建立起數據中臺，並最終通過廠商知識轉移，快速提升企業數據中臺使用能力和數據建模能力，挖潛數據價值。 案例3：某高速行業信息化公司建設數據中臺，打造高效智慧高速系統 十四五以來，隨着我國開啓全面建設社會主義現代化新徵程、轉向高質量發展階段，公路交通也進入高質量發展新階段，發展重心由原來的交通運輸網絡建設轉向交通運輸供給有效性和適配性、以及出行服務品質等。發展數字交通，尤其以5G、物聯網、大數據、雲計算、人工智能技術爲代表的新基建與交通運輸深度融合，成爲深化交通供給側改革、提升運輸服務效能、促進綜合交通高質量發展的重要推動力。 高速行業數據缺乏融通和應用，相關高速單位提升運營效率存在困難 近年來，隨着信息化的發展，高速領域的相關單位已具備多個信息化系統，如視頻監控系統、交通流管控系統、收費站管控系統、應急指揮系統等，但由於信息系統相互獨立，在高速運營中仍會面臨以下數據問題： 數據孤島：高速數據來源於導航系統、ETC、龍門架、路網卡口、攝像頭、毫米波雷達、車載終端等形色各樣的系統和終端設備，數據類型複雜，且分屬於高速公路建設、管理、養護以及運營等四個階段，導致不同系統的數據無法互通互聯形成數據孤島。 數據質量不穩定：由於高速數據的採集來源於不同的感知設備，存在數據不穩定、數據空包、丟漏數據的現狀。原有系統缺乏數據質量管理體系，導致採集的數據中存在大量缺失信息或無效數據。 缺乏數據標準：當前高速公路業務數據尚未形成國家或是行業標準規範，尤其不同地域、不同供應商產品的數據格式、模型、表結構千差萬別，導致上級單位在進行數據收集彙總時需花費大量人力物力。 難以有效支持多元應用：高速領域包含多元的服務應用及對象，諸如視頻監控、交通流管控、收費站管控、應急指揮、綠通查驗等服務，現有數據系統存在數據難調用、難使用的問題，不能支持業務應用體驗升級需求。 爲了更好地賦能各地域的高速公司，提升各地高速交通的運營效率，某高速行業信息化公司基於高速行業的發展現狀和系統基礎，提出建設數據中臺解決上述問題。通過多方考察，該公司綜合考慮行業經驗、產品功能、產品體驗以及公司規模等因素，最終決定與國內專業的數據智能服務商每日互動股份有限公司（以下簡稱“每日互動”）合作建設數據中臺。 每日互動成立於2010年，是專業的數據智能服務商，爲企業客戶及政府單位提供豐富的數據智能產品，便捷、穩定的技術服務與智能運營解決方案，服務行業涉及互聯網運營、用戶增長、品牌營銷、金融風控等領域客戶以及政府部門。同時，基於強大的數據積累能力和豐富的數據治理經驗，每日互動構建了數據中臺——“每日治數平臺”，將數據挖掘、萃取和治理能力向各行各業輸出，用數據智能幫助客戶解決其實際業務中所遇到的痛點難題。 建設數據中臺，實現智慧高速 每日互動在城市大腦、智慧交通、應急管理等公共服務領域具有豐富實踐，積累了對人、車、道路、時間、空間等多要素數據進行關聯計算和分析洞察的能力。依託於“每日治數平臺”一站式數倉搭建、可視化數據資產管理、零代碼模型構建、低代碼機器學習等特色功能，每日互動和該高速行業信息化公司共同建設數據中臺，包括構建數據標準、管理數據資產以及制定數據質量管理體系等，實現了數據資源的統一整合和數據治理，主要運用於支持高速公路的高效運營和高質服務。 圖 9： 相關高速單位數據中臺架構圖 數據接入和集成：依託於每日互動的技術支持，某高速行業信息化公司可將相關高速單位的多個自有信息平臺如高速管控平臺、設備維修管理平臺、隧道管控平臺的異構數據，以及可靠第三方數據統一接入數據中臺。 構建數據標準，建立統一的數據倉庫模型：每日互動與該公司組織的多個業務專家一起深入高速業務一線，理清當前數據現狀以及數據使用過程中的痛點，根據數據源不同，建立相應的業務主題庫，構建起一套完整的數據標準體系，形成統一、整合的數據倉庫模型。 數據資產管理和可視化：基於每日互動提供的數據勘探、數據血緣、元數據採集、建表/分區管理等工具，該公司可進一步幫助相關高速單位完善數據資產；並且對數據資產進行可視化呈現，如數據資產目錄層級結構展示，相關單位可便捷地從不同視角檢索和管理數據資產。 制定數據質量管理體系：基於數據標準，制定數據質量校驗規則，實時對數據質量進行智能監測和預警；結合AI算法，定期對數據質量進行稽覈，如系統根據數據缺失情形，參考歷史數據進行補充或是對嚴重缺損數據進行剔除，保證高速數據可用、可信。此外，通過數據血緣功能可定期對數據流轉過程進行追溯和梳理，實現數據全生命週期的智能管理。 數據應用：多源異構數據經數據中臺清洗、融合治理後形成共享數據，通過API以服務目錄的形式供各部門調用，消除應用部門對數據質量、數據來源的擔憂，專注提升應用體驗。 數據中臺有效提升高速運行效率和服務品質 在本項目數據中臺建設過程中，每日互動梳理建立起一套完善的高速數據標準體系，運用於高速行業多個場景的效率提升，相關單位的高速交通應急處置效率、運行效率和服務品質等多個方面均有顯著提升，具體表現如下。 打通數據孤島，實現數據高效高質共享：通過數據中臺，某高速行業信息化公司將相關高速單位系統內多個渠道數據進行集成、清洗、融合治理，形成高質量數據，賦能各業務部門。 實時可視化，提升應急處置效率：依據每日互動數據中臺的圖像智能和可視化等功能，該公司實現了對高速交通全局態勢的實時感知以及對局部路段路況的實時查詢、分析，並通過大屏監控車禍、擁堵、拋錨等突發狀況，能對突發狀況實現快速定位和救援。該公司將此可視化功能應用到道路救援時，救援時間縮短了60%至80%，救援效率得到大幅提升。 數據融合，促進路網通暢：通過對ETC、服務區卡口、高速路網等數據融合，業務人員對停靠超時的車輛進行精準引導，緩解夜間服務區的大流量痛點，提高服務區的服務質量。 AI算法預判，提升通行效率：針對高速匝道等事故多發以及易擁堵路段，業務人員可基於每日互動數據中臺AI算法進行提前預判和事前預警，爲相關高速單位進行道路擁堵疏導提供科學依據和有效支撐，也爲民衆合理規劃錯峯出行路徑提供引導，促進路網流量合理分佈，提升高速通行效率。 數據中臺廠商綜合數據能力爲數據中臺建設、數據中臺應用良好體驗提供堅實保障 回顧數據中臺建設前期、建設中期以及建設後期應用的全過程，數據中臺能成功發揮效用、提升高速交通運營能力有兩點關鍵因素。 1）選擇優質廠商事半功倍：某高速行業信息化公司在進行數據中臺廠商選型時，應考慮廠商在特定行業已積累豐富案例，形成完善數據治理方法論，其中行業不限於高速行業。該廠商應具備數據資產管理、數據分析、數據可視化、數據標籤等數據治理專業能力以及豐富的數據治理輸出經驗，具備成熟的久經市場驗證的數據產品引擎與提效工具，能將以往行業經驗遷移到高速行業中，服務高速行業。在本項目中基於“每日治數平臺”豐富的行業客戶和相關政府單位解決數字化轉型難題經驗，每日互動已經沉澱出可複用的數據能力、業務能力、效率工具等，因此能快速爲該公司建設數據中臺，服務於高速公路建設、管理、養護、運營四個階段。此外，廠商還應具有算法建模、機器學習、圖像智能等綜合數據能力，在實現數據整合、數據治理等基本功能基礎上，能爲數據在多元場景應用提供支持。在本項目中，每日互動的數據中臺產品“每日治數平臺”具備多元完善的AI算法、圖像智能等技術，操作便捷、輕量、易上手，可實現路況實時查詢分析並可視化呈現、對路況預判提升通行效率等功能，爲客戶的數智化創新賦能提效。 2）建設執行團隊落地生花：除廠商選型外，爲使數據中臺真正落地、發揮最大效用，某高速行業信息化公司在明確數據中臺規劃、踐行數據中臺建設的過程中，還需搭建崗位配置齊全的團隊，包括但不限於中臺建設、中臺運維、數據產品經理、數據資產管理、數據運營等崗位來支持中臺建設及運維，實現跨組織協同，實現數據驅動。 4. 實時數據平臺支撐爆發中的高時效場景 4.1 實時數據應用場景爆發 隨着物聯網和大數據技術的深入發展，企業通過物聯網設備或線上系統可以收集到大量的實時數據。與此同時，實時數據的應用場景也被迅速挖掘，如精準營銷、風控管理、工業製造等場景中，對實時數據的分析處理、應用將有效爲企業避免損失、提升效益，企業對於實時數據從產生、收集、處理、存儲到產出分析結果的全鏈路時延需求已經從過去的T+1天發展到到小時級、分鐘級甚至秒級，實時數據平臺也因此獲得極大關注。 但是傳統的數倉或數據平臺難以支持海量實時數據處理和分析的需求，企業急需針對實時數據的收集、管理和分析技術以及基礎設施進行優化升級，可以將實時數據端到端地管理起來，並將實時數據轉化爲能夠幫助業務提升的工具，利用實時數據提升業務價值。 4.2 構建端到端的實時數據解決方案 要支撐實時數據應用的需求，需要一套從導入（採集和同步）、存儲、處理到查詢實時數據的端到端解決方案。 圖 10： 端到端的實時數據解決方案 可以採集多種類型數據：實時數據來源衆多，包括線上數據（訂單、交易等）、IoT設備數據和日誌數據等，實際業務場景中的實時數據類型也包括結構化數據、視頻、音頻、文本等，因此實時數據採集需要支持多源異構數據的處理需求，同時由於不同的業務場景中的數據協議不一致，實時數據平臺還需要包含豐富的通信協議接口。 高可用、低成本的數據同步方案：實時數據同步過程主要是針對流式數據的處理，在可用性方面，數據同步解決方案需要保證企業級應用的場景下海量實時數據同步的完整性和高可用；在運維方面，數據同步解決方案要具備監控預警和自動運維等配置化的運維方案，降低開發和管理成本。 統一的數據存儲和查詢：由於一般實時數據平臺多采用離線數倉和實時數倉同步運行的方式會導致開發成本翻倍、數據管理體系複雜等問題，使用以數據湖爲基礎的流批一體的方式來替代原有的離線數倉和實時數倉，可以解決傳統架構中的存在的問題。通過流批一體的方式可以將流計算和批計算的存儲都統一到數據湖中，使得數據血緣關係、數據質量管理、元數據都可以統一在相同的數據管理體系下，系統代碼也可以統一進行開發和維護。在數據查詢方面，因爲同樣採取分層架構和數據湖可以支持OLAP查詢引擎，依然可以在不同的中間層支持OLAP的實時查詢。 金融作爲數字化程度最高的行業之一，其在實時數據平臺方面的探索和需求相較於其他行業更爲領先，金融機構由於傳統的批處理數據量大，基礎實施架構複雜且業務場景衆多，在實時數據平臺的建設方面最好基於原有的批處理基礎上進行批處理的升級和流處理的新建，優先選取重點業務場景進行實時數據處理和分析的試點，獲得成功經驗再逐步推廣到全機構中運行。 案例4: 某股份制銀行搭建實時應用支撐平臺，通過實時數據賦能業務價值提升 隨着金融數字化時代的來臨，金融業務正在發生深刻的變化。國內某股份制銀行結合市場趨勢變化和自身情況，將大數據技術作爲企業數字化戰略目標的基礎。該銀行目前處於業務發展的新階段，資產規模持續擴大，經營實力不斷增強，同時積極推進金融創新，而新業務模式的創新離不開數據的支持，也對核心數據能力提出了新要求。 傳統的數據處理時效性和靈活性無法滿足業務發展需求 在傳統的批處理方式下，通過T+1的全量或增量數據更新和處理可以滿足銀行內各部門對於經營情況和內部管理等數據分析的需求，但是隨着精準營銷、風險監控和內控管理等場景對於數據時效性的要求越來越高，銀行內現有的批量式、準實時式數據處理效率無法滿足所有的業務場景，未來需要實現對交易、日誌等流式數據的毫秒級實時採集、處理和計算能力。 數字經濟時代下，銀行需要收集和管理的數據量也將持續高速增長，現有的數據基礎設施從性能和處理方式層面都難以滿足PB級海量、混合數據的存儲、整合、加工以及完成實時流式新增場景接入的要求，需針對現有的數據基礎設施進行維護和升級。 在業務支撐方面，當前的數據交付方式複雜且低效，無法滿足快速變化的業務需求，需要提升快速、自主、迭代式平臺的交付能力。 該股份制銀行綜合考慮自身業務情況和當前技術能力，提出了搭建實時應用支撐平臺來滿足海量數據的實時處理和分析，對於實時應用支撐平臺具體的需求如下： 1.流處理接入和批處理升級 實時應用支撐平臺需完成實時流式新增場景接入，需要以現有的flink方式，進行實時數據感知和獲取以及相關任務的下發；針對批處理任務場景，爲配合完成實時需求，需針對配套的批量任務完成開發和改造，對於現有的批量任務要進行維護和升級。 2.系統組件優化升級 完成傳統大數據服務平臺應用支撐集羣流式平臺的系統升級和版本升級。應用支撐集羣很多是自研和開源組件，新的實時應用支撐平臺需要在現有基礎上進行資源整合和優化升級，包括集成自動化測試功能、集成門戶查詢功能、優化ES存儲索引等。 監控方案制定和實施。統籌建立實時應用支撐平臺整體監控方案，並完成相關指標的制定以及開發優化，在現有的監控指標基礎上完成系統、組件、應用、批、流全方位的監控系統升級，保障系統穩定運行和對外提供服務。 3.集羣擴容升級 數據完整性保證。爲保障數據完整性，配合實時應用支撐平臺擴容計劃，在承接更多實時場景的情況下，繼續保障集羣可以在實時數據消費的同時進行數據備份，並且在集羣出現重大問題或流消費有問題時，可以保障數據不丟失。 數據安全保證。爲配合平臺中實時數倉的建立，豐富目前的實時、準實時數據接出模式，需要建立配套的安全權限管理模式，進行數據安全管控。 爲滿足上述需求，該股份制銀行在實時應用支撐平臺搭建中，綜合技術能力、產品成熟度和過往經驗等多種考慮因素，最終選擇與九章雲極DataCanvas展開合作。 九章雲極DataCanvas成立於2013年，是一家數據智能基礎軟件供應商，專注於自動化數據科學平臺的持續開發與建設，提供自動化機器學習分析和實時計算能力，爲政府及企業智能化升級和轉型提供全面配套服務。 通過開源產品搭建實時應用支撐平臺，利用低代碼環境提升數據開發效率 在項目中，該銀行的IT團隊與九章雲極DataCanvas共同合作，對全行的實時業務場景做了全面梳理，作爲構建實時應用支撐平臺的基礎。在落地層面，藉助九章雲極DataCanvas成熟的企業分佈式流數據實時處理，分析和決策產品（以下簡稱“DataCanvas RT實時決策中心“），依託主流互聯網大數據生態圈，引入開源社區軟件框架，採取自主和合作研發相結合，完成某銀行實時應用支撐平臺的搭建和基礎數據的準備，以此開展各業務應用工作。 圖 11： 某股份制銀行全行級實時應用支撐平臺架構圖 實時應用支撐平臺通過對批量數據和實時數據的處理、計算、分析，尤其是通過機器學習模型對實時數據進行分析獲取業務洞察，進而爲下游的業務系統提供多樣化的數據服務。在實時數據應用支撐集羣中，九章雲極運用DataCanvas RT實時決策中心爲該銀行提供實時指標引擎、模型引擎、數據資產管理、數據作業管理（算子作業、SQL作業、JAR作業）、數據服務、日誌管理、多租戶及租戶資源、UDF管理功能等衆多模塊和功能。 圖 12： 算子作業開發示意圖 其中UDF的全稱爲User Definition Function，是DataCanvas RT實時決策中心作爲一個平臺級的產品基於Flink的框架下開發的低代碼數據開發功能，結合預置的算子，讓用戶可以用可視化拖拽的方式把算子在畫布中連接，組成數據開發任務。在實時應用支撐平臺項目中，該銀行IT人員利用UDF可以極大減少流式數據開發任務的難度，提升開發任務效率，使得實時場景的數據開發上線週期大大縮短。 本次實時應用支撐平臺項目歷經初建、擴容和推廣三個階段： 初建階段：初建階段主要是在該銀行原有的批處理架構基礎上，搭建以Hadoop爲基礎的系統架構，結合多種開源大數據組件搭建具備實時數據處理和實時交易感知的系統，並在部分試點場景中上線運行。 擴容階段：擴容階段在初建階段的系統基礎上融入DataCanvas RT實時決策中心，並擴容集羣規模，在上線時即形成50臺節點的系統集羣，線上運行20多類業務場景，並在後續逐步擴容至100臺節點的系統集羣和80多個實時業務場景。 推廣階段：推廣階段基於前期的系統建設基礎，遵照規範管理流程，接入更多業務場景，提供及時的數據服務，提升業務洞察能力。 實時應用支撐平臺除了一般的技術和功能需求外，九章雲極DataCanvas還針對該銀行的特殊需求對於DataCanvas RT實時決策中心進行定製化開發，包括： 高可用流作業：在DataCanvas RT實時決策中心中添加高可用流作業功能，有效解決流作業重啓情況下導致的數據延遲問題，以及雙作業流場景中的基於第三方緩存Redis做的狀態一致性保障UDF，本次項目中研發的高可用流作業功能也已經和九章雲極一起申請專利。 多租戶需求：通過邏輯隔離和在預置算子外開發UDF算子如Redis狀態計算、去重算子、Hbase維表關聯等算子的方式滿足該銀行實時風險管理系統租戶、報表與信息服務平臺系統租戶、營銷管理系統租戶和標籤管理系統租戶的多租戶需求。 實時應用支撐平臺優化數據服務，提升業務洞察 該股份制銀行通過九章雲極DataCanvasRT實時決策中心搭建的實時應用支撐平臺，在投產後已實現無間斷運行近四年，並且可以有效應對海量數據處理和實時業務場景應用需求： 1.實現了海量實時數據的處理和分發。該銀行在上線實時應用支撐平臺後，每日實時報文采集量和準實時數據日採集量有了顯著提升。類似於大額資金變動預警的實時場景中，實時數據經平臺規則處理後可以在0.2秒內輸出預警，目前日預警量達到千萬條，實時動帳交易日預警量約百萬條。 2.極大提高了實時場景開發和上線的效率。隨着實時應用支撐平臺項目的實施，平臺上支撐的總體業務場景不斷增加，平均每2周就能上線一個實時業務場景，截止2022年3月已經上線了80多個實時業務場景，總體的需求提出部門達到了15個，包括運營管理部、信用卡中心、信息科技部、網絡金融部等，共涉及3種業務類型，包括營銷類、監控類、監管類，平臺在對用戶需求的支持上得到了顯著提升。 3.適用業務發展需要的流數據計算架構。實時應用支撐平臺上線後，實現了十萬級以上的TPS峯值報文配對處理量，每日全行總線報文采集量加足跡數據採集量達到20億以上。並且隨着業務不斷髮展，九章雲極DataCanvas RT實時決策中心也對平臺架構進行持續優化，例如最新版本的RT產品支持Flink SQL，可以有效提升實時數據的開發效率。 流批一體的數據處理能力和低代碼環境可顯著提升實時數據處理平臺的落地效果 實時數據平臺的數據處理能力和開發效率是決定其是否能夠滿足企業需求的核心要素，總結該股份制銀行的實時應用支撐平臺建設經驗，其他銀行在選擇實時數據平臺產品時應注意關注以下兩點： 流批一體的數據處理能力。在選擇實時數據平臺產品時，能夠承載企業的流批一體數據處理工作，具備方便的橫向擴展能力，並且可以對產品架構持續優化改進，不斷引入新的技術和功能，纔可以保證該產品可以長期穩定的滿足業務發展需求。 低代碼開發環境提升開發效率。基於DataCanvas RT實時決策中心的低代碼開發環境，由成熟的測試團隊完成工作流的配置和測試。對於複雜業務場景則通過大數據開發工程師通過UDF算子開發的形式，完成部分數據處理難點的實現，後續將UDF算子交由測試團隊，通過可拖拽的方式構建數據開發工作流。