中國網/中國發展門戶網訊信息社會進進年夜數據時代后，人們的日常任務和行為、各種在線系統（如信息系統、工業生產線）的任務狀態、各類傳感器的信號、導航定位系統（全球定位系統 GPS、斗極衛星導航系統等）產生的記錄等作為“經驗”被常規地記錄成為年夜規模數據。分歧于以往為驗證科學理論和料想而記錄和搜集的科學年夜數據，記錄這些年夜規模數據開初并沒共享空間有明確的科學目標。可是，它們卻制造了別的的機會。人們可以通過這些數據發現和總結出規律，并依據這些規律晉陞系統的效力，也可預測、判斷未來的趨勢，甚至輔助做出加倍科學感性的決策。這個過程所依賴的就是年夜數據剖析處理技術。是以，年夜數據剖析處理技術旨在應用數據科學的方式和廣泛記錄下來的數據，以實現從數據到信息、信息到知識、知識到決策的價值轉換。
當前，數字經濟成為社會經濟的一個主要內涵，數據成為關鍵生產要素，年夜數據處理技術越來越深入舞蹈教室地影響個人空間著世界的運行狀態。隨著越來越多的數據被記錄、搜集和存儲，若何深入洞察數據分布規律、高效發掘數據價值，成為智能化時代需求解決的關鍵問題。據american國際數據公司（IDC）的報告，2020 年全球數據量為 44 ZB 擺佈，2025 年全球數據量將達到 175 ZB。而這些數據只要 2% 獲得了保存，且保存的僅 50% 被應用過。由此可見，線性晉陞的數據處理才能并無法婚配指數級增長的數據規模，使得兩者之間的“鉸剪差”越來越年夜。與此同時，在龐年夜的數據空間中，對特定任務真正有價值的焦點數據卻往往是極度稀少或不完全的。以上現象即數據泛濫與高價值數據缺掉并存的表現。
以互聯網平臺企業服務為代表的智能化應用年夜都采用“年夜數據＋年夜模子＋年夜算力”支撐的年夜數據剖析處理技術，重要通過系統的優化來增添數據處理規模并晉陞計算機能，從而有用解決了一些相對低階復雜度的預測鑒定問題，如圖像分類、語音識別、結構預測，以及規則明確的人機對弈游戲等。而在開放復雜的系統環境下，數據動態天生演變，影響系統運行狀態的不確定原因和變量宏大，從而導致一些高階復雜的問題難以直接模子化，或近似求解的結果不成信，如金融風險預測、個性智能診療、開放環境下的自動駕駛等。在這些高階復雜的真實系統中，數據采集分布往往是不穩定和不完備的，這對請求精準判別的年夜數據剖析處理形式提出了新的挑戰。
同時，解決數據與算法的平安可托問題也已火燒眉毛。數據暢通共享的過程中面臨著數據濫用、隱私泄露的情況。數據自己能夠也會引進真實世界存在的誤瑜伽教室差，或許在對抗攻擊下數據被淨化，使得年夜數據剖析模子做出有偏的、錯誤的決策。在年夜數據剖析處理技術逐漸應用于關鍵領域的當下，若何讓年夜數據技術以一種平安可托的方法服務于各個領域，是未來年夜數據發展必須面對的又一個難題。
本文起首回顧了近 10 年來年夜數據技術的發展現狀，并針對數據泛濫與數據缺掉并存、年夜數據剖析研判的復雜不確定性和數據平安缺掉等挑戰，提出年夜數據剖析的新范式和平安可托的年夜數據處理新架構，摸索年夜數據支撐智能應用的新形式。在此基礎上，提出構建新一代年夜數據剖析處理軟件棧，并瞻望新技術體系下的牽引性需求與嚴重應用。
年夜數據剖析處理現狀
近 10 年來，在產學研各界及當局主導的鼎力推動下舞蹈場地，年夜數據技術架構、生態環境及各行各業的年夜數據應用發展敏捷。
年夜數據技術架構
海量數據促進了年夜數據技術架構的發展。年夜數據治理技術方面。傳統關系數據庫（SQL）重要處理較少數據和較小并發訪問規模，並且存在大批讀寫硬盤和日志記錄操縱，難以橫向擴展，無法滿足互聯網應用的數據治理需求。為了實現更多的數據治理、更年夜規模的并發訪問及更多樣的數據形式，面向特定需求的各類非關系型數據庫（NoSQL）和從底層重構的分布式關系數據庫（NewSQL）正在疾速發展。此中，NewSQL 堅持了傳統數據庫支撐事務處理正確執行四要素（ACID）和 SQL 標準查詢等特徵，并具備與 NoSQL 同樣優秀的可擴展性。年夜數據處理技術方面。根據處理需求的分歧，存在多種分歧的并私密空間行計算模子，包含以 Hadoop、Spark 為代表的批處理，以 Spark Streaming、Flink、STORM 為代表的高實時性的流處理，以 Apache Beam、Lambda 為代表的流批一體混雜處理，以及以 GraphX、Apache Giraph 為代表的圖處理。同時，圖數據和實時數據處理的爆發性需求也推動了圖流處理形式的融會。除此之外，計算硬件逐漸發展為多種計算單元（如 CPU、GPU、NPU 等）組成的異構計算系統，新型硬件和軟件的多層次融會進一個步驟晉陞了年夜數據處理效力。年夜數據剖析技術方面交流。剖析需求逐漸從小規模、單源、單一模態數據的統計發掘剖析轉變為海量、多源、多模態數據的復雜異質關聯。深度學習技術的疾1對1教學速發展，推動了年夜數據剖析模子才能的晉陞。神經網絡模子在 2012 年的計算機視覺的目標識別項目 ImageNet 比賽奪冠后重回人們的視野，隨后誕生了一系列衝破性的任務，包含知識圖譜供給知識服務、天生對抗網絡共享空間分解真實數據、AlphaGo 圍棋戰勝人類、GPT-3 預訓練語言模子等。此外，日益成熟的深度學習框架（如 TensorFlow、PyTorch、飛槳等）也下降了應用深度學習剖析年夜數據的門檻。
年夜數據應用
近年來年夜數據剖析處理技術飛速發展，催生了眾多年夜數據應用，賦能了大批行業的智能化發展，一些標志性的應用從形式和才能上顛覆了傳統的信息技術才能。科學發現方面。DeepMind 公司的 Alpha-fold 可基于卵白質的基因序列數據預測卵白質的三維結構，進而剖析卵白質的屬性，幫助生物學獲得了嚴重進展。數字經濟方面。電商平臺的興起，連接遍布全球各個角落的消費者和舞蹈教室供貨方，通過買賣年夜數據的精準剖析，進步了買賣效力，推動了在線付出與數字貨幣的應用，顛覆了社會征信的形式；基于年夜數據進行的金融風險研判、小微金融和普惠式金融等也促進了數字經濟的繁榮。社會平安方面。我國應用年夜數據方式輔助公共衛生、金融等領域的社會管理與決策；american嘗試研討年夜數據技術在解決社會不服等、城市政策制訂方面的感化。性命安康方面。英國基于海量學術論文和臨床試驗結果研發了治愈運動神經闌珊等多種藥物，以及近兩年各國大批應用的數字接觸追蹤技術，輔助預測了疫情傳播速率和趨勢，分別被列進《麻省理工科技評論》2020 年和 2021 年的“全球十年夜衝破性技術”。國內外年夜數據技術的應用改變了諸多傳統行業中耗時耗力的任務方法，獲得了智能高效的豐碩結果。
年夜數據生態建設
年夜數據剖析處理的繁榮離不開年夜規模數據資源共享、技術架構開放和算法模子開源所構成的技術生態發展。開源數據方面。開源數據支撐各類年夜數據技術的構建。例如，2009 年american斯坦福年夜學發布的視覺數據集 ImageNet、2015 年american麻省理工學院發布的年夜規模醫療信息數據庫 MIMIC-Ⅲ、2020 年斯坦福年夜學發布的圖數據集 Open Graph Benchmark，都極年夜地影響了年夜數據技術的發展。開源軟件方面。Apache 軟件基金會基于 Hadoop 生態先后發布了一整套完美的分布式存儲與處理框架 Ma教學p-Reduce、線性代數計算框架 Mahout、機器學習庫 MLlib 等，旨在讓開發者疾速實現和應用年夜數據剖析處理算法。2014 年以來，深度神經網絡的開源框架，如 Caffe、Tensorfl交流ow、PyTorch 等，更是為從年夜數據中學習面向分歧任務的智能模子供給了主要支撐。開源模子方面。基于年夜規模數據學習的 BERT、GPT3 等預訓練語言模子，年夜幅下降了相關技術的應用本錢，拓寬了下流應用場景。此外，若何保證數據平安和個人隱私，比來也獲得了各國當局和組織的高度重視。是以，兼顧技術發展和數據平安舞蹈場地，均衡效家教力和風險，樹立傑出的年夜數據生態環境，仍需求進一個步驟摸索。
新一代年夜數據剖析處理需求
當前針對年夜規模異質化數據聚集，主流的年夜數據剖析處理方式是在通用模子框架下不斷嘗試超年夜規模的模子參數，實現“端到端”的剖析推斷。在這種形式下，年夜數據剖析處理才能很年夜水平依賴于算力平臺和數據資源的支撐。在實際應用中，這些年夜數據剖析處理技術面臨著真實場景和關鍵領域中數據泛濫與缺掉并存、年夜數據剖析研判的復雜不確定性、數據平安監管缺掉等挑戰，最終使得剖析處理存在過程可解釋性差、模子泛化才能弱、因果規律不清楚、研判結果不成信、數據價值應用率高等問題。為解決這些挑戰性問題，我們需求從頭思慮年夜數據處理架構與剖析形式，新一代的年夜數據剖析處理技術體系應該在各種實時場景下實現高價值知識天生、持續在線的瞬時決策、平安可托的推理研判，以及適用于未來各種有人-無人結合的在線系統行動優化。本文認為，新一代年夜數據剖析處理至多需求滿足如下 4 個方面的需求。
人在回路的計算范式。為解決現有年夜數據剖析處理方式難以霸佔的高階復雜問題，需求在此中引進人的智能與決策，強調人、機器及數據之間的有機交互。分歧于原來的人機交互，即機器依照人的指令，某人聽機器的輸私密空間出結果，而是更關注人腦和機器思維的深度融會計算。
廣譜關聯的他點了點頭。剖析形式。為解決年夜數據價值密度低、極稀少、不均勻、關鍵信息缺掉的問題，一方面，融會各個對象在“人機物”融會的多域多維數據空間中留下的多元異構信號，應用關聯增強信號；另一方面，融會數據與知識，構建終生學習、可遷移擴展的知識體系，構成數據驅動與知識制導深度融會的新剖析形式。
在線增強的處理架構。隨著萬物互聯和智能泛在發展，年夜數據云邊端協同計算技術息爭耦化的云邊端處理框架成為熱點。基于云計算環境下的流批混雜處理將進一個步驟向邊緣端發展，訓練學習與推理預測將在前端設備上融會一體。應用云邊端資源彈性調度才能，實現感知與認知才能前置，支撐在線環境下基于動態活性數據的瞬時決策，從而構成往中間化、異構分布、持續在線的新型計算框架。
平安家教可托的年夜數據剖析。平安可托是滿足關鍵領域和場景下認知和決策平安的基礎需求。一方面，著重關注年夜數據剖析處理結果的可解釋、可托和公正性；另一方面，實瑜伽場地現數據在搜集、存儲、應用、暢通中的平安保護和異常檢測，保證在強對抗攻擊下剖析處理模子與方式的魯棒性和免疫性。
新一代年夜數據剖析處理軟件棧
在高效的年夜數據價值提取、平安可托的剖析處理目標下，針對以上 4 個年夜數據剖析處理的主要需求，未來急需樹立自立自強的年夜數據剖析處理技術新體系，發展新一代年夜數據剖析處理軟件棧（圖 1），從底層數據操縱系統、通用剖析處理中間件、業務驅動的計算環境及框架 3 個方面進行研討。
全棧式的年夜數據系統軟件
發展并涵蓋數據接進、流式處理、圖計算、訓推一體等多個方面的年夜數據系統軟件。
數據接進方面。針對當前數據采集流程中數據來源單一、數據類型混雜及異質數據存儲效力個人空間低下的難題，研討“人機物”融會的數據匯聚與融會方式，支撐對多種數據源的結構化、半結構化數據的采集與融會，摸索高效的存儲算法，進步底層存儲空間應用效力，支撐對數據的高效壓縮與還原，實現對“人機物”三元數據空間中的多源異構數據進行高效感知、采集、融會與存儲，為系統供給高質量的數據流接進。
流式處理方面。現有年夜數據處理框架中存在計算形式單一的問題，即單獨尋求大量量或強時效。小樹屋針對這一問題，將研討多計算形式融會的流式處理框架，支撐批處理、流處理、圖處理等多種計算形式，實現低延時、年夜流量、強時效的數據處理，以應對不斷接進的高速數據流。
關聯數據教學的計算方面。現有計算框架難以適應圖結構數據的強數據依賴性、高隨機訪存與非均勻冪律分布特徵。針對這一問題，研討針對圖結構和網絡年夜數據的計算引擎，提出年夜規模圖數據的新型分布式計算框架和并行計算機制，定制年夜規模圖數據的查詢語言標準與規范，實現圖查詢與圖剖析語言的標準化。
訓練推理方面。現有云端年夜數據處理架構難以滿足年夜規模服務的實時性與計算資源需求。針對這一問題，研討云邊端協同的訓推一體框架，將年夜數據剖析處理中的訓練與推斷流程從云端推向邊緣，支撐訓推一體，在數據天生的邊端供給服務和執行計算，實現“認知前置”和終生學習，小樹屋以供給分布式、低延遲、持續在線的智能服務和瞬時決策。
重構年夜數據剖析處理流程
從預處理、數據表征、語義剖析與知識推理、決策研判到可視化的全技術鏈上升級創新。
數據質量處理與簡約計算方面。針對數據質量處理，可發展應用群智技術發掘高質量數據，以低本錢、高效力的方法實現年夜規模數據的采集處理；針對簡約計算方面，可研討基于數據復雜度的近似計算理論和優化算法框架，以此指導人們尋找面向計算的數據內核或許數據蔡修立即彎下膝蓋，默默道謝。邊界的基礎方式，構建具有高效計算才能的模子。
年夜數據高階表征與建模方面。摸索基于無監督預訓練的數據表征學習的理論與方式，從年夜規模未標注的語料數據中抽取高層次語義抽象的數據我，還要教我。”她認真地說。表征，進步語義表征的泛化才能；研討基于小樣本數據的預訓練—微調模子，在年夜規模無監督語料訓練獲得的數據表征基礎上，構建輔助上層任務的通用高質量數據表征；摸索基于領域知識的預訓練數據建模理論與方式，將人類知識融會到預訓練模子中，晉陞預訓練模子的學習效力等。同時，為應對數據多源異構形成的知識隔閡，有需要進一個步驟發展跨模態數據表征和建模、多源知識融會技術，以實現全域知識聯合和應用。
年夜數據驅動的語義剖析與知識推理方面。研討面向細粒度語義單元的年夜數據語義融會方式，顯著進步多源異構數據關聯融會的後果；研討樣本稀少環境下的領域知識獲取、年夜規模常識獲取與懂得、知識獲取中的人機協作機制與方式，晉陞知識獲取的才能，年夜幅進步知識庫的規模；研討基于知識圖譜的可解釋剖析方式、數據驅動與知識引導深度融會的新型語義剖析方式，顯著晉陞知識驅動下各類模子的後果和可解釋性。
人機結合的增量決策研判方面。未來大批物理設備、無人設備、人腦，通過泛在網絡實現“上線”和“互聯”，為人的參與供給了基礎的物質條件。人作為具備智能的天然系統，若何參與到機器智能的系統回路中是一個關鍵問題。未來應重點解決思維融會或決策融會的問題，摸索人腦數據及機器智能系統信息可彼此轉換的新型數據科學理論，并設計高效能的計算方式。當下的算法模子不會隨著數據的天生而持續學習，即無法應對連續和不測變化的環境，特別是在任務關鍵型應用法式中更需謹慎。是以，研討持續學習、在線學習等技術，實現算法模子持續在線瞬時決策非常需要。
摸索式可視化剖析方面。研討新型的跨主體（人、機、物）可視交互理論，構建多人協同的混雜主動式可視剖析范式，支撐多人同時對雷同或分歧的可視家教化視圖進行多角度的摸索，設計相應的可視表達與交互情勢；研討圍繞年夜數據可視化的認知計算與聚公道解模子、方式與焦點技術，構建人機協同智能及其驅瑜伽教室動的年夜數據可視內容與屬性的自動懂得關鍵技術；晉陞圍繞年夜數據可視化的計算機自動懂得、表現與天生才能等，構建年夜數據可視計算與交互技術體系。
樹立任務驅動的年夜數據計算環境
從可組合的模塊化編程框架、可伸縮的年夜數據剖析處理框架、任務感知的知識重構模子裁剪這 3 個方面發力，為各行各業供給場景感知、共識感知的更優質和更靈活的剖析處理環境。
可組合的模塊化編程框架方面。未來可發展面向多業務可擴展、可重構的靈敏開發框架，構建多形態剖析形式庫和智能業務編程框架，衝破多源異構數據的關聯剖析和會議室出租全息展現，實現對數據、算法、模子的高層次抽象，構成支撐面向任務場景的智能組合剖析算子庫，實現智能算法的內素性支撐，賦強人機混雜的交互式協同剖析。
可伸縮的年夜數據剖析處理框架方面。未來可發展支撐彈性計算、可伸縮模子、可彈性設置裝備擺設的處理框架，即根交流據實際應用的任務場景與計算資源的需求等方面劃分各種任務，滿足特定需求、精度需求、延時需求、實時性需求等；同時，構建可伸縮的年夜數據剖析處理框架，能夠靈活設置裝備擺設計算資源和數據規模，以實現彈性適配。
任務感知的知識重構和模子裁剪方面。未來可發展面向任務的高級知識計算語言和模子裁剪技術，基于通用知識圖譜實現面向特定領域任務的知識重構，樹立起常識與領域知識融會的知識計算引擎，顯著晉陞知識治理和應用的才能與效力。
推動新一代年夜數據剖析處理技術發展建議
樹立理論基礎。年夜數據剖析處理技術新體系的樹立，離不開基礎理論的衝破。樹立數據復雜性和年夜數據可計算性理論。回歸數據來源根基，摸索數據在分布規律、結構規則和時空標準方面的規律性，以此設計高效能的計算方式。摸索異質廣譜關聯的年夜數據剖析理論。將各類目標在“人機物”融會的多維數據空間留下的微弱信號進行關聯縮小，研討廣域開環、非統一量綱環境下瞬時決策推斷方式的收斂性理論。研討年夜數據剖析處理的平安可托理論。一方面，研討數據的平安共享和隱私計算理論，保證數據暢通共享過程中的平安性；另一方面，研討數據的固有誤差性和數據遭遇攻擊時的剖析處理的魯棒性極限和可驗證理論，樹立可防范、可審計、可追責的機制，保證強對抗環境下剖析處理結果的可托。
加年夜應用牽引。新年夜數據剖析處理技術共享空間體系應能周全高效賦能行業、產業、平安領域。來人似乎沒有料到會是這樣的情況，愣了一下就跳下馬，抱拳道：“在夏涇秦家，是來接裴嬸的，告訴我。某物。”同時，還需求應用科學發現、性命安康、社會管理等牽引性應用場景來推動年夜數據剖析處理新體系的安康、良性發展。科學發現方面。研討借助年夜數據剖析技術從大批實驗數據中發現科學規律，構成基于年夜數據剖析的新型科學研討方式論。性命安康方面。研討年夜數據方式用于輔助復雜化合物分子的發現，下降新型藥物的研發本錢，加速晉陞綜合醫療程度，應用年夜數據手腕應對嚴重疫情和事務的高功效、持續在線決策。 社會管理方面。充足發揮年夜數據技術在多方復雜關聯問題、社會群體認知建模剖析中的優勢，構建人工輔助智能決策系統，實現當局決策科學化、社會管理精準化、公共服務高效化。
數據管理生態環境。年夜數據技術的應用與發展離不開良性的數據管理和技術生態建設。個人隱私保護。需求相應的法令法規加以規范。例如，歐盟2016年出臺了瑜伽教室《通用數據保護條例》，幫助國民把持個人隱私數據；我國于 2021 年發布了《中華國民共和國數據平安法》和《中華國民共和國個人信息保護法》，對年夜數據的采集與應用給予公道的管控和監督。保證數據的平安暢通共享。需求樹立數據暢通買賣規則規范，優化數據共享、買賣、暢通相關的軌制，明確數據權屬分派，摸索數據買賣市場，構建有序的數據暢通環境。
綜上所述，未來應發展衝破通用模子架構、剖析形式和計算范式，樹立新架構、新形式、新范式，以及平安可托的年夜數據剖析處理技術新體系；構建新一代年夜數據剖析處理軟件棧；研討和發展相應的理論，踐行牽引性應用；樹立良性的數據管理生態，推動年夜數據剖析處理技術的持續進步和跨越式發展。
（作者教學：程學旗、 劉盛華、張儒清，中國科學院計算技術研討所、中國科學院年夜學 計算機科學與技術學院；《中國科學院1對1教學院刊》供稿）