阿里云ODPS十五周年重磅升級(jí)發(fā)布:為AI而生的數(shù)據(jù)平臺(tái)
阿里云ODPS十五周年重磅升級(jí)發(fā)布:為AI而生的數(shù)據(jù)平臺(tái)
7月23日,正值阿里云第一款產(chǎn)品,自研大數(shù)據(jù)平臺(tái) ODPS 十五周年之際,阿里云智能集團(tuán)副總裁、計(jì)算平臺(tái)負(fù)責(zé)人汪軍華正式宣布 ODPS 全面擁抱 AI,升級(jí) ODPS 架構(gòu),推動(dòng)大數(shù)據(jù)與 AI 的深度融合。
十五年深耕,從云原生到AI原生的跨越
自2009年誕生以來(lái),ODPS 見(jiàn)證了大數(shù)據(jù)技術(shù)的飛速發(fā)展,從最初的離線計(jì)算引擎成長(zhǎng)為全球領(lǐng)先的云原生大數(shù)據(jù)平臺(tái)。過(guò)去十五年,ODPS 不僅支撐了阿里集團(tuán)內(nèi)部電商、金融、物流等核心業(yè)務(wù)的數(shù)據(jù)處理需求,還幫助全球客戶實(shí)現(xiàn)了從線下 IDC 到云原生的平滑過(guò)渡。今天,ODPS 正式邁入 AI Native 時(shí)代,ODPS 將再次進(jìn)化,成為為AI而生的數(shù)據(jù)平臺(tái)。
Data+AI 雙引擎:加速企業(yè)智能落地
ODPS 平臺(tái)架構(gòu)在面對(duì) AI 浪潮做了全新升級(jí),推出面向 Data+AI 的新一代數(shù)智一體計(jì)算平臺(tái),融合 Data 和 AI 雙引擎。
基礎(chǔ)設(shè)施層:整合阿里云計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)等核心資源,支撐上層大數(shù)據(jù)和 AI 分布式架構(gòu)的穩(wěn)定運(yùn)行。
計(jì)算服務(wù)層:在計(jì)算引擎層提供多種離線/實(shí)時(shí)/AI 計(jì)算資源保障云端數(shù)據(jù)加工與 AI 算力調(diào)度能力之外,Data 和 AI 也進(jìn)行了深層的融合,MaxCompute 融合大模型,圍繞大模型提供超大規(guī)模數(shù)據(jù)預(yù)處理能力。Hologres 通過(guò) MCP 協(xié)議能夠?qū)⒑}(cāng)中的海量數(shù)據(jù)轉(zhuǎn)化為實(shí)時(shí)可查詢的服務(wù)。
平臺(tái)管理層:提供了統(tǒng)一 Data+AI 數(shù)據(jù)治理體系,用戶可通過(guò) DataWorks Copilot 智能助手和智能體 Agent,通過(guò)自然語(yǔ)言交互實(shí)現(xiàn)數(shù)據(jù)開(kāi)發(fā)、數(shù)據(jù)分析與治理全流程。
應(yīng)用場(chǎng)景層:當(dāng)前數(shù)智一體計(jì)算平臺(tái)已覆蓋 RAG 增強(qiáng)檢索、LLM 大模型訓(xùn)練、MLOps 運(yùn)維等多種 AI 工程化場(chǎng)景及需求。我們希望企業(yè)可以基于平臺(tái)之上便捷地獲取數(shù)據(jù)與 AI 的能力,真正實(shí)現(xiàn)“數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù),AI 創(chuàng)造價(jià)值”。
為 AI 而生:ODPS 的四大核心升級(jí)
1、超大規(guī)模數(shù)據(jù)處理能力,支撐 AI 算力爆發(fā);在 AI 時(shí)代,大模型訓(xùn)練需要處理海量數(shù)據(jù),對(duì)算力提出了極高要求。ODPS 通過(guò)云原生架構(gòu),實(shí)現(xiàn)了數(shù)十萬(wàn)臺(tái)集群的彈性調(diào)度,峰值數(shù)據(jù)處理能力達(dá)50億次/秒。阿里云智能集團(tuán)計(jì)算平臺(tái)事業(yè)部大數(shù)據(jù)產(chǎn)品總監(jiān)陳守元介紹到:“LLM 基模訓(xùn)練過(guò)程中往往需要突發(fā)調(diào)用數(shù)十萬(wàn) CPU 和數(shù)萬(wàn) GPU,以通義千問(wèn)為例,ODPS 的即開(kāi)即用、按量付費(fèi)模式為其節(jié)省了90%以上的成本?!?/p>
2、多模態(tài)數(shù)據(jù)存儲(chǔ)與計(jì)算,打破AI數(shù)據(jù)邊界;隨著 AI 時(shí)代的到來(lái),數(shù)據(jù)逐漸呈現(xiàn)多元化,包含文本、圖片、視頻等多種類型,非結(jié)構(gòu)化數(shù)據(jù)占比超過(guò)80%。ODPS 推出湖倉(cāng)一體方案,支持文本、圖像、音視頻等多模態(tài)數(shù)據(jù)的統(tǒng)一存儲(chǔ)。
在計(jì)算方面,ODPS-MaxCompute 推出面向 Python 開(kāi)發(fā)生態(tài)的分布式計(jì)算框架 MaxFrame,統(tǒng)一 Python 編程接口,提供高效的分布式計(jì)算能力,部分算子相比用戶本地自建性能提升3倍以上,計(jì)算、運(yùn)維成本降低50%。MaxFrame 同時(shí)支持 AI Funtion 能力,可通過(guò)簡(jiǎn)易的編程接口調(diào)用內(nèi)置大模型,對(duì) MaxCompute 表中的海量數(shù)據(jù)進(jìn)行離線處理。 同時(shí),ODPS- Hologres 在高性能實(shí)時(shí)數(shù)據(jù)分析的基礎(chǔ)上,提供了面向多模態(tài)數(shù)據(jù)和 RAG 場(chǎng)景的檢索增強(qiáng)特性,與 Deepseek/通義等大模型結(jié)合構(gòu)建企業(yè)級(jí) RAG 知識(shí)庫(kù),減少大模型問(wèn)答幻覺(jué),提升知識(shí)更新與問(wèn)答速度,性能領(lǐng)先開(kāi)源30%-40%。
3、近實(shí)時(shí)計(jì)算實(shí)現(xiàn)極致性價(jià)比;AI 時(shí)代企業(yè)用戶不僅追求性能,更追求極致性價(jià)比。阿里云智能計(jì)算平臺(tái)事業(yè)部 MaxCompute 研發(fā)負(fù)責(zé)人張治國(guó)重點(diǎn)介紹了 ODPS 在計(jì)算范式上的創(chuàng)新:ODPS 通過(guò)增量計(jì)算引擎(DLMV)和近線查詢(MaxQA),填補(bǔ)了實(shí)時(shí)與離線之間的空缺。增全量一體的計(jì)算能夠極大地優(yōu)化整體計(jì)算資源,并且提供一個(gè)更穩(wěn)定的環(huán)境、更強(qiáng)大的計(jì)算能力。MaxQA 引擎通過(guò)在實(shí)現(xiàn)近實(shí)時(shí)場(chǎng)景下的查詢性能優(yōu)化,能夠在獨(dú)享的查詢計(jì)算資源池中,對(duì)管控鏈路、查詢優(yōu)化器、執(zhí)行引擎、存儲(chǔ)引擎及緩存機(jī)制等多個(gè)環(huán)節(jié)進(jìn)行全面優(yōu)化,顯著減少響應(yīng)時(shí)間,提升數(shù)據(jù)效率。
4、AI賦能數(shù)據(jù)價(jià)值變現(xiàn);數(shù)據(jù)無(wú)應(yīng)用不價(jià)值。AI 讓數(shù)據(jù)價(jià)值從“人分析數(shù)據(jù)”到“AI 直接變現(xiàn)業(yè)務(wù)價(jià)值”,讓數(shù)據(jù)價(jià)值更加顯性化。MaxCompute Notebook 通過(guò)結(jié)合 MaxFrame 分布式計(jì)算框架,支持通過(guò) SQL 與 Python 相結(jié)合,輕松訪問(wèn) MaxCompute 中海量數(shù)據(jù),進(jìn)行 Data + AI 一體化數(shù)據(jù)分析、數(shù)據(jù)科學(xué)計(jì)算、AI模型數(shù)據(jù)處理。ODPS-DataWorks Copilot 智能助手提供 SQL/Python 代碼自動(dòng)生成和智能補(bǔ)全等服務(wù),數(shù)據(jù)開(kāi)發(fā)分析平均提效35%。 ODPS-Hologres 及 DataWorks 發(fā)布 MCP Server 服務(wù),為客戶提供基于自然語(yǔ)言的用戶交互界面及智能化產(chǎn)品體驗(yàn)。
總結(jié)
在 AI Native 時(shí)代,數(shù)據(jù)與 AI 的融合已不再是選擇題,而是必答題。阿里云將持續(xù)深耕 Data+AI 雙引擎,助力企業(yè)加速智能化落地,共同邁向數(shù)智未來(lái)。
繼續(xù)閱讀與本文標(biāo)簽相同的文章