人工智能浪潮迭起，大模型持續(xù)“涌現(xiàn)”。大模型的訓練與應用對數(shù)字基礎設施提出了更高的要求——更強算力、更大存力、更加易用、更低門檻的數(shù)字基礎設施，是建好大模型、用好大模型的前提。

【資料圖】

9月26日，京東云城市大會西安站圓滿落幕?；诙嗄陙韺ρ邪l(fā)大模型的能力積累和對行業(yè)需求的理解，京東云在會上重磅發(fā)布數(shù)智算力矩陣。從MaaS服務到到智算集群，再到硬件基礎設施，京東云為千行百業(yè)不同需求的客戶，打造一站式大模型服務，為孕育大模型提供“肥沃土壤”，筑牢產(chǎn)業(yè)發(fā)展的數(shù)字基底。

為了應對大模型訓練資源稀缺，以及缺乏專業(yè)開發(fā)人員等問題，京東云將京東大模型能力開放出來，將開發(fā)大模型的底層能力解耦，推出言犀AI開發(fā)計算平臺，提供一站式模型訓練推理能力。

超算資源的成本、模型計算效率、資源彈性等都成為制約大模型訓練的關鍵因素，京東云高性能計算集群、超低延遲網(wǎng)絡、高性能分布式存儲等，提供極致的數(shù)字基礎設施能力，并基于混合多云操作系統(tǒng)，對異構資源進行靈活調度，更好地滿足大模型的算力需求。

在底層硬件層面，京東云提供硬件/網(wǎng)絡算力資源、智能算力模塊，以及算力中心和邊緣節(jié)點等能力，為大模型訓練提供堅實的保障。

此外，京東云完善的安全體系，可有效保障客戶云上云下整體資產(chǎn)應用和業(yè)務系統(tǒng)的安全穩(wěn)定，為大模型服務保駕護航。

AI開發(fā)計算平臺 讓大模型“觸手可及”

目前，言犀AI開發(fā)計算平臺已正式上線，提供公有云版、私有化部署版、API接口等多種服務方式，為客戶的大模型開發(fā)和行業(yè)應用，提供一站式的解決方案，讓大模型的能力輕松觸達每一位開發(fā)者。

將大模型能力應用到產(chǎn)業(yè)領域，實現(xiàn)垂直行業(yè)的“智能涌現(xiàn)”，并非易事。高質量的行業(yè)知識作為稀缺要素，決定了大模型的“智商”。言犀AI開發(fā)計算平臺具備豐富的行業(yè)知識庫，京東在零售、物流、健康、金融等行業(yè)多年積累的知識都沉淀在平臺上。

同時，平臺不僅提供京東自研的言犀大模型，也支持行業(yè)各類開源通用模型；此外，平臺精選了京東技術團隊多年來開發(fā)出的100多種訓練和推理優(yōu)化工具，可提供更加高效的大模型開發(fā)環(huán)境，讓用戶可以快速地把通用模型，轉化成適合自身場景的專業(yè)模型，尤其是面對沒有代碼開發(fā)經(jīng)驗的應用開發(fā)者，平臺低代碼的開發(fā)方式，進一步降低門檻，讓大模型真正變得“觸手可及”。

通過言犀AI開發(fā)計算平臺，不到一周時間，即可完成從數(shù)據(jù)準備、模型訓練、到模型部署的全流程；之前需要10余人的科學家團隊工作，現(xiàn)在只需要1-2個算法人員；通過平臺模型加速工具優(yōu)化，節(jié)約90%的推理成本。

高性能計算集群 打造大模型網(wǎng)絡“高速公路”

算力集群的靈活調度，是大模型訓練的底層基礎。全新的云艦異構資源池化解決方案，在原有支持混合多云CPU+GPU異構算力池化能力基礎上，針對大模型場景，支持訓練+微調+推理混合部署，進一步增加了針對AI應用所需的調度管理能力，提供一站式算力池化解決方案，算力利用率提升70%，從而全面推動大模型應用落地降本增效。

大模型訓練本身帶來的高昂成本，讓很多企業(yè)想用不敢用，兼具高性價比和高性能的計算集群，對降低大模型訓練成本尤為重要。

京東云高性能計算集群HPC，使用了高速RDMA網(wǎng)絡互聯(lián)的彈性服務器集群，提供高計算性能和并行加速效率的彈性計算服務。 在算力層面，京東云提供的超級計算集群、京剛裸金屬、第五代云主機等多種高性能產(chǎn)品形態(tài)，可提供極致算力，最大支持十萬級GPU節(jié)點規(guī)模；在網(wǎng)絡層面，京東云自研RDMA擁塞算法，全局調控RDMA網(wǎng)絡流量路徑，不同GPU節(jié)點最大支持3.2 Tbps RDMA網(wǎng)絡帶寬，傳輸時延低至2 us左右。

大模型需要大規(guī)模的算力，由此也帶來海量的存儲需求，云海作為京東云自主研發(fā)的高性能、高穩(wěn)定、低成本分布式存儲產(chǎn)品，歷經(jīng)10余年京東自身復雜場景的歷練，能夠滿足大模型所需要的海量數(shù)據(jù)(603138)存儲需求，并提供超大量數(shù)據(jù)傳輸所需的極致性能。同時，存算分離的技術架構，可為客戶節(jié)省整體基礎設施成本超30%，現(xiàn)已在高性能計算、AI訓練等新興場景以及音視頻存儲、數(shù)據(jù)報表等傳統(tǒng)場景廣泛應用。

智能算力模塊 筑牢大模型堅實底座

隨著大模型等系列 AIGC 產(chǎn)品的應用落地，對于AI 服務器的需求快速提升，且AI 服務器中大量使用高功率 CPU、GPU芯片，帶動單臺AI 服務器功耗不斷上升，因此提高單機柜功率密度，成為調和快速增長的算力需求，與有限的數(shù)據(jù)中心承載力之間的有效方案。

基于多年算力基礎設施部署交付的最佳實踐，京東云在業(yè)內率先推出“阿爾法”智能算力模塊高功率密度解決方案，含括風冷型智能算力模塊及液冷型智能算力模塊雙系列產(chǎn)品，可實現(xiàn)智能高算力應用業(yè)務部署的安全、穩(wěn)定、高效節(jié)能運行。

京東云液冷型智能算力模塊，可全面兼容GPU、CPU服務器，PUE制冷因子可降低至0.1以內，并支持風冷、液冷系統(tǒng)一體化交付，預制模塊化部署，全面滿足算力密度20-100kW/柜數(shù)據(jù)中心部署需求。

共創(chuàng)共建，探索大模型落地

目前，京東云以前沿的數(shù)智技術，共服務100座城市、2500余家大型企業(yè)、944家金融機構和超250萬家中小微企業(yè)。具體到陜西省，京東云為“中國西部能源航母”陜煤集團搭建了運銷云，促進煤炭行業(yè)數(shù)字化轉型和國家能源供應的改善，推動陜煤業(yè)務流程縮短了40%；此外，京東云已與陜數(shù)集團達成合作，針對政府及重點國企數(shù)據(jù)及關基防護的需求，推進密改、密評及相關業(yè)務合作，持續(xù)深化在智慧物流、大數(shù)據(jù)等創(chuàng)新應用等方面的業(yè)務合作。

會議當天，京東云還與陜數(shù)集團、農信通集團、寧算科技集團、青山湖產(chǎn)控、智云天工、蘭杜科技進行合作簽約，攜手探索數(shù)智技術在產(chǎn)業(yè)端的落地，塑造全新增長空間。

技術只有在產(chǎn)業(yè)端形成扎實的應用，才能勾畫出一條以實助實的產(chǎn)業(yè)價值創(chuàng)造路徑。面向未來，京東云愿與合作伙伴一道，以極致性價比的數(shù)字基礎設施助推大模型抵達產(chǎn)業(yè)智能。

關鍵詞：