【儀表網(wǎng) 行業(yè)標準】人工智能是新一輪科技革命和產業(yè)變革的重要驅動力量，正在引領全球經(jīng)濟發(fā)展。如何準確、客觀、全面衡量當前人工智能系統(tǒng)能力，成為產學研用各界關注的重要問題。為提升產業(yè)規(guī)范化水平和促進技術路線收斂，完善配套評測基準，打造智能化時代的新“標尺”，電子標準院會同產學研用優(yōu)勢機構，共同打造“求索”人工智能國家標準評測基準體系。圍繞算力、大模型、軟硬協(xié)同等重點方向，孵化了12項國家標準，開發(fā)了系列評測基準工具：人工智能系統(tǒng)性能測試基準(AISBench)；大模型評測基準(LMBench)；人工智能軟硬件適配測試工具(AICL)。
 

　　21日會上，“求索”人工智能國家標準評測基準體系由中國電子技術標準化研究院副院長劉賢剛、國家能源集團數(shù)據(jù)中心總經(jīng)理張延生、中國物流集團有限公司科技創(chuàng)新部總經(jīng)理張暉、中國建筑集團有限公司信息化管理部副總經(jīng)理王劍濤、中國鐵建股份有限公司科數(shù)部副總經(jīng)理隋舟、中石油昆侖數(shù)智科技有限責任公司首席技術專家羅革新、中國鋼研科技集團有限公司人工智能首席張云貴、中國移動研究院管理運營部副總經(jīng)理劉偉東、中國電信研究院大數(shù)據(jù)與人工智能研究所所長王峰、中國電力科學研究院人工智能研究所黨委書記/副所長周飛、南方電網(wǎng)人工智能科技有限公司副總經(jīng)理梁壽愚、寶山鋼鐵股份有限公司數(shù)智技術創(chuàng)新中心主任張偉共同發(fā)布。
 

　　人工智能算力測試基準(AISBench):對標MLPerf、SPEC等國際先進計算基準，聚焦我國計算產業(yè)發(fā)展特色需求，圍繞人工智能加速卡、服務器、集群、人工智能計算中心等多種計算產品形態(tài)，建設涵蓋評測指標、評測方法、模型負載、評測工具等多項關鍵要素的智能算力測試基準體系，對人工智能計算能力進行全面和量化的評估。AISBench旨在提供一個公平且可重復的基準框架，確保不同智能計算系統(tǒng)能夠在相同條件下進行比較，有效指導用戶選型。
 

　　基礎通用大模型測試基準和行業(yè)大模型測試基準(LMBench):通過主客觀相結合的大模型評測方法，從語言、語音、視覺、多模態(tài)等任務領域，以及通用性、智能性等系列維度指標開展大模型能力驗證，以大模型評測平臺為支撐開展大模型測評，幫助用戶優(yōu)中選優(yōu)。LMBench也可為智能體、具身智能、空間智能等前沿領域的大模型技術創(chuàng)新提供有力支撐，以及推動大模型技術在不同產業(yè)場景中的深度融合與協(xié)同發(fā)展。
 

　　人工智能軟硬件適配測試工具(AICL):面向異構人工智能計算設備協(xié)同以及軟硬件南北向互聯(lián)互通需求，建立跨架構、跨平臺的標準化適配技術體系，指導大規(guī)模人工智能軟硬件系統(tǒng)和算力設施兼容適配。AICL旨在實現(xiàn)人工智能計算接口“大一統(tǒng)”，清除CUDA、oneAPI、OpenCL等國外適配體系的技術路線限制，引領自主智能算力產業(yè)生態(tài)建設。為適應人工智能計算技術日新月異的趨勢，AICL依托開源開放社區(qū)，根據(jù)技術產業(yè)發(fā)展情況動態(tài)更新、實時滾動。
 

　　目前，AISBench、LMBench、AICL已經(jīng)得到50余家單位的支持和參與，形成了科學化、體系化的基準體系。未來，以國家標準為核心指引的“求索”人工智能國家標準評測基準體系，將持續(xù)秉持開放合作的態(tài)度，持續(xù)完善人工智能基準評測標準規(guī)范，不斷優(yōu)化評測指標、評測方法和評測工具，及時回應產業(yè)界、學術界對人工智能規(guī)范化發(fā)展的熱切關注，引領產業(yè)生態(tài)建設，更好滿足人工智能產業(yè)高質量發(fā)展對標準化的迫切需求，有力支撐人工智能賦能新型工業(yè)化。