【儀表網(wǎng) 行業(yè)標(biāo)準(zhǔn)】近日，由中國(guó)電子技術(shù)標(biāo)準(zhǔn)化研究院 、華為技術(shù)有限公司 、中國(guó)科學(xué)院軟件研究所 、北京航空航天大學(xué) 、浪潮電子信息產(chǎn)業(yè)股份有限公司等單位起草，TC28(全國(guó)信息技術(shù)標(biāo)準(zhǔn)化技術(shù)委員會(huì))歸口的國(guó)家標(biāo)準(zhǔn)計(jì)劃《人工智能 服務(wù)器系統(tǒng)性能測(cè)試規(guī)范》征求意見稿已編制完成，現(xiàn)公開征求意見。
 

　　當(dāng)前具有代表性的通用 AI 測(cè)試基準(zhǔn)、HPC 性能測(cè)試基準(zhǔn)或服務(wù)器技術(shù)規(guī)范，如 MLPerf、AI Benchmark、benchcouncil、AI-HPL、Linpack、DAWNBENCH、T/CESA 1043-2019《面向深度學(xué)習(xí)的服務(wù)器規(guī)范》、GB/T 9813.3《計(jì)算機(jī)通用規(guī)范 第 3 部分：服務(wù)器》《人工智能芯片 面向云側(cè)的深度學(xué)習(xí)芯片測(cè)試指標(biāo)與測(cè)試方法》以及 AIIA DNN benchmark 等，在 AI 服務(wù)器系統(tǒng)性能測(cè)試方面，仍存在一些未解決的問(wèn)題。
 

　　1) 通用服務(wù)器技術(shù)規(guī)范對(duì) AI 服務(wù)器系統(tǒng)的性能測(cè)試的規(guī)定不深入、而且存在同質(zhì)化傾向。在測(cè)試指標(biāo)方面，僅端到端運(yùn)行時(shí)間、能耗等不能準(zhǔn)確反映AI 服務(wù)器系統(tǒng)。系統(tǒng)內(nèi)部運(yùn)行時(shí)效能方面，尚不存在標(biāo)準(zhǔn)化的測(cè)試方法。
 

　　2) 通用 AI 性能測(cè)試，使用公眾可獲得的模型、數(shù)據(jù)集。它們與行業(yè)(如金融、醫(yī)療)實(shí)際使用的模型、數(shù)據(jù)有較大差異。通用測(cè)試的結(jié)果，對(duì)行業(yè)指導(dǎo)意義不強(qiáng)，行業(yè)業(yè)務(wù)在 AI 服務(wù)器系統(tǒng)計(jì)算設(shè)施上的運(yùn)行效果，無(wú)直接評(píng)判依據(jù)。
 

　　3) 當(dāng)前的測(cè)試基準(zhǔn)對(duì)測(cè)試科學(xué)(test technology)理論的實(shí)踐相對(duì)較薄弱。這些測(cè)試基準(zhǔn)對(duì)性能的理解、解釋及測(cè)試方法僅限于穩(wěn)定狀態(tài)運(yùn)行時(shí)間，而未考慮真實(shí)運(yùn)行環(huán)境及系統(tǒng)自身現(xiàn)實(shí)狀態(tài)。
 

　　針對(duì)以上問(wèn)題，該標(biāo)準(zhǔn)擬結(jié)合測(cè)試技術(shù)，在通用及行業(yè)應(yīng)用兩方面，研究并標(biāo)準(zhǔn)化測(cè)試方法、用例，達(dá)到較為全面、準(zhǔn)確的測(cè)試效果。
 

　　人工智能服務(wù)器系統(tǒng)，包含人工智能服務(wù)器、集群和高性能計(jì)算設(shè)施等形態(tài)。人工智能服務(wù)器系統(tǒng)，是各類深度學(xué)習(xí)模型(包含大規(guī)模預(yù)訓(xùn)練模型)的訓(xùn)練和推理的核心載體，是各行業(yè)應(yīng)用人工智能技術(shù)提升生產(chǎn)效率的核心工具。人工智能服務(wù)器系統(tǒng)專為處理人工智能計(jì)算任務(wù)設(shè)計(jì)，在架構(gòu)、運(yùn)算方式和用途用法上，與通用服務(wù)器系統(tǒng)有較大差別，其測(cè)試過(guò)程、負(fù)載和指標(biāo)等，皆有獨(dú)特性。本文件提出人工智能服務(wù)器系統(tǒng)性能基準(zhǔn)測(cè)試的方法，并對(duì)基準(zhǔn)測(cè)試工具提出技術(shù)要求。
 

　　本文件規(guī)定了人工智能服務(wù)器系統(tǒng)，完成深度學(xué)習(xí)訓(xùn)練及推理任務(wù)的性能(運(yùn)行時(shí)間、能耗、實(shí)際吞吐率、能效、效率、彈性、承壓能力等)測(cè)試方法。本文件適用于人工智能服務(wù)器系統(tǒng)的性能評(píng)估。
 

　　本文件內(nèi)容框架如下：
 

　　1. 測(cè)試類型
 

　　a) 開放測(cè)試
 

　　b) 封閉測(cè)試
 

　　2. 訓(xùn)練
 

　　a) 訓(xùn)練過(guò)程；
 

　　b) 測(cè)試控制要素(含準(zhǔn)確率門限、機(jī)器學(xué)習(xí)框架、混合精度訓(xùn)練、訓(xùn)練結(jié)果精度要求、數(shù)據(jù)讀入要求、數(shù)據(jù)預(yù)處理過(guò)程、數(shù)據(jù)遍歷要求、目標(biāo)模型要求、超參選取規(guī)則、優(yōu)化算法技術(shù)要求、損失函數(shù)技術(shù)要求、操作系統(tǒng)及環(huán)境要求等)；
 

　　c) 結(jié)果符合性(含元數(shù)據(jù)、結(jié)果模型一致性、訓(xùn)練代碼要求、日志要求等)
 

　　d) 場(chǎng)景(含通用及行業(yè)專用場(chǎng)景)；
 

　　e) 指標(biāo)及獲取方法(含通用指標(biāo)、測(cè)試學(xué)相關(guān)指標(biāo)、行業(yè)專用指標(biāo)等)；
 

　　f) 測(cè)試工具要求(構(gòu)架、功能要求、公平性保障要求)；
 

　　3. 推理
 

　　a) 推理過(guò)程；
 

　　b) 測(cè)試控制要素(含作業(yè)到達(dá)控制、準(zhǔn)確率、機(jī)器學(xué)習(xí)框架、量化、重訓(xùn)練、數(shù)據(jù)預(yù)處理、數(shù)據(jù)后處理、數(shù)據(jù)遍歷、數(shù)據(jù)緩存、作業(yè)延誤及丟失控制、操作系統(tǒng)及環(huán)境要求等)；
 

　　c) 結(jié)果(含元數(shù)據(jù)、模型一致性要求、代碼技術(shù)要求、日志要求等)；
 

　　d) 場(chǎng)景(含通用及行業(yè)專用場(chǎng)景)；
 

　　e) 指標(biāo)及獲取方法(含通用指標(biāo)、測(cè)試學(xué)相關(guān)指標(biāo)、行業(yè)專用指標(biāo))；測(cè)試工具要求(構(gòu)架、功能要求、公平性保障要求等)。
 

　　更多內(nèi)容詳情請(qǐng)見附件。