【儀表網(wǎng) 研發(fā)快訊】近年來(lái)，深度學(xué)習(xí)網(wǎng)絡(luò)憑借卓越的能力，在不同領(lǐng)域取得了成果，但訓(xùn)練出高質(zhì)量的深度學(xué)習(xí)網(wǎng)絡(luò)面臨挑戰(zhàn)。盡管可視化方法為深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練提供了輔助，但當(dāng)前主流的事后分析策略在實(shí)際應(yīng)用中存在較多問(wèn)題，如數(shù)據(jù)量龐大導(dǎo)致存儲(chǔ)困難、I/O開銷過(guò)高以及無(wú)法實(shí)現(xiàn)實(shí)時(shí)干預(yù)等。特別是對(duì)于深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練過(guò)程產(chǎn)生的海量時(shí)間序列數(shù)據(jù)，現(xiàn)有工具難以從中提取出詳細(xì)的訓(xùn)練過(guò)程信息，這阻礙了模型優(yōu)化。
 

　　中國(guó)科學(xué)院計(jì)算機(jī)網(wǎng)絡(luò)信息中心先進(jìn)交互式應(yīng)用與發(fā)展部團(tuán)隊(duì)創(chuàng)新性地提出了針對(duì)深度學(xué)習(xí)模型訓(xùn)練數(shù)據(jù)的原位可視分析框架，形成了原位特征提取算法和神經(jīng)元學(xué)習(xí)模式抽象算法。原位特征提取算法在模型運(yùn)行時(shí)復(fù)用內(nèi)存數(shù)據(jù)，實(shí)時(shí)分析動(dòng)態(tài)數(shù)據(jù)，解決了傳統(tǒng)事后分析的數(shù)據(jù)存儲(chǔ)和I/O瓶頸問(wèn)題；而神經(jīng)元學(xué)習(xí)模式抽象算法則基于原位特征數(shù)據(jù)，抽象出神經(jīng)元的三種學(xué)習(xí)模式，為可視分析提供支持。
 

　　這一框架在性能方面表現(xiàn)良好，對(duì)千萬(wàn)參數(shù)深度神經(jīng)網(wǎng)絡(luò)模型的時(shí)序訓(xùn)練數(shù)據(jù)壓縮率可達(dá)1% ，能夠支撐訓(xùn)練全過(guò)程的問(wèn)題可視分析與回溯，可以實(shí)現(xiàn)batch level神經(jīng)元信息可視化，為深度學(xué)習(xí)模型優(yōu)化提供全新視角和支持。
 

　　相關(guān)研究成果被IEEE Transactions on Visualization and Computer Graphics錄用。研究工作得到國(guó)家自然科學(xué)基金和中國(guó)科學(xué)院戰(zhàn)略性先導(dǎo)科技專項(xiàng)的支持。
 

深度學(xué)習(xí)模型原位分析流程
 

深度學(xué)習(xí)模型原位可視分析系統(tǒng)