【儀表網(wǎng) 研發(fā)快訊】上?？萍即髮W(xué)信息科學(xué)與技術(shù)學(xué)院李權(quán)課題組(交互智能與可視分析實(shí)驗(yàn)室ViSeer LAB)聚焦于以人為中心的可解釋性人工智能模型及其應(yīng)用，并通過人機(jī)協(xié)同可視分析技術(shù)為解決重大社會問題提供決策支持工具。近日，課題組在可視化與計(jì)算機(jī)圖形領(lǐng)域期刊《IEEE可視化與計(jì)算機(jī)圖形學(xué)匯刊》(IEEE Transactions on Visualization and Computer Graphics, TVCG)及人機(jī)交互領(lǐng)域最有影響力的會議之一ACM計(jì)算機(jī)人因會議(ACM Conference on Human Factors in Computing，ACM CHI 2025)同期發(fā)表了六篇創(chuàng)新性研究成果。
 

　　面向在線游戲的顯隱特征融合用戶流失預(yù)測框架
 

　　蓬勃發(fā)展的在線游戲行業(yè)面臨激烈競爭，為了預(yù)測玩家流失，業(yè)界依賴于專注于社交互動動態(tài)的機(jī)器學(xué)習(xí)(ML)模型。但傳統(tǒng)機(jī)器學(xué)習(xí)模型普遍缺乏透明度，盡管可解釋人工智能(XAI)技術(shù)能夠解釋模型決策，但在游戲行業(yè)應(yīng)用仍有限，主要因?yàn)榉羌夹g(shù)專家(如產(chǎn)品經(jīng)理和游戲設(shè)計(jì)師)在解讀計(jì)算模型中的顯性和隱性特征時面臨困難。
 

圖1：提出的解釋顯性和隱性特征的算法流程。
 

　　為解決這一問題，李權(quán)組提出了基于顯性-隱性特征解耦的XAI框架，并開發(fā)了高效可視分析系統(tǒng)“Don’tGo”。該框架首次將游戲日志數(shù)據(jù)劃分為顯性特征(如玩家等級、性別、戰(zhàn)斗評分)和隱性特征(如社交網(wǎng)絡(luò)動態(tài)、行為序列模式)，并通過多模態(tài)機(jī)器學(xué)習(xí)模型(AutoInt)實(shí)現(xiàn)高效融合。實(shí)驗(yàn)結(jié)果顯示，該模型在F1值、AUC和準(zhǔn)確率等指標(biāo)上顯著優(yōu)于傳統(tǒng)方法，尤其在捕捉用戶流失動態(tài)時展現(xiàn)了更強(qiáng)的魯棒性。為解決“黑箱”問題，團(tuán)隊(duì)結(jié)合SHAP值分析與反事實(shí)解釋(Counterfactual Explanations)，構(gòu)建了雙重可解釋框架(圖1)。論文提出的技術(shù)框架已開源(GitHub: DontGo-Framework)。
 

　　該研究由信息科學(xué)與技術(shù)學(xué)院李權(quán)課題組、網(wǎng)易游戲用戶體驗(yàn)中心及香港科技大學(xué)合作完成，論文以“Deciphering Explicit and Implicit Features for Reliable, Interpretable, and Actionable User Churn Prediction in Online Video Games”為題發(fā)表在TVCG。信息科學(xué)與技術(shù)學(xué)院2022級碩士研究生王希元與2020級博士研究生謝萊鑫為共同第一作者，李權(quán)教授為通訊作者。
 

　　從需求到解決方案：揭示可視分析中問題驅(qū)動的設(shè)計(jì)模式
 

　　可視分析將自動化的分析技術(shù)與交互式的可視化相結(jié)合，從而基于數(shù)據(jù)進(jìn)行有效的理解、推理和決策。在實(shí)際中，研究人員與領(lǐng)域?qū)＜颐芮泻献鳎源_定需求并選擇恰當(dāng)?shù)慕鉀Q方案來實(shí)現(xiàn)需求。由于目前研究人員初始考慮空間中往往缺乏指導(dǎo)，且可視分析社區(qū)中缺乏形式化且可共享的問題解決知識體系，導(dǎo)致最終得出的解決方案不理想。
 

　　圖2：本研究A)對現(xiàn)有的分類框架進(jìn)行補(bǔ)全，并基于此橋接需求和解決方案; B)將可視分析論文中的需求、數(shù)據(jù)和解決方案之間的關(guān)系概念化為知識圖譜，并以互聯(lián)的路徑或子圖展現(xiàn)設(shè)計(jì)模式。
 

　　為了解決此問題，李權(quán)組提出了一種創(chuàng)新的元分析框架。通過對220篇權(quán)威可視分析論文的系統(tǒng)性編碼與知識抽取，構(gòu)建了覆蓋需求、數(shù)據(jù)與解決方案的三維拓?fù)浣Y(jié)構(gòu)(圖2)。該框架突破了傳統(tǒng)研究中需求與解決方案割裂的局限，首次實(shí)現(xiàn)了跨領(lǐng)域問題解決知識的結(jié)構(gòu)化外化，為研究者提供了從需求抽象到技術(shù)落地的全局視角。該工具支持研究者按需求與數(shù)據(jù)類型篩選解決方案，實(shí)時生成子圖與案例鏈接，為設(shè)計(jì)決策提供量化依據(jù)與跨領(lǐng)域參考。
 

　　該成果由信息科學(xué)與技術(shù)學(xué)院李權(quán)課題組及康奈爾大學(xué)合作完成，并以“From Requirement to Solution: Unveiling Problem-Driven Design Patterns in Visual Analytics”為題發(fā)表在TVCG。信息科學(xué)與技術(shù)學(xué)院2022級項(xiàng)目型碩士研究生吳宇辰為論文的第一作者，李權(quán)教授為通訊作者。
 

　　通過臨床推理推動基于問題的學(xué)習(xí)以提升醫(yī)學(xué)教育中的鑒別診斷能力
 

　　在現(xiàn)代醫(yī)學(xué)教育中，基于問題的學(xué)習(xí)(PBL)作為一種以學(xué)生為中心的教學(xué)方法，旨在通過模擬真實(shí)的臨床診斷場景，提升學(xué)生的實(shí)踐能力和解決問題的技巧?，F(xiàn)有研究雖然在提高PBL的真實(shí)性和沉浸感方面取得了一定進(jìn)展，但在構(gòu)建邏輯推理鏈和證據(jù)支持的臨床推理方面仍有不足，制約了學(xué)生臨床推理能力的提升。
 

　　為此，李權(quán)組開發(fā)了e-MedLearn系統(tǒng)，這是一個以學(xué)生為中心的PBL系統(tǒng)，旨在支持更高效的應(yīng)用和實(shí)踐基于證據(jù)的臨床推理。該系統(tǒng)不僅提供了豐富的臨床案例和數(shù)據(jù)支持，還具有互動性和實(shí)時反饋功能，使學(xué)生能夠在真實(shí)的臨床場景中進(jìn)行實(shí)踐和學(xué)習(xí)。為了驗(yàn)證e-MedLearn系統(tǒng)的有效性，實(shí)證研究結(jié)果表明，e-MedLearn系統(tǒng)顯著提升了PBL學(xué)習(xí)體驗(yàn)，在提高學(xué)生的臨床推理能力和自主學(xué)習(xí)能力方面表現(xiàn)尤為突出。
 

　　圖3：使用e-MedLearn進(jìn)行案例分析的過程，在案例選擇之后，包含以下幾個步驟：(a)展示初步的病例數(shù)據(jù)，探索證據(jù)，形成初步的診斷思路。(b)利用檢查或測試的數(shù)據(jù)進(jìn)行診斷分析，并更新診斷思路。(c)考慮預(yù)后并評估分析結(jié)果，反思思路以總結(jié)學(xué)習(xí)問題。(d)在診斷列表中記錄并更新診斷。(e)在思維導(dǎo)圖中記錄并回顧分析過程中的想法。
 

　　該研究由上?？萍即髮W(xué)信息科學(xué)與技術(shù)學(xué)院李權(quán)課題組和上海臨床研究中心姜暢醫(yī)師合作完成，并以“Advancing Problem-Based Learning with Clinical Reasoning for Improved Differential Diagnosis in Medical Education”為題以全文收錄(Full Paper Track)形式被ACM CHI 2025接收。信息科學(xué)與技術(shù)學(xué)院2023級碩士研究生徐源松為論文的第一作者，李權(quán)教授和上海臨床研究中心姜暢醫(yī)師為共同通訊作者。 ACM CHI為CCF-A類會議，2025年Full Paper Track共收到5,020份完整投稿，經(jīng)過論文委員會的修改和重新提交流程，最終接收了1,249篇論文，接收率為25.1%。
 

　　支持從碎片化線索進(jìn)行游戲故事解讀和敘事推斷
 

　　在現(xiàn)代電子游戲領(lǐng)域，游戲敘事的深度與開放性激發(fā)了玩家的創(chuàng)造力，促使他們通過視頻、論壇等多種形式分享對游戲故事的獨(dú)特解讀。然而，面對游戲世界中紛繁復(fù)雜的敘事線索，如何高效地組織與分析這些內(nèi)容，成為創(chuàng)作者和研究者面臨的重大挑戰(zhàn)。
 

圖4：ClueCart 共集成了左側(cè)的線索分類查詢，和右側(cè)的敘事推斷功能。
 

　　針對這一問題，李權(quán)組開發(fā)了ClueCart，一款專為游戲敘事分析設(shè)計(jì)的創(chuàng)新工具(https://cluecart.github.io/ClueCart/ )(圖4)。ClueCart通過結(jié)合文獻(xiàn)綜述、用戶調(diào)研和協(xié)作設(shè)計(jì)工作坊，深入探索了敘事線索的分類與組織需求。在此基礎(chǔ)上，研究團(tuán)隊(duì)提出了一個完善的敘事線索分類體系，并設(shè)計(jì)了一套高效的游戲線索收集方法。實(shí)驗(yàn)結(jié)果表明，ClueCart在用戶感知、功能支持和故事解讀效率等方面均優(yōu)于傳統(tǒng)工具。研究團(tuán)隊(duì)計(jì)劃進(jìn)一步擴(kuò)展ClueCart的功能，探索其在跨媒介敘事分析中的應(yīng)用潛力，同時開發(fā)更多支持玩家參與敘事創(chuàng)作的工具。
 

　　該研究成果由信息科學(xué)與技術(shù)學(xué)院李權(quán)課題組及香港科技大學(xué)(廣州)計(jì)算媒體與藝術(shù)系合作完成，并以“ClueCart: Supporting Game Story Interpretation and Narrative Inference from Fragmented Clues”為題以Full Paper Track形式被ACM CHI 2025接收。信息科學(xué)與技術(shù)學(xué)院2022級碩士研究生王希元為論文的第一作者，李權(quán)教授為通訊作者。
 

　　創(chuàng)新醫(yī)療教育技術(shù)突破——CaseMaster系統(tǒng)創(chuàng)新病例匯報(bào)訓(xùn)練模式
 

　　在臨床醫(yī)學(xué)教育中，規(guī)范化的病例匯報(bào)(Oral Case Presentation)能力培養(yǎng)是醫(yī)學(xué)生臨床思維訓(xùn)練的核心環(huán)節(jié)。傳統(tǒng)教學(xué)模式主要依賴教師示范和課堂演練，存在個性化指導(dǎo)不足、反饋周期長、標(biāo)準(zhǔn)化程度低等局限。現(xiàn)有的大多數(shù)數(shù)字化工具主要聚焦語音表達(dá)訓(xùn)練，對病例信息的結(jié)構(gòu)化組織、診斷邏輯鏈的構(gòu)建等關(guān)鍵能力的支持仍顯薄弱，導(dǎo)致學(xué)生在自主準(zhǔn)備過程中常常出現(xiàn)信息篩選失焦、證據(jù)鏈斷裂等問題。
 

　　圖5：使用CaseMaster進(jìn)行病例匯報(bào)訓(xùn)練的過程包括以下步驟：(a)審閱患者名單，(b)聚焦于特定患者，(c)通過預(yù)設(shè)活動和有序準(zhǔn)備展示結(jié)構(gòu)化且邏輯清晰的思維過程，(d)進(jìn)行口頭病例匯報(bào)，以及(e)突出一個有問題的解決方案，另一位用戶就該匯報(bào)提供反饋。
 

　　針對這一挑戰(zhàn)，李權(quán)組開發(fā)了創(chuàng)新型訓(xùn)練系統(tǒng)CaseMaster。該系統(tǒng)是一個以學(xué)生為中心的智能訓(xùn)練平臺，旨在通過結(jié)構(gòu)化的訓(xùn)練框架和精準(zhǔn)的反饋機(jī)制，提升醫(yī)學(xué)生的病例邏輯構(gòu)建與循證表達(dá)能力。CaseMaster通過大語言模型(LLM)與結(jié)構(gòu)化學(xué)習(xí)框架的深度整合，突破了傳統(tǒng)訓(xùn)練方法的局限性，為醫(yī)學(xué)生提供了閉環(huán)式智能訓(xùn)練解決方案。初步驗(yàn)證表明，系統(tǒng)能夠有效提升病例匯報(bào)的結(jié)構(gòu)化水平與診斷推理質(zhì)量，尤其在關(guān)鍵信息篩選和邏輯鏈條的完整性方面，獲得了教學(xué)專家的高度認(rèn)可。未來的研究將重點(diǎn)開發(fā)與臨床教學(xué)場景深度融合的智能輔助功能，通過優(yōu)化訓(xùn)練模式與反饋機(jī)制，推動病例匯報(bào)能力培養(yǎng)向精準(zhǔn)化、智能化方向轉(zhuǎn)型。
 

　　該研究成果由上海科技大學(xué)信息科學(xué)與技術(shù)學(xué)院李權(quán)課題組與上海臨床研究中心姜暢醫(yī)師合作完成，并以“CaseMaster: Formulating a Probe for Oral Case Presentation Training with LLM Assistance”為題以最新突破(Late-Breaking Work Track，LBW Track)形式被ACM CHI 2025接收。信息科學(xué)與技術(shù)學(xué)院2023級博士研究生歐陽陽為論文的第一作者，李權(quán)教授為通訊作者。ACM CHI 2025 LBW Track共收到1,888份完整投稿，最終接收了620篇，接收率為32.83%。
 

　　虛擬現(xiàn)實(shí)異步共視技術(shù)突破：彈幕化身系統(tǒng)重塑視頻社交體驗(yàn)
 

　　在傳統(tǒng)的電視和視頻觀看場景中，親友同步觀看曾是社交互動的核心方式?，F(xiàn)代快節(jié)奏的生活與時間差異推動異步共觀模式(如彈幕評論)因此應(yīng)運(yùn)而生。但二維屏幕和純文本交互依然面臨社交臨場感不足、情感傳達(dá)受限等挑戰(zhàn)。
 

　　近期，李權(quán)課題組在融合虛擬現(xiàn)實(shí)(VR)與彈幕技術(shù)方面取得突破性進(jìn)展。課題組提出通過將傳統(tǒng)彈幕轉(zhuǎn)化為沉浸式虛擬形象，解決二維交互中實(shí)時性和情感深度不足的問題。用戶調(diào)研顯示，超過80%的受訪者強(qiáng)烈期待在VR環(huán)境中實(shí)現(xiàn)更具臨場感的異步共觀功能。為此，課題組以亞洲流行的彈幕文化為靈感，設(shè)計(jì)了“虛擬彈幕形象”系統(tǒng)。該系統(tǒng)創(chuàng)新性地將文字評論轉(zhuǎn)化為帶有語音交互能力的虛擬角色，并將其同步嵌入VR觀影環(huán)境中，成功突破了傳統(tǒng)二維界面社交臨場感不足的瓶頸，為異步視頻共視體驗(yàn)樹立了新的范式。課題組招募了13名具有VR設(shè)計(jì)經(jīng)驗(yàn)的高校學(xué)生參與實(shí)驗(yàn)。用戶反饋顯示，虛擬形象的實(shí)時語音互動顯著提升了社交臨場感，并激發(fā)了更強(qiáng)的交流意愿。這一研究成果不僅為異步共觀領(lǐng)域注入了新的活力，也為元宇宙時代的社交娛樂場景開辟了創(chuàng)新方向。
 

　　圖6：彈幕虛擬化身系統(tǒng)的設(shè)計(jì)過程包括四個關(guān)鍵階段：(a) 獲取和處理原始彈幕數(shù)據(jù)；(b) 對評論進(jìn)行處理和聚類，并將其映射到彈幕虛擬化身上，這些虛擬化身能夠通過大型語言模型(LLMs)和非語言行為規(guī)則實(shí)現(xiàn)實(shí)時互動；(c) 彈幕虛擬化身形象選擇面板；(d) 在虛擬現(xiàn)實(shí)(VR)環(huán)境中與彈幕虛擬化身共同觀看視頻的體驗(yàn)。
 

　　該研究由上?？萍即髮W(xué)信息科學(xué)與技術(shù)學(xué)院李權(quán)課題組與中國人民大學(xué)合作完成，并以“Danmaku Avatar: Enabling Asynchronous Co-viewing Experiences in Virtual Reality via Danmaku”為題被ACM CHI 2025 LBW Track收錄。信息科學(xué)與技術(shù)學(xué)院2023級碩士研究生竇小鳳為論文第一作者，李權(quán)教授為通訊作者。