主講人:黃力
時(shí)間:2025年4月27日 9:30—11:30
地點(diǎn):文昌校區(qū)第五教學(xué)樓東403
報(bào)告摘要:大模型動(dòng)態(tài)演化理論:DeepSeek的持續(xù)學(xué)習(xí)突破
隨著人工智能技術(shù)的飛速發(fā)展,大模型在眾多領(lǐng)域展現(xiàn)出了強(qiáng)大的能力,但傳統(tǒng)的靜態(tài)大模型在面對(duì)不斷變化的數(shù)據(jù)和任務(wù)時(shí),逐漸暴露出局限性。為了使大模型能夠適應(yīng)動(dòng)態(tài)環(huán)境,持續(xù)學(xué)習(xí)成為了關(guān)鍵研究方向。DeepSeek作為其中的代表,在持續(xù)學(xué)習(xí)方面取得了顯著突破。大模型的動(dòng)態(tài)演化涉及多個(gè)關(guān)鍵環(huán)節(jié):首先,要解決災(zāi)難性遺忘問(wèn)題,需要有效的神經(jīng)突觸保護(hù)機(jī)制來(lái)確定新知識(shí)與舊知識(shí)之間的關(guān)聯(lián),確保模型知識(shí)的連貫性;其次,增量學(xué)習(xí)中的參數(shù)空間重組策略至關(guān)重要,隨著新數(shù)據(jù)的輸入,模型需合理調(diào)整參數(shù)空間,優(yōu)化結(jié)構(gòu)以高效整合新知識(shí);再者,知識(shí)蒸餾的梯度沖突消解技術(shù)也不可或缺,它能提高知識(shí)傳遞的效率與準(zhǔn)確性;最后,構(gòu)建科學(xué)合理的終身學(xué)習(xí)評(píng)估體系,從多維度考量模型在不同學(xué)習(xí)階段的性能等關(guān)鍵指標(biāo)。上述各環(huán)節(jié)仍面臨諸多挑戰(zhàn),DeepSeek的突破為大模型的持續(xù)發(fā)展提供了新的思路和方法。
主講人簡(jiǎn)介:黃力,教授,碩士生導(dǎo)師,廣西科技大學(xué)計(jì)算機(jī)學(xué)院(軟件學(xué)院)人工智能教育教學(xué)研究中心主任,主要從事人工智能、大數(shù)據(jù)應(yīng)用等領(lǐng)域科研與教學(xué)工作,柳州市第 12 批拔尖人才。近五年來(lái),主持或參與完成國(guó)家自然科學(xué)基金項(xiàng)目 3 項(xiàng)、廣西科技廳重大項(xiàng)目 1 項(xiàng)、廣西哲學(xué)社會(huì)規(guī)劃課題項(xiàng)目 3 項(xiàng),獲得發(fā)明專利授權(quán) 16 件,計(jì)算機(jī)軟件著作登記 12 件,先后發(fā)表人工智能、大數(shù)據(jù)、云計(jì)算等領(lǐng)域高水平學(xué)術(shù)論文 12 篇,其中被國(guó)際著名檢索工具 SCI 或 EI 收錄論文 4 篇,出版專著 1 部、主編教材 1 部 。