近年來，深度學(xué)習(xí)逐漸成為冷凍電鏡圖像處理流程中顆粒挑選的常用方法。然而，現(xiàn)有基于深度學(xué)習(xí)的顆粒挑選方法無法在新數(shù)據(jù)訓(xùn)練中動(dòng)態(tài)地向模型中積累新的知識。也就是說，現(xiàn)有模型在新樣本上被訓(xùn)練后，雖然能夠在*新的數(shù)據(jù)上獲得良好的性能，但是往往無法保持其在舊數(shù)據(jù)上的顆粒挑選精度。此外，現(xiàn)有方法都是在特定數(shù)據(jù)集上訓(xùn)練出通用模型，當(dāng)要加入新的訓(xùn)練數(shù)據(jù)時(shí)存儲和計(jì)算成本都很高，大大限制了其在未曾見過的數(shù)據(jù)上的識別能力和精度。因此，我們需要改進(jìn)現(xiàn)有深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練的方式和方法。同時(shí)，現(xiàn)有的冷凍電鏡設(shè)施每天都在產(chǎn)生大量的新數(shù)據(jù)。如果能發(fā)展一種持續(xù)學(xué)習(xí)的技術(shù)，在持續(xù)的應(yīng)用過程中，讓深度神經(jīng)網(wǎng)絡(luò)能夠不斷地學(xué)習(xí)和積累新數(shù)據(jù)中的新特征，不斷地增強(qiáng)對生物樣本圖像識別能力，對發(fā)展現(xiàn)代化的自動(dòng)化冷凍電鏡系統(tǒng)具有非常重要的意義。
清華大學(xué)生命科學(xué)學(xué)院李雪明副教授團(tuán)隊(duì)，清華大學(xué)電子工程系沈淵教授團(tuán)隊(duì)，北京科技大學(xué)計(jì)算機(jī)與通信工程學(xué)院陳健生教授團(tuán)隊(duì)聯(lián)合在《自然?通訊》（Nature Communications）雜志在線發(fā)表研究論文，題目為“一種用于冷凍電鏡顆粒挑選知識積累的范例驅(qū)動(dòng)持續(xù)學(xué)習(xí)方法EPicker”（EPicker is an exemplar-based continual learning approach for knowledge accumulation in cryoEM particle picking）。該論文報(bào)道了一種范例驅(qū)動(dòng)的持續(xù)學(xué)習(xí)方法在蛋白質(zhì)顆粒挑選中的應(yīng)用，通過在顆粒挑選過程中不斷學(xué)習(xí)新的知識來擴(kuò)展檢測模型識別生物大分子的能力。發(fā)展持續(xù)學(xué)習(xí)方法的重要意義在于，可以使人工深度神經(jīng)網(wǎng)絡(luò)具有類似人的學(xué)習(xí)方式，在使用中持續(xù)學(xué)習(xí)新知識、新技能，從而不斷增強(qiáng)自身能力。EPicker經(jīng)過訓(xùn)練之后可以挑選蛋白質(zhì)顆粒、囊泡和纖維等廣泛的生物對象。
圖1 EPicker的網(wǎng)絡(luò)框架和持續(xù)學(xué)習(xí)的示意圖
針對現(xiàn)有方法的不足之處，研究團(tuán)隊(duì)設(shè)計(jì)了一種基于持續(xù)學(xué)習(xí)的顆粒挑選算法，能夠在訓(xùn)練神經(jīng)網(wǎng)絡(luò)的過程中不斷積累新的顆粒挑選知識，提高通用模型的顆粒挑選能力。該算法通過設(shè)計(jì)雙路網(wǎng)絡(luò)結(jié)構(gòu)（圖1）和融合知識蒸餾、歷史回放、正則化、稀疏標(biāo)注方法，將新樣本的知識不斷積累到通用模型中去的同時(shí)，不會(huì)遺忘舊知識。這很好解決了模型在新數(shù)據(jù)上訓(xùn)練后無法挑選舊數(shù)據(jù)樣本的問題。基于這些算法，研究團(tuán)隊(duì)開發(fā)了一個(gè)名為EPicker的新軟件系統(tǒng)。為了進(jìn)一步擴(kuò)展方法的適用范圍，團(tuán)隊(duì)針對廣泛的生物對象設(shè)計(jì)了相應(yīng)的挑選算法，包括挑選囊泡和纖維等多種不同的生物對象，支持有偏和無偏的顆粒挑選方式以滿足用戶的不同需求等等。通過在具有代表性和挑戰(zhàn)性的數(shù)據(jù)集上進(jìn)行大量實(shí)驗(yàn)，并與目前較為流行的顆粒挑選方法進(jìn)行對比，驗(yàn)證了EPicker的有效性和優(yōu)越性（圖2）。實(shí)驗(yàn)結(jié)果表明，EPicker可以通過高效、高度自動(dòng)化的持續(xù)學(xué)習(xí)過程得到精度高、召回高且泛化能力強(qiáng)的蛋白質(zhì)顆粒挑選結(jié)果。
圖2 不同方法的顆粒挑選結(jié)果比較
清華大學(xué)生命科學(xué)學(xué)院李雪明副教授、清華大學(xué)電子工程系沈淵教授，北京科技大學(xué)計(jì)算機(jī)與通信工程學(xué)院陳健生教授為本文的共同通訊作者。清華大學(xué)電子工程系2019級碩士生張馨予，2020級碩士生趙天放為該論文的共同**作者。本工作獲得了科技部重點(diǎn)研發(fā)計(jì)劃，國家自然科學(xué)基金委，北京市結(jié)構(gòu)生物學(xué)高精尖**中心，北京???生物結(jié)構(gòu)前沿研究中心，生命科學(xué)聯(lián)合中心和北京信息科學(xué)與技術(shù)國家研究中心等的資金支持。
