本申請公開了一種自適應蛋白質預測框架的實現方法、裝置及設備,該方法包括:基于BERT式掩蓋語言模型處理源數據,得到訓練樣本集;對Transformer模型進行無監督預訓練,得到教師模型;固定教師模型的參數,對教師模型和學生模型進行協同訓練,并僅優化學生模型的參數,以將教師模型的知識蒸餾到學生模型中,在知識蒸餾過程中,利用搬土距離算法自適應地學習預訓練教師模型的中間隱藏層和學生模型的中間隱藏層之間多對多的映射關系;利用經訓練的學生模型進行不同的蛋白質預測任務預測,輸出預測結果。通過上述方式,能夠顯著中間緩解模型龐大帶來的計算資源不足以及訓練、推斷時間過長的問題。
聲明:
“自適應蛋白質預測框架的實現方法、裝置及設備” 該技術專利(論文)所有權利歸屬于技術(論文)所有人。僅供學習研究,如用于商業用途,請聯系該技術所有人。
我是此專利(論文)的發明人(作者)