本發明的目的是提供一種基于圖神經網絡的整體知識蒸餾方法,包括:給定老師和學生網絡學習到的特征表示和分類預測的結果,以每個樣本為節點,網絡學習到的特征為節點的屬性,分類預測結果的K近鄰(KNN)關系為邊,為每個網絡構建一個屬性圖;使用拓撲結構自適應的圖卷積神經網絡聚合屬性圖中鄰域樣本的節點屬性以及拓撲信息來提取整體性知識,表示為統一的基于圖的嵌入向量;使用infoNCE估計最大化學生網絡與老師網絡的圖嵌入表示的互信息,并使用特征記憶存儲技術加速訓練效率。該方法:可以同時整合老師網絡中個體上的知識和關系上的知識,使學生網絡學習到整體性的知識,從而提升學生網絡的性能。
聲明:
“基于圖神經網絡的整體知識蒸餾方法和系統” 該技術專利(論文)所有權利歸屬于技術(論文)所有人。僅供學習研究,如用于商業用途,請聯系該技術所有人。
我是此專利(論文)的發明人(作者)