基于雙注意力模型的圖像描述方法

本發(fā)明通過(guò)網(wǎng)絡(luò )安全領(lǐng)域的方法，實(shí)現了一種基于雙注意力模型的圖像描述方法。采用“編碼器?解碼器”框架結構完成圖像描述研究任務(wù)，將卷積神經(jīng)網(wǎng)絡(luò )+長(cháng)短期記憶網(wǎng)絡(luò )+注意力機制結合的框架；首先構建編碼器，借助ResNeXt?101網(wǎng)絡(luò )和目標檢測器Faster R?CNN來(lái)構建新的編碼器模型以此獲取待測圖像的目標區域并進(jìn)行特征提??；之后構建解碼器，使雙注意力機制和雙層LSTM構建新的解碼器來(lái)生成圖像的描述語(yǔ)句；最后對模型進(jìn)行優(yōu)化，采用REINFORCE強化學(xué)習算法對模型進(jìn)行優(yōu)化。本發(fā)明提供的方法能夠有效的提高圖像描述模型的準確率以及圖像描述內容的豐富度，提高圖像描述模型的整體性能。