本申請公開了一種圖像描述模型的訓練方法及訓練裝置。所述訓練方法包括:針對圖文對訓練集中任一候選圖像,首先輸入詞粒度訓練后的圖像描述模型得到候選預測文本,然后將候選圖像和候選預測文本輸入預訓練的圖文匹配模型確定圖文相似度后,再將候選預測文本和候選標注文本的CIDEr與圖文相似度按照預設比例相加,得到當前獎勵值,根據當前獎勵值獲取參數更新梯度,進而完成詞粒度訓練后的圖像描述模型在句子級別的微調。整個訓練方法利用強化學習的方法把預訓練的圖文匹配模型與圖像描述模型聯系起來,使得訓練后的圖像描述模型能夠生成與實際圖像匹配程度較高的預測描述文本,可以提高圖像描述模型的預測精度。
聲明:
“圖像描述模型的訓練方法及訓練裝置” 該技術專利(論文)所有權利歸屬于技術(論文)所有人。僅供學習研究,如用于商業用途,請聯系該技術所有人。
我是此專利(論文)的發明人(作者)