本發明公開了一種基于強化學習的視頻連續手語識別方法及系統,方法包括:基于殘差連接的三維卷積神經網絡對原始手語視頻的各個視頻段進行時空域特征提取,對時空域特征利用雙向長短時記憶網絡進行上下文學習,得到手語視頻的特征;基于多尺度感知網絡對手語視頻進行不同感受野下的再表達,以最小化聯結主義時間分類損失為目標將網絡訓練至收斂后,將殘差連接的三維卷積神經網絡和雙向長短時記憶網絡提取的視頻特征保存;基于保存的視頻特征,利用邊界檢測器根據定義的狀態確定出視頻段的語義邊界;將兩兩邊界之間語義一致的若干個視頻段以池化的方式進一步提取特征,基于進一步提取到的特征進行手語詞匯的識別。本發明能夠提高手語識別性能。
聲明:
“基于強化學習的視頻連續手語識別方法及系統” 該技術專利(論文)所有權利歸屬于技術(論文)所有人。僅供學習研究,如用于商業用途,請聯系該技術所有人。
我是此專利(論文)的發明人(作者)