本發明公開一種基于深度強化學習的流水線并行訓練任務分配方法,步驟為:初始化深度學習模型,并把該模型載入;建立對目標深度學習模型運行時分析方案,構建模型參數文本庫;根據獲取的模型參數文本信息,構建任務分配預測網絡;使用策略梯度訓練預測網絡,直至生成最優流水線并行任務分配方案;按照生成的最優任務分配方案,在異構計算節點中部署模型,完成訓練任務。本發明有效避免節點計算能力和網絡帶寬差差異帶來的負載不均衡問題,提高模型訓練速度,并且模型參數越大,提升效果越明顯。
聲明:
“基于深度強化學習的流水線并行訓練任務分配方法” 該技術專利(論文)所有權利歸屬于技術(論文)所有人。僅供學習研究,如用于商業用途,請聯系該技術所有人。
我是此專利(論文)的發明人(作者)