本發明公開了一種分布式機器學習數據劃分方法,分為四個步驟:初始化、神經網絡訓練、狀態選取、數據劃分。本發明首先進行了驗證實驗,觀察到每個任務使用的資源量不同時,在BSP模式下,整個系統一輪完成時間總是取決于資源使用量最少的那個任務。這無疑浪費了大量的資源,嚴重拖慢整個系統的完成時間;然后根據量化分析結果,定義了問題模型和優化目標,即在保證分布式機器學習模型訓練精度值的前提下,提高整個分布式機器學習模型訓練作業的計算效率;最后本發明提出一種基于強化學習的分布式機器學習數據劃分方法,并設計了一個雙目標神經網絡,與現在有的傳統數據劃分策略相比發明的數據劃分方法使整個分布式機器學習模型訓練的每輪計算效率顯著提高,對加快分布式機器學習執行速度有較強的指導意義。
聲明:
“面向分布式機器學習的數據劃分方法” 該技術專利(論文)所有權利歸屬于技術(論文)所有人。僅供學習研究,如用于商業用途,請聯系該技術所有人。
我是此專利(論文)的發明人(作者)