本發明涉及一種流大數據處理任務的抗干擾調度方法和裝置,方法包括獲取由數據項組成的數據流,按時間窗口分批處理各個數據項,預測后續時間窗口的數據流;根據預測的后續時間窗口的數據流,在各個計算節點中分配任務;以每個計算節點的處理任務時間差距最小、每個計算節點中任務的共享資源需求總量不超過該計算節點一個時間窗口內能提供的共享資源的最大值、每個計算節點的處理任務時間不超過一個時間窗口長度為目標,進行任務分配;獲取最終的任務分配結果,對實際到達的數據流進行處理。與現有技術相比,本發明從更細的粒度對流大數據處理任務進行調度,降低了任務在計算節點上執行過程中的干擾,大大提高了數據中心計算節點的資源利用率。
聲明:
“一種流大數據處理任務的抗干擾調度方法和裝置” 該技術專利(論文)所有權利歸屬于技術(論文)所有人。僅供學習研究,如用于商業用途,請聯系該技術所有人。
我是此專利(論文)的發明人(作者)