本發(fā)明涉及一種流大數據處理任務(wù)的抗干擾調度方法和裝置,方法包括獲取由數據項組成的數據流,按時(shí)間窗口分批處理各個(gè)數據項,預測后續時(shí)間窗口的數據流;根據預測的后續時(shí)間窗口的數據流,在各個(gè)計算節點(diǎn)中分配任務(wù);以每個(gè)計算節點(diǎn)的處理任務(wù)時(shí)間差距最小、每個(gè)計算節點(diǎn)中任務(wù)的共享資源需求總量不超過(guò)該計算節點(diǎn)一個(gè)時(shí)間窗口內能提供的共享資源的最大值、每個(gè)計算節點(diǎn)的處理任務(wù)時(shí)間不超過(guò)一個(gè)時(shí)間窗口長(cháng)度為目標,進(jìn)行任務(wù)分配;獲取最終的任務(wù)分配結果,對實(shí)際到達的數據流進(jìn)行處理。與現有技術(shù)相比,本發(fā)明從更細的粒度對流大數據處理任務(wù)進(jìn)行調度,降低了任務(wù)在計算節點(diǎn)上執行過(guò)程中的干擾,大大提高了數據中心計算節點(diǎn)的資源利用率。
聲明:
“一種流大數據處理任務(wù)的抗干擾調度方法和裝置” 該技術(shù)專(zhuān)利(論文)所有權利歸屬于技術(shù)(論文)所有人。僅供學(xué)習研究,如用于商業(yè)用途,請聯(lián)系該技術(shù)所有人。
我是此專(zhuān)利(論文)的發(fā)明人(作者)