成果介紹
本發(fā)明實(shí)施例提供一種緩存數(shù)據(jù)遷移方法及裝置,涉及計(jì)算機(jī)領(lǐng)域,該方法包括:當(dāng)計(jì)算區(qū)的空閑空間不足以運(yùn)行由Spark執(zhí)行引擎調(diào)度的子任務(wù)時(shí),計(jì)算搶占空間的大小,搶占空間的大小為子任務(wù)的運(yùn)行空間的大小減去計(jì)算區(qū)的空閑空間的大小,統(tǒng)計(jì)存儲(chǔ)區(qū)的空閑空間和有效空間的大小,并判斷搶占空間的大小是否大于存儲(chǔ)區(qū)的空閑空間的大小和存儲(chǔ)區(qū)的有效空間的大小,當(dāng)搶占空間的大小大于存儲(chǔ)區(qū)的空閑空間的大小且不大于存儲(chǔ)區(qū)的有效空間的大小時(shí),將存儲(chǔ)區(qū)的緩存數(shù)據(jù)遷移至二級(jí)緩存,遷移至二級(jí)緩存的緩存數(shù)據(jù)的大小為搶占空間的大小減去存儲(chǔ)區(qū)的空閑空間的大小。該方法及裝置避免了部分計(jì)算任務(wù)的重復(fù)操作,保護(hù)了Spark執(zhí)行引擎的性能。
成果應(yīng)用案例介紹
方法過程>傳輸方法>數(shù)據(jù)傳輸方法