大尺度电影未删减版本|九九精品在线视频|欧美专区亚洲|99色这里只有精品,99国产精品欧美一区二区三区 ,久久久久久久97,日韩香蕉网

本發(fā)明實(shí)施例提供一種緩存數(shù)據(jù)遷移方法及裝置，涉及計(jì)算機(jī)領(lǐng)域，該方法包括：當(dāng)計(jì)算區(qū)的空閑空間不足以運(yùn)行由Spark執(zhí)行引擎調(diào)度的子任務(wù)時(shí)，計(jì)算搶占空間的大小，搶占空間的大小為子任務(wù)的運(yùn)行空間的大小減去計(jì)算區(qū)的空閑空間的大小，統(tǒng)計(jì)存儲(chǔ)區(qū)的空閑空間和有效空間的大小，并判斷搶占空間的大小是否大于存儲(chǔ)區(qū)的空閑空間的大小和存儲(chǔ)區(qū)的有效空間的大小，當(dāng)搶占空間的大小大于存儲(chǔ)區(qū)的空閑空間的大小且不大于存儲(chǔ)區(qū)的有效空間的大小時(shí)，將存儲(chǔ)區(qū)的緩存數(shù)據(jù)遷移至二級(jí)緩存，遷移至二級(jí)緩存的緩存數(shù)據(jù)的大小為搶占空間的大小減去存儲(chǔ)區(qū)的空閑空間的大小。該方法及裝置避免了部分計(jì)算任務(wù)的重復(fù)操作，保護(hù)了Spark執(zhí)行引擎的性能。

方法過程>傳輸方法>數(shù)據(jù)傳輸方法