離線計(jì)算就是在計(jì)算開(kāi)始前已知所有輸入數(shù)據(jù),輸入數(shù)據(jù)不會(huì)產(chǎn)生變化,且在解決一個(gè)問(wèn)題后就要立即得出結(jié)果的前提下進(jìn)行的計(jì)算。在大數(shù)據(jù)中屬于數(shù)據(jù)的計(jì)算部分,在該部分中與離線計(jì)算對(duì)應(yīng)的則是實(shí)時(shí)計(jì)算。
在離線計(jì)算中,使用Hdfs存儲(chǔ)數(shù)據(jù),使用MapReduce做批量計(jì)算,計(jì)算完成的數(shù)據(jù)如需數(shù)據(jù)倉(cāng)庫(kù)的存儲(chǔ),直接存入Hive , 然后從Hive進(jìn)行展現(xiàn)。
1、數(shù)據(jù)量巨大且保存時(shí)間長(zhǎng);
2、在大量數(shù)據(jù)上進(jìn)行復(fù)雜的批量運(yùn)算;
3、數(shù)據(jù)在計(jì)算之前已經(jīng)完全到位,不會(huì)發(fā)生變化;
4、能夠方便的查詢(xún)批量計(jì)算的結(jié)果。