云計(jì)算大數(shù)據(jù)：企業(yè)中處理數(shù)據(jù)的兩種主要方式

2011年在海量數(shù)據(jù)處理領(lǐng)域，Hadoop是人們津津樂(lè)道的技術(shù)，Hadoop不僅可以用來(lái)存儲(chǔ)海量數(shù)據(jù)，還以用來(lái)計(jì)算海量數(shù)據(jù)。因?yàn)槠涓咄掏?、高可靠等特點(diǎn)，很多互聯(lián)網(wǎng)公司都已經(jīng)使用Hadoop來(lái)構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)，高頻使用并促進(jìn)了Hadoop生態(tài)圈的各項(xiàng)技術(shù)的發(fā)展。

下圖是來(lái)自360圖片搜索服務(wù)的圖片,可以看看Hadoop和storm所在位置。

一般來(lái)講，根據(jù)業(yè)務(wù)需求，數(shù)據(jù)的處理可以分為離線(xiàn)處理和實(shí)時(shí)處理，在離線(xiàn)處理方面Hadoop提供了很好的解決方案，但是針對(duì)海量數(shù)據(jù)的實(shí)時(shí)處理卻一直沒(méi)有比較好的解決方案。就在人們翹首以待的時(shí)間節(jié)點(diǎn)，storm橫空出世，與生俱來(lái)的分布式、高可靠、高吞吐的特性，橫掃市面上的一些流式計(jì)算框架，漸漸的成為了流式計(jì)算的首選框架。如果龐麥郎在的話(huà)，他一定會(huì)說(shuō)，這就是我要的滑板鞋!

在2013年前后，阿里巴巴開(kāi)源了基于storm的設(shè)計(jì)思路使用java重現(xiàn)編寫(xiě)的流式計(jì)算框架jstorm。

那jstorm是什么呢?

在jstorm早期的介紹中，一般會(huì)出現(xiàn)下面的語(yǔ)句：JStorm 比Storm更穩(wěn)定，更強(qiáng)大，更快，Storm上跑的程序，一行代碼不變可以運(yùn)行在JStorm上。

在最新的介紹中，jstorm的團(tuán)隊(duì)是這樣介紹的：JStorm 是一個(gè)類(lèi)似Hadoop MapReduce的系統(tǒng)， 用戶(hù)按照指定的接口實(shí)現(xiàn)一個(gè)任務(wù)，然后將這個(gè)任務(wù)遞交給JStorm系統(tǒng)，Jstorm將這個(gè)任務(wù)跑起來(lái)，并且按7 * 24小時(shí)運(yùn)行起來(lái)，一旦中間一個(gè)Worker 發(fā)生意外故障， 調(diào)度器立即分配一個(gè)新的Worker替換這個(gè)失效的Worker。因此，從應(yīng)用的角度，JStorm 應(yīng)用是一種遵守某種編程規(guī)范的分布式應(yīng)用。從系統(tǒng)角度， JStorm一套類(lèi)似MapReduce的調(diào)度系統(tǒng)。 從數(shù)據(jù)的角度， 是一套基于流水線(xiàn)的消息處理機(jī)制。

實(shí)時(shí)計(jì)算現(xiàn)在是大數(shù)據(jù)領(lǐng)域中最火爆的一個(gè)方向，因?yàn)槿藗儗?duì)數(shù)據(jù)的要求越來(lái)越高，實(shí)時(shí)性要求也越來(lái)越快，傳統(tǒng)的Hadoop MapReduce，逐漸滿(mǎn)足不了需求，因此在這個(gè)領(lǐng)域需求不斷?，F(xiàn)在，Jstom在淘寶海量的數(shù)據(jù)和大量的業(yè)務(wù)場(chǎng)景的錘煉下，從開(kāi)始的追隨者，使用者慢慢的演變成了流式計(jì)算技術(shù)的領(lǐng)導(dǎo)者。