首頁大數據(ju)百科正文

泰彩彩票

  下(xia)面(mian)是一張(zhang)生態圖,主要(yao)的組件都(du)是為(wei)了方便大家從(cong)底層的MapReduce模型中(zhong)脫離出(chu)來,用高層語言來做分布(bu)式計算,下(xia)文將分zhi)鷂wei)你(ni)作簡述。

一圖簡述大數據(ju)技術(shu)生態圈

  1、HBase

  是一個高可靠性、高性能(neng)、面(mian)向(xiang)列、可伸縮的分布(bu)式存儲系統,利用HBase技術(shu)可在廉價PC Server上(shang)搭建起(qi)大規模結(jie)構(gou)gou) ju)集群。像Facebook,都(du)拿它做大型實(shi)時應(ying)用。

  2、Hive

  Facebook領導的一個數據(ju)倉庫工具,可以(yi)將結(jie)構(gou)gou) 氖ju)文件映射為(wei)一張(zhang)數據(ju)庫表,並提供完整(zheng)的sql查詢功能(neng),可以(yi)將sql語句轉換為(wei)MapReduce任務進行(xing)運行(xing)。其優點是學習成本低,可以(yi)通過類SQL語句快(kuai)速實(shi)現簡單的MapReduce統計。像一些(xie)data scientist 就可以(yi)直(zhi)接查詢,不需要(yao)學習其他編程(cheng)接口。

  3、Pig

  Yahoo開發的,並行(xing)地執行(xing)數據(ju)流處理(li)的引擎,它包(bao)含(han)了一種腳(jiao)本語言,稱為(wei)Pig Latin,用來描述這些(xie)數據(ju)流。Pig Latin本身提供了許多傳統的數據(ju)操(cao)作,同時允許用戶(hu)自(zi)己(ji)開發一些(xie)自(zi)定義函數用來讀取(qu)、處理(li)和寫(xie)數據(ju)。在LinkedIn也(ye)是大量使用。

  4、Cascading/Scalding

  Cascading是Twitter收購(gou)的一個公司(si)技術(shu),主要(yao)是提供數據(ju)管道(dao)的一些(xie)抽象接口,然(ran)後又推出(chu)了基于Cascading的Scala版本就叫Scalding。Coursera是用Scalding作為(wei)MapReduce的編程(cheng)接口放(fang)在Amazon的EMR運行(xing)。

  5、Zookeeper

  一個分布(bu)式的,開放(fang)源碼的分布(bu)式應(ying)用程(cheng)序協調服(fu)務,是Google的Chubby一個開源的實(shi)現。

  6、Oozie

  一個基于工作流引擎的mu) 純kuang)架(jia)。由Cloudera公司(si)貢獻(xian)給(gei)Apache的,它能(neng)夠(gou)提供對Hadoop MapReduce和Pig Jobs的任務調度與協調。

  7、Azkaban

  跟上(shang)面(mian)很(hen)像,Linkedin開源的面(mian)向(xiang)Hadoop的mu) 垂?髁饗低常  ├死嗨樸ron 的管理(li)任務。

  8、Tez

  Hortonworks主推pin)撓嘔apReduce執行(xing)引擎,與MapReduce相比較,Tez在性能(neng)方面(mian)更加出(chu)色。

  注︰本文由ETHINK提供,作者(zhe)︰不可錯過的大數據(ju),版權著作權屬原(yuan)創者(zhe)所(suo)有,編輯︰Fynlch(王培),數據(ju)觀微信公眾號(ID:cbdioreview),欲了解更多大數據(ju)行(xing)業相關資訊,可搜索數據(ju)觀(中(zhong)國大數據(ju)產業觀察網www.cbdio.com)進入查看。

責任編輯︰王培

分享︰
延伸閱讀
    數博故事(shi)
    貴(gui)州

    貴(gui)州大數據(ju)產業政策

    貴(gui)州大數據(ju)產業動態

    貴(gui)州大數據(ju)企業

    更多
    大數據(ju)概念_大數據(ju)分析_大數據(ju)應(ying)用_大數據(ju)百科專題
    企業
    更多
    泰彩彩票 | 下一页