為了徹底擺脫管理規(guī)劃的束縛并告別在內(nèi)容探索前需要對輸入數(shù)據(jù)進(jìn)行的長時(shí)間ETL（即提娶轉(zhuǎn)換與加載）任務(wù)，MapR在其Hadoop發(fā)行版中引入了ApacheDrill分布式ANSISQL查詢引擎。

為了幫助用戶告別一系列強(qiáng)度極高的數(shù)據(jù)工程處理任務(wù)，MapR日前對其Hadoop發(fā)行版進(jìn)行了更新、核心內(nèi)容在于引入ApacheDrill0.5。

Drill是一款開源分布式ANSISQL查詢引擎，旨在進(jìn)行自助式數(shù)據(jù)探索——它屬于谷歌Dremel系統(tǒng)的開源版本，搜索巨頭將其作為BigQuery服務(wù)的核心組件之一實(shí)現(xiàn)內(nèi)部大型數(shù)據(jù)集的查詢工作。ApacheDrill的既定目標(biāo)是擁有擴(kuò)展至上萬臺(tái)甚至更多服務(wù)器的強(qiáng)大能力，同時(shí)保證用戶可以在數(shù)秒之內(nèi)處理PB級別數(shù)據(jù)以及上萬億條記錄信息。

Drill查詢引擎擁有以下各項(xiàng)能力：

=在不改變原生格式的前提下進(jìn)行數(shù)據(jù)探索（包括Parquet、JSON文件以及HBase表），而且無需數(shù)據(jù)庫管理員的介入。

對不斷變化且來自MongoDB等NoSQL數(shù)據(jù)存儲(chǔ)體系以及在線RESTAPI的半結(jié)構(gòu)化/嵌套式數(shù)據(jù)進(jìn)行分析。

創(chuàng)建出能夠同時(shí)包含多種不同Hadoop數(shù)據(jù)源的查詢機(jī)制，例如文件、HBase表以及Hive表。

重復(fù)使用現(xiàn)有SQL技術(shù)集、商務(wù)智能工具以及ApacheHive部署方案。

“我們對此感到非常興奮，因?yàn)樗嬲_啟了SQL-on-Hadoop的發(fā)展新時(shí)代，”MapR公司首席營銷官JackNorris表示。“其關(guān)注重點(diǎn)在于為Hadoop帶來自助式數(shù)據(jù)探索能力，且完全無需IT部門的介入?！?/p>

這是因?yàn)镈rill能夠?yàn)橛脩魩碜孲QL查詢直接面向多種數(shù)據(jù)格式加以運(yùn)行的能力，它可以被用于對剛剛傳輸?shù)降膶?shí)時(shí)數(shù)據(jù)進(jìn)行探索、而不再需要相關(guān)技術(shù)人員花費(fèi)數(shù)周時(shí)間籌備管理規(guī)劃或者設(shè)置ETL任務(wù)。通過這種方式，它成功地幫助使用者在處理多種數(shù)據(jù)源時(shí)擁有了即時(shí)性自助式數(shù)據(jù)探索方案。

“企業(yè)用戶希望能夠?qū)Ρ４嬖贖adoop以及NoSQL數(shù)據(jù)庫當(dāng)中的數(shù)據(jù)加以訪問，并利用現(xiàn)有SQL分析技能將這種訪問能力拓展到更為廣泛的實(shí)際使用者群體當(dāng)中，”451研究機(jī)構(gòu)數(shù)據(jù)平臺(tái)與分析研究主管MattAslett指出。“ApacheDrill有能力幫助用戶訪問Hadoop當(dāng)中存儲(chǔ)的數(shù)據(jù)，而且完全無需制定任何集中式規(guī)劃。除此之外，包含嵌套與重復(fù)域等復(fù)雜數(shù)據(jù)結(jié)構(gòu)的NoSQL數(shù)據(jù)集也可以得到直接使用，這在傳統(tǒng)SQL-on-Hadoop方案當(dāng)中是完全不可想象的?！?/p>

“其它任何一款SQL-on-Hadoop解決方案，無論是Hive、Tez或者其它什么產(chǎn)品，在運(yùn)行當(dāng)中都需要依賴于固定的規(guī)劃與模式，”Norris同時(shí)補(bǔ)充稱。“無論大家著眼于MapReduce、Hive或者其它任何一種SQL-on-Hadoop解決方案，都需要某種中間人機(jī)制負(fù)責(zé)處理建模、數(shù)據(jù)轉(zhuǎn)換以及分析支持等任務(wù)。Drill的亮點(diǎn)則正在于此——可以在無需等待的前提下實(shí)現(xiàn)數(shù)據(jù)探索，而這無疑會(huì)讓用戶擁有令人振奮的速度與敏捷性優(yōu)勢。”

MapR公司將Drill打包塞進(jìn)了MapR4.0.1版本，此版本日前剛剛閃亮登常這款Hadoop發(fā)行版最新版本對自身面向各類用例的實(shí)時(shí)處理能力進(jìn)行了顯著擴(kuò)展，具體用例類型包括業(yè)務(wù)應(yīng)用程序、交互式查詢以及數(shù)據(jù)流處理等。

新版本當(dāng)中還包含多套批處理框架，具體有MapReduce1.x與2.x（基于YARN）以及Spark（0.9與1.0.2版本）。它還支持五項(xiàng)SQL-on-Hadoop技術(shù)方案：Hive（0.11、0.12與0.13版本）、Drill（0.5版本）、SparkSQL（1.0.2版本）、Impala（1.3.1版本）并且擁有與惠普Vertica相集成的認(rèn)證資質(zhì)。它新增了面向HBase（0.94.21與0.98.4版本）的支持能力以及MapR-DBNoSQL技術(shù)。此外，最新的MapR還擁有三項(xiàng)機(jī)器學(xué)習(xí)與圖形庫方案，分別為Mahout（0.8與0.9版本）、MLLib（0.9與1.0.2版本）外加GraphX。

咨詢400-6677-656

咨詢QQ：