為了徹底擺脫管理規(guī)劃的束縛并告別在內(nèi)容探索前需要對(duì)輸入數(shù)據(jù)進(jìn)行的長(zhǎng)時(shí)間ETL（即提娶轉(zhuǎn)換與加載）任務(wù)，MapR在其Hadoop發(fā)行版中引入了ApacheDrill分布式ANSISQL查詢(xún)引擎。

為了幫助用戶(hù)告別一系列強(qiáng)度極高的數(shù)據(jù)工程處理任務(wù)，MapR日前對(duì)其Hadoop發(fā)行版進(jìn)行了更新、核心內(nèi)容在于引入ApacheDrill0.5。

Drill是一款開(kāi)源分布式ANSISQL查詢(xún)引擎，旨在進(jìn)行自助式數(shù)據(jù)探索——它屬于谷歌Dremel系統(tǒng)的開(kāi)源版本，搜索巨頭將其作為BigQuery服務(wù)的核心組件之一實(shí)現(xiàn)內(nèi)部大型數(shù)據(jù)集的查詢(xún)工作。ApacheDrill的既定目標(biāo)是擁有擴(kuò)展至上萬(wàn)臺(tái)甚至更多服務(wù)器的強(qiáng)大能力，同時(shí)保證用戶(hù)可以在數(shù)秒之內(nèi)處理PB級(jí)別數(shù)據(jù)以及上萬(wàn)億條記錄信息。

Drill查詢(xún)引擎擁有以下各項(xiàng)能力：

=在不改變?cè)袷降那疤嵯逻M(jìn)行數(shù)據(jù)探索（包括Parquet、JSON文件以及HBase表），而且無(wú)需數(shù)據(jù)庫(kù)管理員的介入。

對(duì)不斷變化且來(lái)自MongoDB等NoSQL數(shù)據(jù)存儲(chǔ)體系以及在線(xiàn)RESTAPI的半結(jié)構(gòu)化/嵌套式數(shù)據(jù)進(jìn)行分析。

創(chuàng)建出能夠同時(shí)包含多種不同Hadoop數(shù)據(jù)源的查詢(xún)機(jī)制，例如文件、HBase表以及Hive表。

重復(fù)使用現(xiàn)有SQL技術(shù)集、商務(wù)智能工具以及ApacheHive部署方案。

“我們對(duì)此感到非常興奮，因?yàn)樗嬲_(kāi)啟了SQL-on-Hadoop的發(fā)展新時(shí)代，”MapR公司首席營(yíng)銷(xiāo)官JackNorris表示?！捌潢P(guān)注重點(diǎn)在于為Hadoop帶來(lái)自助式數(shù)據(jù)探索能力，且完全無(wú)需IT部門(mén)的介入?！?/p>

這是因?yàn)镈rill能夠?yàn)橛脩?hù)帶來(lái)讓SQL查詢(xún)直接面向多種數(shù)據(jù)格式加以運(yùn)行的能力，它可以被用于對(duì)剛剛傳輸?shù)降膶?shí)時(shí)數(shù)據(jù)進(jìn)行探索、而不再需要相關(guān)技術(shù)人員花費(fèi)數(shù)周時(shí)間籌備管理規(guī)劃或者設(shè)置ETL任務(wù)。通過(guò)這種方式，它成功地幫助使用者在處理多種數(shù)據(jù)源時(shí)擁有了即時(shí)性自助式數(shù)據(jù)探索方案。

“企業(yè)用戶(hù)希望能夠?qū)Ρ４嬖贖adoop以及NoSQL數(shù)據(jù)庫(kù)當(dāng)中的數(shù)據(jù)加以訪(fǎng)問(wèn)，并利用現(xiàn)有SQL分析技能將這種訪(fǎng)問(wèn)能力拓展到更為廣泛的實(shí)際使用者群體當(dāng)中，”451研究機(jī)構(gòu)數(shù)據(jù)平臺(tái)與分析研究主管MattAslett指出?！癆pacheDrill有能力幫助用戶(hù)訪(fǎng)問(wèn)Hadoop當(dāng)中存儲(chǔ)的數(shù)據(jù)，而且完全無(wú)需制定任何集中式規(guī)劃。除此之外，包含嵌套與重復(fù)域等復(fù)雜數(shù)據(jù)結(jié)構(gòu)的NoSQL數(shù)據(jù)集也可以得到直接使用，這在傳統(tǒng)SQL-on-Hadoop方案當(dāng)中是完全不可想象的?！?/p>

“其它任何一款SQL-on-Hadoop解決方案，無(wú)論是Hive、Tez或者其它什么產(chǎn)品，在運(yùn)行當(dāng)中都需要依賴(lài)于固定的規(guī)劃與模式，”Norris同時(shí)補(bǔ)充稱(chēng)?！盁o(wú)論大家著眼于MapReduce、Hive或者其它任何一種SQL-on-Hadoop解決方案，都需要某種中間人機(jī)制負(fù)責(zé)處理建模、數(shù)據(jù)轉(zhuǎn)換以及分析支持等任務(wù)。Drill的亮點(diǎn)則正在于此——可以在無(wú)需等待的前提下實(shí)現(xiàn)數(shù)據(jù)探索，而這無(wú)疑會(huì)讓用戶(hù)擁有令人振奮的速度與敏捷性?xún)?yōu)勢(shì)?！?/p>

MapR公司將Drill打包塞進(jìn)了MapR4.0.1版本，此版本日前剛剛閃亮登常這款Hadoop發(fā)行版最新版本對(duì)自身面向各類(lèi)用例的實(shí)時(shí)處理能力進(jìn)行了顯著擴(kuò)展，具體用例類(lèi)型包括業(yè)務(wù)應(yīng)用程序、交互式查詢(xún)以及數(shù)據(jù)流處理等。

新版本當(dāng)中還包含多套批處理框架，具體有MapReduce1.x與2.x（基于YARN）以及Spark（0.9與1.0.2版本）。它還支持五項(xiàng)SQL-on-Hadoop技術(shù)方案：Hive（0.11、0.12與0.13版本）、Drill（0.5版本）、SparkSQL（1.0.2版本）、Impala（1.3.1版本）并且擁有與惠普Vertica相集成的認(rèn)證資質(zhì)。它新增了面向HBase（0.94.21與0.98.4版本）的支持能力以及MapR-DBNoSQL技術(shù)。此外，最新的MapR還擁有三項(xiàng)機(jī)器學(xué)習(xí)與圖形庫(kù)方案，分別為Mahout（0.8與0.9版本）、MLLib（0.9與1.0.2版本）外加GraphX。

咨詢(xún)400-6677-656

咨詢(xún)QQ：