本篇文章847字,讀完約2分鐘

阿里云國際站經(jīng)銷商,主營阿里云,騰訊云,華為云,亞馬遜aws,谷歌云gcp,微軟云az,免費開戶,代充值優(yōu)惠大,聯(lián)系客服飛機(jī)@jkkddd


通過ES-Hadoop實現(xiàn)Hive讀寫阿里云Elasticsearch數(shù)據(jù)

準(zhǔn)備工作
創(chuàng)建同一專有網(wǎng)絡(luò)下的阿里云Elasticsearch和E-MapReduce(以下簡稱EMR)實例、關(guān)閉Elasticsearch實例的自動創(chuàng)建索引功能并創(chuàng)建索引和Mapping、下載與Elasticsearch實例版本一致的ES-Hadoop安裝包。
步驟一:上傳ES-Hadoop JAR包至HDFS
將已下載的ES-Hadoop安裝包上傳至EMR Master節(jié)點的HDFS目錄下。
步驟二:創(chuàng)建Hive外表
創(chuàng)建Hive外表,與Elasticsearch索引中的字段進(jìn)行映射。
步驟三:通過Hive寫入索引數(shù)據(jù)
通過HiveSQL,向Elasticsearch實例的索引中寫入數(shù)據(jù)。
步驟四:通過Hive讀取索引數(shù)據(jù)
通過HiveSQL,讀取Elasticsearch實例中的索引數(shù)據(jù)。
步驟一:上傳ES-Hadoop JAR包至HDFS
下載ES-Hadoop安裝包,其版本需要與Elasticsearch實例保持一致。
本文使用elasticsearch-hadoop-6.7.0.zip。
登錄E-MapReduce控制臺,獲取Master節(jié)點的IP地址,并通過SSH登錄對應(yīng)的ECS機(jī)器。
具體操作步驟請參見登錄集群。
將已下載的elasticsearch-hadoop-6.7.0.zip上傳至Master節(jié)點,并解壓獲得elasticsearch-hadoop-hive-6.7.0.jar。
創(chuàng)建HDFS目錄,將elasticsearch-hadoop-hive-6.7.0.jar上傳至該目錄下。
步驟二:創(chuàng)建Hive外表
在EMR控制臺的數(shù)據(jù)開發(fā)模塊中,創(chuàng)建HiveSQL類型的作業(yè)。
具體操作步驟請參見Hive SQL作業(yè)配置。

標(biāo)題:阿里云24h自助充值,免費開戶

地址:http://www.busanamuslimtrendy.com/kfxw/64142.html