阿里云國際站經(jīng)銷商，主營阿里云，騰訊云，華為云，亞馬遜aws，谷歌云gcp,微軟云az，免費開戶，代充值優(yōu)惠大，聯(lián)系客服飛機(jī)@jkkddd
通過Logstash將RDS MySQL數(shù)據(jù)同步至Elasticsearch
背景信息阿里云Logstash是一款強大的數(shù)據(jù)收集和處理工具，提供了數(shù)據(jù)采集、轉(zhuǎn)換、優(yōu)化和輸出的能力。通過Logstash的logstash-input-jdbc插件（默認(rèn)已安裝，不可卸載），可批量查詢RDS MySQL中的數(shù)據(jù)并同步到Elasticsearch中。同時，logstash-input-jdbc插件會定期對RDS中的數(shù)據(jù)進(jìn)行輪詢查詢，并將自上次輪詢以來插入或更改的記錄同步到Elasticsearch。更多詳細(xì)信息，請參見官方文檔中的如何使用Logstash和JDBC確保Elasticsearch與關(guān)系型數(shù)據(jù)庫保持同步。本方案適用于同步全量數(shù)據(jù)且接受秒級延遲的場景或批量查詢特定條件的數(shù)據(jù)然后進(jìn)行同步的場景。
操作步驟
步驟一：環(huán)境準(zhǔn)備
在云阿里Elasticsearch實例中開啟自動創(chuàng)建索引功能。具體操作，請參見快速訪問與配置。
在Logstash實例中上傳與RDS MySQL版本兼容的SQL JDBC驅(qū)動（本文使用mysql-connector-java-5.1.48.jar）。具體操作，請參見配置擴(kuò)展文件。
準(zhǔn)備測試數(shù)據(jù)，并在RDS MySQL的白名單中加入阿里云Logstash節(jié)點的IP地址（可在基本信息頁面獲?。?。本文使用的建表語句如下。
步驟二：配置Logstash管道
進(jìn)入阿里云Elasticsearch控制臺的Logstash頁面。
進(jìn)入目標(biāo)實例。
在頂部菜單欄處，選擇地域。
在Logstash實例中單擊目標(biāo)實例ID。
在左側(cè)導(dǎo)航欄，單擊管道管理。
單擊創(chuàng)建管道。
在創(chuàng)建管道任務(wù)頁面，輸入管道ID，并進(jìn)行Config配置。
本文使用的Config配置如下。
單擊保存或者保存并部署。
保存：將管道信息保存在Logstash里并觸發(fā)實例變更，配置不會生效。保存后，系統(tǒng)會返回管道管理頁面?？稍诠艿懒斜韰^(qū)域，單擊操作列下的立即部署，觸發(fā)實例重啟，使配置生效。
保存并部署：保存并且部署后，會觸發(fā)實例重啟，使配置生效。
步驟三：驗證結(jié)果
登錄目標(biāo)阿里云Elasticsearch實例的Kibana控制臺，根據(jù)頁面提示進(jìn)入Kibana主頁。
登錄Kibana控制臺的具體操作，請參見登錄Kibana控制臺。
單擊右上角的Dev tools。
在Console中，執(zhí)行如下命令，查看同步成功的索引數(shù)量。
更新MySQL表數(shù)據(jù)并插入表數(shù)據(jù)。
在Kibana控制臺，查看更新后的數(shù)據(jù)。
查詢name為Chocolates的數(shù)據(jù)。
心靈雞湯：
標(biāo)題：阿里云國際賬號購買，24h小時自助充值
地址：http://www.busanamuslimtrendy.com/kfxw/64114.html
