Logstash簡(jiǎn)介L(zhǎng)ogstash是一個(gè)功能強(qiáng)大的數(shù)據(jù)收集、處理、輸出工具，支持從各種渠道收集數(shù)據(jù)，并輸出到指定位置或其他應(yīng)用，比如ElasticSearch。本文將介紹如何安裝Logstash，

Logstash簡(jiǎn)介

Logstash是一個(gè)功能強(qiáng)大的數(shù)據(jù)收集、處理、輸出工具，支持從各種渠道收集數(shù)據(jù)，并輸出到指定位置或其他應(yīng)用，比如ElasticSearch。本文將介紹如何安裝Logstash，并演示如何通過(guò)LogStash將示例數(shù)據(jù)處理后輸出到ElasticSearch。

下載和安裝Logstash

首先，下載Logstash時(shí)需要注意版本與ElasticSearch版本一致。下載后解壓即可完成安裝。在使用Logstash將數(shù)據(jù)導(dǎo)入ElasticSearch時(shí)，實(shí)質(zhì)上是在ElasticSearch中創(chuàng)建索引，需要使用模板進(jìn)行創(chuàng)建。默認(rèn)模板創(chuàng)建一個(gè)主分區(qū)和一個(gè)副本分區(qū)，需要分布在不同的ElasticSearch節(jié)點(diǎn)上，因此ES集群至少包含2個(gè)工作節(jié)點(diǎn)。

數(shù)據(jù)準(zhǔn)備

我們將以下電影信息（CSV文件）導(dǎo)入到ElasticSearch。每行代表一部電影信息，包含ID、電影名稱(chēng)和題材。電影名稱(chēng)中包含了上映年份，題材使用分隔符"|"包含多種題材：

```

movieId, title, genres

1, Toy Story (1995), Adventure|Animation|Children|Comedy|Fantasy

2, Jumanji (1995), Adventure|Children|Fantasy

3, Grumpier Old Men (1995), Comedy|Romance

4, Waiting to Exhale (1995), Comedy|Drama|Romance

5, Father of the Bride Part II (1995), Comedy

```

編寫(xiě)配置文件--輸入部分

Logstash通常使用`logstash -f `命令，關(guān)鍵在于編寫(xiě)配置文件。配置文件分為輸入(input)、過(guò)濾器(filter)和輸出(output)三部分。輸入相關(guān)配置請(qǐng)參考圖示。

編寫(xiě)配置文件--過(guò)濾器部分

在過(guò)濾器部分實(shí)現(xiàn)數(shù)據(jù)處理邏輯，通過(guò)一系列過(guò)濾器將每行數(shù)據(jù)處理成所需樣式。具體配置請(qǐng)參考圖示。

編寫(xiě)配置文件--輸出部分

這部分將經(jīng)過(guò)過(guò)濾器處理的數(shù)據(jù)輸出到ElasticSearch，即在ES中創(chuàng)建相應(yīng)的索引信息。相關(guān)配置請(qǐng)參考圖示。

執(zhí)行導(dǎo)入操作

在命令行啟動(dòng)，切換到Logstash解壓目錄下的bin子目錄，執(zhí)行`logstash -f `（注意路徑可能變化），等待命令執(zhí)行完畢（會(huì)打印處理結(jié)果）。

查看導(dǎo)入數(shù)據(jù)

通過(guò)Kibana查看剛剛通過(guò)Logstash導(dǎo)入到ElasticSearch的數(shù)據(jù)（即創(chuàng)建的索引）。步驟如下：

1. 進(jìn)入Kibana首頁(yè)，點(diǎn)擊左側(cè)工具欄中的“管理”打開(kāi)管理頁(yè)面。

2. 在管理頁(yè)面頂部，點(diǎn)擊“索引管理”進(jìn)入索引管理頁(yè)面。

3. 在索引管理頁(yè)面，可以查看通過(guò)Logstash創(chuàng)建的movies索引。

通過(guò)以上步驟，你可以學(xué)習(xí)如何使用Logstash將數(shù)據(jù)導(dǎo)入并處理，以及通過(guò)ElasticSearch進(jìn)行索引管理。