- A+
所属分类：linux技术
傻瓜式部署，只需替换IP与用户
导读:
现ELK四大组件分别为：Elasticsearch（核心）、logstash（处理）、filebeat（采集）、kibana（可视化）
在elastic官网下载组件tar包，各组件版本最好一致，配合fdm会快一点点
注意：如若后续用到sentinl（开源监控警报插件，可webhook接钉钉等），ELK的组件版本应选择与sentinl版本一致，
sentinl版本比ELK组件更新慢
我的杯具：Plugin sentinl [7.6.1] is incompatible with Kibana [7.9.0]
环境
- linux mint19
- 自带open jdk 11 （ 不能低于1.8 ）
配置
主目录创建itcast，然后分配权限，本机使用user0
chown -R user0:user0 /itcast 本机配置：解压包tar -xzvf /itcast/*.tar.gz /itcast/ 、修改以下配置文件
（注意：1、解压目录换成自己的版本，下略；2、缩进距离以默认文件为主）
elasticsearch相关：
/itcast/（elasticsearch解压目录）/config/elasticsearch.yml
# 集群名称，默认是elasticsearch cluster.name: my-application # 节点名称 node.name:node-1 # 配置IP端口 network.host:0.0.0.0 http.port: 9200 # 可以指定es的数据存储目录，默认存储在es_home/data目录下 # path.data: /path/to/data # 可以指定es的日志存储目录，默认存储在es_home/logs目录下 # path.logs: /path/to/logs # 子集群节点，用的上述节点设置的名称 discovery.seed_hosts:[node-1] # ！！通过配置这个参数来防止集群脑裂现象 (集群总节点数量/2)+1 discovery.zen.minimum_master_nodes= ( master候选节点数量/2+1 ) # 处理跨域的相关参数 http.cors.enabled: true http.cors.allow-origin: "*" http.cors.allow-methods: OPTIONS, HEAD, GET, POST, PUT, DELETE http.cors.allow-headers: "X-Reqested-With, Content-Type, Content-Length, X-User" kibana相关：
/itcast/（kibana解压目录）/config/kibana.yml
server.port: 5601 server.host: "0.0.0.0" elasticsearch.hosts: ["http://192.168.199.224:9200"] kibana.index: ".kibana" # 自定义安全参数 xpack.encryptedSavedObjects.encryptionKey:encryptedSavedObjects12345678909876543210123 xpack.security.encryptionKey: encryptionKeysecurity12345678909876543210123 xpack.reporting.encryptionKey: encryptionKeyreporting12345678909876543210123 elasticsearch.requestTimeout: 90000 i18n.locale: "zh-CN" logstash相关：
/itcast/（logstash解压目录）/config/logstash-sample.conf
input { beats { port => 5044 } } filter { # 重要功能，对日志处理均在此步，按需自行搜索 mutate { split => {"message" => "|"} } mutate { add_field => { "Date" => "%{[message][0]}" # 坑点！！！新版本中%{}里字段如message需要加上中括号[]作为识别 "Level" => "%{[message][1]}" "result" => "%{[message][2]}" } } mutate { convert => { "Date" => "string" "Leverl" => "string" "result" => "string" } } } output { elasticsearch { hosts => ["http://192.168.199.224:9200"] index => "logstash-%{+YYYY.MM.dd}" } } filebeat相关：（ 实际中 filebeat 部署在业务运行的主机上 ）
/itcast/（filebeat解压目录）/filebeat.yml
filebeat.inputs: - type: log enabled: true paths: #目标文件，自行匹配 - /var/log/*.log #- /itcast/elasticsearch/logs/* tags: ["spider"] #不需要logstash处理可直接传ela本身 #output.elasticsearch: # hosts: ["192.168.199.224:9200"] out.logstash: hosts: ["192.168.199.224:5044"] filebeat.config.modules: path: ${path.config}/modules.d/*.yml reload.enabled: false setup.template.settings: index.number_of_shards: 1 setup.kibana: host: "192.168.199.224:5601" 其他
logstash插件sentinl安装（按需）
（kibana目录）/bin/kibana-plugin install file:~/sentinl-v7.6.1.zip # zip包自行github下载 运行
用 ufw 开启有关端口：es、kibana、logstash （ 执行业务的 filebeat连到logstash端口 ）
sudo ufw allow 9200 sudo ufw allow 5601 sudo ufw allow 5044 sudo ufw enable /etc/security/limits.conf 尾部加上字段
* soft nproc 65536 * hard nproc 65536 * soft nofile 65536 * hard nofile 65536 切换到用户，执行命令如下，
su - user0 ulimit -n # 返回65536即设置成功，保持user0状态开启elasticsearch服务 /itcast/（elasticsearch解压目录）/bin/elasticsearch 运行另外的组件（ 实际 filebeat 在业务运行的主机上运行）
/itcast/（kibana解压目录）/bin/kibana /itcast/（logstash解压目录）/bin/logstash -f ./config/logstash-sample.conf /itcast/（filebeat解压目录）/filebeat -e -c filebeat.yml 测试
新建控制台，cd至 filebeat 监控日志目录，此处为 /var/log
- 执行以下命令数次
echo "2020-09-01 | DEBUG | create a logmsg demo" >> demo.log - 打开kibana（此处为192.168.199.224:5601）
- 菜单打开Stack Management（ 管理中心 ）
- kibana索引模式创建索引（ logstash 的配置输出中 index => "logstash-%{+YYYY.MM.dd}" ），此处输入 logstash-* 即可
- 菜单打开 discover，创建新条目，选择上一步的索引，调整时间段即可返回相关数据
- 菜单打开日志，选择索引 logstash-* 亦可返回流式数据
kibana简易食用方法：
- 创建索引 （视为数据源，操作的根本）
- 创建表格（ discover ）
- 创建可视化（Visualize 饼图，柱形图等……）
- 创建仪表盘（dashboard 把可视化组合起来）
持续更新，权当记录
- logstash插件multiline，用于报错而产生的多行时能匹配成一条日志数据（ 默认多少行=多少条数据）
./bin/logstash-plugin install logstash-filter-multiline # logstash安装插件 logstash-simple.conf中的filter里加入
multiline { pattern => "^d{4}-d{1,2}-d{1,2}sd{1,2}:d{1,2}:d{1,2}" negate => true what => "previous" } # multiline { # charset=>... #可选 字符编码 # max_bytes=>... #可选 bytes类型 设置最大的字节数 # max_lines=>... #可选 number类型 设置最大的行数,默认是500行 # multiline_tag... #可选 string类型 设置一个事件标签,默认是multiline # pattern=>... #必选 string类型 设置匹配的正则表达式 # patterns_dir=>... #可选 array类型 可以设置多个正则表达式 # negate=>... #可选 boolean类型 默认false不显示，可设置ture # what=>... #必选 向前previous ， 向后 next # # } 
