docker部署elasticsearch kibana logstash(版本二)


3个月前 198次点击 来自 后端

标签: Docker

原文链接:

springboot + elk第一篇:docker部署elasticsearch

springboot + elk第二篇:docker部署kibana

springboot + elk第三篇:docker部署logstash

springboot + elk第四篇:springboot整合elk

这个版本部署过程更加详细,且有与SpingBoot整合过程,值得学习

docker部署elasticsearch

1. 从docker hub中拉取官方镜像,如果要使用kibana,logstash,尽量将版本保持一致,避免出现问题

# 此处使用的elasticsearch版本为7.6.0,后续的kibana和logstash也会使用该版本
docker pull elasticsearch:7.6.0

2.为elasticsearch创建网络

# 启动镜像的时候指定网段,再该网段下的容器能够通过容器名称进行互通
docker network create elastic

3.启动镜像

docker run -d \
--name elasticsearch \
--network elastic \
-p 9200:9200 -p 9300:9300 \
-e "discovery.type=single-node" \
elasticsearch:7.6.0

4.验证启动状态

在服务器上进行命令行验证:curl 127.0.0.1:9200

使用浏览器验证:服务器地址:9200

5.elasticsearch.yml的配置详情

#es的集群名称,es会自动发现在同一网段下的es
#如果在同一网段下有多个集群,就可以用这个属性来区分不同的集群。
cluster.name: elasticsearch

#节点名,默认随机指定一个name列表中名字
#该列表在es的jar包中config文件夹里name.txt文件中,其中有很多作者添加的有趣名字。
node.name: "Franz Kafka"

#指定该节点是否有资格被选举成为node,默认是true
#es是默认集群中的第一台机器为master,如果这台机挂了就会重新选举master。
node.master: true

#指定该节点是否存储索引数据,默认为true。
node.data: true

#设置默认索引分片个数,默认为5片。
index.number_of_shards: 5

#设置默认索引副本个数,默认为1个副本。
index.number_of_replicas: 1

#设置配置文件的存储路径,默认是es根目录下的config文件夹。
path.conf: /path/to/conf

#设置索引数据的存储路径,默认是es根目录下的data文件夹
#可以设置多个存储路径,用逗号隔开,例:
path.data: /path/to/data
path.data: /path/to/data1,/path/to/data2

#设置临时文件的存储路径,默认是es根目录下的work文件夹。
path.work: /path/to/work

#设置日志文件的存储路径,默认是es根目录下的logs文件夹
path.logs: /path/to/logs

#设置插件的存放路径,默认是es根目录下的plugins文件夹
path.plugins: /path/to/plugins

#设置绑定的ip地址,可以是ipv4或ipv6的,默认为0.0.0.0。
network.bind_host: 192.168.0.1

#设置其它节点和该节点交互的ip地址,如果不设置它会自动判断
#值必须是个真实的ip地址。
network.publish_host: 192.168.0.1

#这个参数是用来同时设置bind_host和publish_host上面两个参数
network.host: 192.168.0.1

#设置节点间交互的tcp端口,默认是9300。
transport.tcp.port: 9300

#设置是否压缩tcp传输时的数据,默认为false,不压缩。
transport.tcp.compress: true

#设置对外服务的http端口,默认为9200。
http.port: 9200

#设置内容的最大容量,默认100mb
http.max_content_length: 100mb

#是否使用http协议对外提供服务,默认为true,开启。
http.enabled: false

#gateway的类型,默认为local即为本地文件系统,
#可以设置为本地文件系统,分布式文件系统,hadoop的HDFS,和amazon的s3服务器
gateway.type: local

#设置集群中N个节点启动时进行数据恢复,默认为1。
gateway.recover_after_nodes: 1

#设置初始化数据恢复进程的超时时间,默认是5分钟。
gateway.recover_after_time: 5m

#设置这个集群中节点的数量,默认为2,一旦这N个节点启动,就会立即进行数据恢复。
gateway.expected_nodes: 2

#初始化数据恢复时,并发恢复线程的个数,默认为4。
cluster.routing.allocation.node_initial_primaries_recoveries: 4

#添加删除节点或负载均衡时并发恢复线程的个数,默认为4。
cluster.routing.allocation.node_concurrent_recoveries: 2

#设置数据恢复时限制的带宽,如入100mb,默认为0,即无限制。
indices.recovery.max_size_per_sec: 0

#设置这个参数来限制从其它分片恢复数据时最大同时打开并发流的个数,默认为5。
indices.recovery.concurrent_streams: 5

#设置这个参数来保证集群中的节点可以知道其它N个有master资格的节点。
#默认为1,对于大的集群来说,可以设置大一点的值(2-4)
discovery.zen.minimum_master_nodes: 1

#设置集群中自动发现其它节点时ping连接超时时间
#默认为3秒,对于比较差的网络环境可以高点的值来防止自动发现时出错。
discovery.zen.ping.timeout: 3s

#设置是否打开多播发现节点,默认是true。
discovery.zen.ping.multicast.enabled: false

#设置集群中master节点的初始列表,可以通过这些节点来自动发现新加入集群的节点。
discovery.zen.ping.unicast.hosts: ["host1", "host2:port", "host3[portX-portY]"

docker部署kibana

1.从docker hub中拉取官方镜像,尽量将版本与elasticsearch保持一致,避免出现问题

# 该命令可执行也可不执行,docker run的时候若没有镜像会自动pull镜像
docker pull kibana:7.6.0

2.启动容器

仅使用命令行启动

docker run -d \
--name kibana \
--network elastic \
-e ELASTICSEARCH_URL=http://elasticsearch:9200 \
-e I18N_LOCALE=zh-CN \
-p 5601:5601 \
kibana:7.6.0

以配置文件的方式启动

# 1.创建目录
sudo mkdir -p /docker/kibana/config/

# 2.添加配置文件
sudo tee /docker/kibana/config/kibana.yml <<-'EOF'
server.name: kibana
server.host: "0"
# elasticsearch的服务器地址, elasticsearch表示容器名
elasticsearch.hosts: [ "http://elasticsearch:9200" ]
xpack.monitoring.ui.container.elasticsearch.enabled: true
# 汉化操作界面
i18n.locale: zh-CN
EOF

# 3.启动kibana
docker run -d \
--name kibana \
--network elastic \
--privileged=true \
-v /docker/kibana/kibana.yml:/usr/share/kibana/config/kibana.yml \
-p:5601:5601 \
kibana:7.6.0


参数说明:

# 指定容器的网络,与elasticsearch使用同一网络即可使用容器名称进行互通
--network elastic

# 指定elasticsearch的服务器地址,elasticsearch:9200表示容器名称:端口号
# 只有同一网络下容器才能使用此种方式互通
-e ELASTICSEARCH_URL=http://elasticsearch:9200

# 容器国际化设配置为简体中文
-e I18N_LOCALE=zh-CN

3.访问kibana界面: http://服务器地址:5601

docker部署logstash

1.从docker hub中拉取官方镜像,尽量将版本与elasticsearch保持一致,避免出现问题

# 该命令可执行也可不执行,docker run的时候若没有镜像会自动pull镜像
docker pull logstash:7.6.0

2.启动容器

方法一:直接启动容器,进入容器修改相关配置

# 1.直接启动容器,不映射配置文件
docker run -d -p 5043:5043 -p 5044:5044 --name logstash --network elastic logstash:7.6.0

# 2.待容器启动完成,进入容器中
docker exec -it logstash /bin/bash

# 3.为logstash安装json_lines插件
/usr/share/logstash/bin/logstash-plugin install logstash-codec-json_lines

# 4. 添加springboot.yml配置文件
========================================================================
vi /usr/share/logstash/pipeline/springboot.yml

# 输入端
input {
  #输入logstash时控制台打印
  stdin { }
  #为logstash增加tcp输入口,方便springboot接入
  #5044端口预留给filebeat输入logstah,此处开放5043端口,程序直接输入logstash
  tcp {
      mode => "server"
      host => "0.0.0.0"
      #从5043端口取日志
      port => 5043
      #需要安装logstash-codec-json_lines插件
      codec => json_lines
  }
}

#输出端
output {
  stdout {
    codec => rubydebug
  }
  elasticsearch {
    #hosts中的地址应该写同一network下的容器名称
    hosts => ["http://elasticsearch:9200"]
    # 输出至elasticsearch中的自定义index名称
    index => "flow-%{+YYYY.MM.dd}"
    #user => "elastic"
    #password => "changeme"
  }
}

========================================================================

# 5. 保存编辑好的yml配置文件,退出容器
exit

# 6.重启容器
docker restart logstash

方法二:以映射配置文件的方式启动容器

# 1.创建存放配置文件的文件夹
 sudo mkdir -p /docker/logstash/config/

# 2.创建配置文件(复制以下全部内容至命令行中)
sudo tee /docker/logstash/config/logstash.yml <<-'EOF'
# 输入端
input {
  #输入logstash时控制台打印
  stdin { }
  #为logstash增加tcp输入口,方便springboot接入
  #5044端口预留给filebeat输入logstah,此处开放5043端口,程序直接输入logstash
  tcp {
      mode => "server"
      host => "0.0.0.0"
      #从5043端口取日志
      port => 5043
      #需要安装logstash-codec-json_lines插件
      codec => json_lines
  }
}

#输出端
output {
  stdout {
    codec => rubydebug
  }
  elasticsearch {
    #hosts中的地址应该写同一network下的容器名称
    hosts => ["http://elasticsearch:9200"]
    # 输出至elasticsearch中的自定义index名称
    index => "flow-%{+YYYY.MM.dd}"
    #user => "elastic"
    #password => "changeme"
  }
}
EOF

# 3.启动容器
docker run -d --name logstash \
-p 5043:5043 -p 5044:5044 \
--network elastic \
--privileged=true \
-v /docker/logstash/config/:/usr/share/logstash/pipeline/ \
logstash:7.6.0

# 4.待容器启动完成,进入容器中
docker exec -it logstash /bin/bash

# 5.为logstash安装json_lines插件
/usr/share/logstash/bin/logstash-plugin install logstash-codec-json_lines

# 6. 成功安装插件之后,退出容器
exit

# 7.重启容器
docker restart logstash

两种方式各有各的优缺点,方法一后续需要修改配置文件需要再次进入容器,而方法二只需要修改或者添加映射的配置的文件即可。

Tips: /docker/logstash/config/ 为映射出的配置文件的存放目录, 在目录下的所有yml文件都会被logstash启动加载

3.启动后的logstash日志

docker logs -f logstash

配置文件已经被加载,5043端口也正在被监听

4.启动参数说明

# logstash 默认会给beats留下一下5044的端口,用作beats的日志收集
# 再开放一个5043端口,用作tcp的日志收集端口
-p 5043:5043 -p 5044:5044

# 获取宿主机文件操作权限,有此权限才能进行文件映射
--privileged=true

# /usr/share/logstash/pipeline/ 此路径是容器的配置文件路径,将其管道的配置
# 文件目录映射出来,方便自己添加自己的日志输入输出配置
-v /docker/logstash/config/:/usr/share/logstash/pipeline/

# 将启动后的容器加入elastic网段中,在同一网段中,容器互通只需要通过容器名称即可
--network elastic

springboot整合elk

请跳转原文阅读:springboot + elk第四篇:springboot整合elk

Made with in Shangrao,China By Devler.

Copyright © Devler 2012 - 2022

赣ICP备19009883号-1

Top ↑