ELK自动化日志-Elasticsearch集群主从【二】

2017年11月22日17:54:45 3 7,151 views
摘要

摘要
在一个集群中2个节点需要选举,有一个节点会被选为master,master节点负责管理集群中的状态。对于用户来说是无感知的,我们只要连接到其中一台就可以的(所有操作在任意一台上完成即可。)

广告也精彩

ELK自动化日志-Elasticsearch集群主从【二】

一、ES集群介绍

ES默认使用组播的方式进行通讯,当我们将另外一台服务器配置完成后它就会去找其他节点
我们只需要将cluster.name:ES集群名字设置相同即可

1、设置es主从集群 【master配置】

[root@yilonghc-m01 ~]# grep '^[a-Z]' /usr/local/elasticsearch/config/elasticsearch.yml
cluster.name: my-application        #集群名称
node.name: elk-server     #节点名称
path.data: /usr/local/elasticsearch/data  #数据存储的目录(多个目录使用逗号分隔
path.logs: /usr/local/elasticsearch/logs  #日志格式
network.host: 172.17.92.43   ##设置本机内网IP地址
http.port: 9200   #端口默认9200
transport.tcp.port: 9300   #集群交互端口
bootstrap.system_call_filter: false   #如果是centos6 需要设置,因为内核版本低
discovery.zen.ping.unicast.hosts: ["172.17.92.43","172.17.92.44"] #这填写集群IP
#集群中主节点主要管理分片、比如分片多少个,哪个分片是主,哪个是备等。

2、重启es服务,加载数据

ps -ef|grep elasticsearch|grep -v "grep"|awk '{print $2}'|xargs kill
su - elasticsearch -c "/usr/local/elasticsearch/bin/elasticsearch -d" &

2、设置es主从集群 【Slave 配置】

cluster.name: my-application
node.name: elk-server02
node.master: false
node.data: true
#path.data: /data/elasticsearch/data
path.data: /usr/local/elasticsearch/data
path.logs: /usr/local/elasticsearch/logs
network.host: 172.17.92.44
http.port: 9222
transport.tcp.port: 9300
bootstrap.system_call_filter: false
discovery.zen.ping.unicast.hosts: ["172.17.92.43:9300","172.17.92.44:9300"]
discovery.zen.minimum_master_nodes: 2

我们在进入head插件中,点击连接。这时候我们会看到集群的状态,一个主,一个备。集群的状态也发生变化
ELK自动化日志-Elasticsearch集群主从【二】

二、ELKStack问题总结

1.问题:如果在正常工作的情况下,节点丢失怎么办?

回答:主节点会将遗失分片,分配到其它slave,进行数据重组

2 es的监控

[root@yilonghc-m01 ~]# curl -XGET 'http://192.168.0.36:9200/_cluster/health?pretty=true'
{
  "cluster_name" : "elasticsearch",
  "status" : "green",
  "timed_out" : false,
  "number_of_nodes" : 2,
  "number_of_data_nodes" : 2,
  "active_primary_shards" : 291,
  "active_shards" : 582,
  "relocating_shards" : 0,
  "initializing_shards" : 0,
  "unassigned_shards" : 0,
  "delayed_unassigned_shards" : 0,
  "number_of_pending_tasks" : 0,
  "number_of_in_flight_fetch" : 0,
  "task_max_waiting_in_queue_millis" : 0,
  "active_shards_percent_as_number" : 100.0
}
#使用zabbix key取值,判断status,是否为green正常状态即可。

3,主节点启动失败
ELK自动化日志-Elasticsearch集群主从【二】

主要是因为设置的参数问题,参考下面的文章
https://www.cnblogs.com/weifeng1463/p/8066813.html

管理监控和部署

https://www.elastic.co/guide/en/elasticsearch/guide/current/administration.html
https://www.elastic.co/guide/en/elasticsearch/guide/current/_cat_api.html

Elastic官方文档

elastic官方文档

至此,es主从介绍完毕,请各位多多指点。

  • QQ精品交流群
  • weinxin
  • 微信公众号
  • weinxin
广告也精彩
admin

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

目前评论:3   其中:访客  2   博主  1

    • avatar 烤关 1

      学习了

      • avatar Geed 0

        :?: :?: :?: :?: :?: 博主,学习是学习到了 但是还是不明白这个为什么你要这么配置,这样收益很小,建议博主可以考虑写得更细一点,谢谢

          • avatar admin Admin

            @Geed 很高兴收到您的评论,有很多不足,请您指出,如何优化?