tp网站开发,高端网站建设网络设计互联网信息化服务类,吴江城乡建设局网站,网站优化 pptELK是三个开源软件的缩写#xff0c;分别为Elasticsearch、Logstash、kibana它们都是开源软件。后来新增了一个FileBeat#xff0c;它是一个轻量及的日志收集处理工具#xff0c;因为Logstash由java程序开发#xff0c;比较消耗内存资源#xff0c;后来将Logstash使用go语…ELK是三个开源软件的缩写分别为Elasticsearch、Logstash、kibana它们都是开源软件。后来新增了一个FileBeat它是一个轻量及的日志收集处理工具因为Logstash由java程序开发比较消耗内存资源后来将Logstash使用go语言重新编译升级为了FileBeat。Elasticsearch是一个基于Lucene搜索引擎的NoSql数据库用于存储Logstash日志管道工具收集来的数据最后由Kibana图形化界面工具来呈现出来它工作在Elasticsearch之上。Es集群中没有中心节点从外部来看ES集群在逻辑上是一个整体你与任何一个节点的通信和与整个es集群通信都是等价的。Elasticsearch集群 1节点node一个节点是集群中的一台服务器是集群的一部分。它存储数据参与集群的索引和搜索功能。集群中有一个主节点主节点通过ES集群内部选举产生。2集群cluster一组节点组织在一起称为一个集群它们共同持有整个的数据并一起提供索引和搜索功能。3分片shardsES可以把完整的索引分成多个分片分别存储在不同的节点上。4副本replicasES可以为每个分片创建副本提高查询效率保证在分片数据丢失后的恢复。分片数量只能在索引创建时指定索引创建后不能再更改分片数量但可以改变副本的数量。本章实验环境介绍 三台服务器 192.168.8.5、192.168.8.6、192.168.8.7elasticsearch 软件版本6.6.0开始部署 三台主机分别安装es 软件包下载路径wget https://mirrors.tuna.tsinghua.edu.cn/elasticstack/6.x/yum/6.6.0/elasticsearch-6.6.0.rpm 安装软件包无需依赖包 rpm -ivh elasticsearch-6.6.0.rpm elasticsearch目录和文件讲解: /etc/elasticsearch/elasticsearch.yml #配置文件 /etc/elasticsearch/jvm.options #java虚拟机 /etc/init.d/elasticsearch #服务启动脚本 /etc/sysconfig/elasticsearch #elasticsearch服务变量 /usr/lib/sysctl.d/elasticsearch.conf #设置elasticsearch用户使用的内存大小 /usr/lib/systemd/system/elasticsearch.service #添加系统服务文件 /var/log/elasticsearch/elasticsearch.log #日志文件路径 修改配置文件 vim /etc/elasticsearch/elasticsearch.yml 去掉以下几行前边的注释 node.name: node-1 #群集中本机节点名 path.data: /data/elasticsearch #数据目录 path.logs: /var/log/elasticsearch #日志目录 bootstrap.memory_lock: true #锁定内存需要和/etc/elasticsearch/jvm.options关联 network.host: 192.168.8.10,127.0.0.1 #监听的ip地址 http.port: 9200 #端口号 创建数据目录并修改权限 mkdir -p /data/elasticsearch chown -R elasticsearch.elasticsearch /data/elasticsearch/ 加载重启服务 systemctl daemon-reload systemctl restart elasticsearch 查看9200端口是否开启 netstat -anput | grep 9200 第一台部署成功后使用浏览器下载插件访问8.5主机 直接访问可以看到它的状态信息 下载es-head插件GitHub - mobz/elasticsearch-head: A web front end for an elastic search cluster 谷歌浏览器示范 谷歌-扩展程序-管理扩展程序 此页面代表es1 服务部署成功现在创建索引在es1服务器上 curl -XPUT 192.168.8.5:9200/vipinfo/users/1?prettypretty -H Content-Type: application/json -d {name: guofucheng,age: 45,job: mingxing} 在浏览器上查看是否有了刚才创建的索引 右上方黄色代表副本不完整 elasticsearch群集 状态颜色 灰色未连接 绿色数据完整态 黄色副本不完整 红色数据分片不完整 紫色数据分片复制过程 群集主机角色 主节点master负责管理调度 工作节点 负责处理数据 默认情况所有节点都是工作节点即主节点也处理数据 向集群中添加第二台主机192.168.8.6 安装步骤与es1一样配置文件需要修改 vim /etc/elasticsearch/elasticsearch.yml node.name: node-2 path.data: /data/elasticsearch path.logs: /var/log/elasticsearch network.host: 192.168.8.20,127.0.0.1 http.port: 9200 discovery.zen.ping.unicast.hosts: [192.168.8.6, 192.168.8.20] discovery.zen.minimum_master_nodes: 2 #添加的值节点数/2 1 创建数据目录。并修改权限 mkdir -p /data/elasticsearch chown -R elasticsearch.elasticsearch /data/elasticsearch/ 启动服务 systemctl daemon-reload systemctl restart elasticsearch 查看端口 netstat -anput | grep 9200 向集群中添加第三台主机192.168.8.7 安装与es1一样修改配置文件 vim /etc/elasticsearch/elasticsearch.yml 修改一下的配置 node.name: es3 path.data: /data/elasticsearch path.logs: /var/log/elasticsearch bootstrap.memory_lock: true network.host: 192.168.8.7,127.0.0.1 http.port: 9200 discovery.zen.ping.unicast.hosts: [192.168.8.5, 192.168.8.7] discovery.zen.minimum_master_nodes: 2 创建数据目录并修改权限 mkdir -p /data/elasticsearch chown -R elasticsearch.elasticsearch /data/elasticsearch/ 重启服务 systemctl daemon-reload systemctl restart elasticsearch 查看端口是否存在 netstat -anpt | grep 9200 再次访问8.5群集查看是否发生了变化 常见群集管理监控命令 1查看索引信息 curl -XGET 192.168.8.5:9200/_cat/indices?pretty 2查看群集健康状态 curl -XGET 192.168.8.5:9200/_cluster/health?pretty 3统计群集节点 curl -XGET 192.168.8.5:9200/_cat/nodes?humanpretty 4查看群集所有节点详细信息 curl -XGET 192.168.8.5:9200/_nodes/_all/info/jvm.process?humanpretty 注意企业环境使用脚本监控群集健康状态是否为green 或 节点数不匹配 就邮件报警 5创建索引index1时修改分片为3和副本数为2 curl -X PUT 192.168.8.5:9200/index1 -H Content-Type: application/json -d { settings : { index : { number_of_shards : 3, number_of_replicas : 2 } } } 6针对已有索引可修改副本数不可改分片数。下面语句把index1的副本数由2改为1 curl -X PUT 192.168.8.5:9200/index1/_settings?pretty -H Content-Type: application/json -d { settings: { number_of_replicas: 1 } }
