云服务器搭建ELK

                                            

云服务器搭建ELK日志分析系统完全指南


    
为什么选择ELK进行日志分析？
    
在现代IT运维中，日志分析是系统监控的重要环节。ELK(Elasticsearch, Logstash, Kibana)作为目前最流行的开源日志分析解决方案，具有以下优势：
    

        
实时数据处理能力
        
强大的可视化分析工具
        
可扩展的分布式架构
        
支持多种数据源
    

    
准备工作
    
在开始搭建前，您需要准备：
    

        
一台云服务器(推荐4核8G配置)
        
CentOS 7.x或Ubuntu 18.04 LTS操作系统
        
至少20GB的磁盘空间
        
root权限
    

    
详细安装步骤
    
1. 安装Java环境
    
# CentOS
sudo yum install java-1.8.0-openjdk -y

# Ubuntu
sudo apt install openjdk-8-jdk -y

    
2. 安装Elasticsearch
    
添加官方源并安装：
    
# 导入GPG密钥
sudo rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch

# 添加yum源
sudo tee /etc/yum.repos.d/elasticsearch.repo <


    
3. 配置Elasticsearch
    
编辑配置文件/etc/elasticsearch/elasticsearch.yml：
    
network.host: 0.0.0.0
discovery.type: single-node

    
4. 安装Logstash
    
sudo yum install logstash -y

    
5. 配置Logstash管道
    
创建/etc/logstash/conf.d/logstash.conf：
    
input {
  file {
    path => "/var/log/*.log"
    start_position => "beginning"
  }
}

output {
  elasticsearch {
    hosts => ["localhost:9200"]
  }
}

    
6. 安装Kibana
    
sudo yum install kibana -y

    
7. 配置Kibana
    
编辑/etc/kibana/kibana.yml：
    
server.host: "0.0.0.0"
elasticsearch.hosts: ["http://localhost:9200"]

    
启动服务
    
# 启动服务
sudo systemctl start elasticsearch
sudo systemctl start logstash
sudo systemctl start kibana

# 设置开机启动
sudo systemctl enable elasticsearch
sudo systemctl enable logstash
sudo systemctl enable kibana

    
验证安装
    
访问http://your-server-ip:5601，您应该能看到Kibana的欢迎界面。在"Management > Index Patterns"中创建索引模式，即可开始分析日志。

    
性能优化建议
    

        
为Elasticsearch分配适当的内存(不超过物理内存的50%)
        
使用SSD存储提高I/O性能
        
定期清理旧日志索引
        
考虑使用Filebeat替代Logstash收集日志
    

    
常见问题解决
    
Q: Kibana无法连接到Elasticsearch

    检查elasticsearch和kibana的配置文件中的host设置，确保防火墙开放了9200和5601端口。

    
Q: 内存不足导致服务崩溃

    调整/etc/elasticsearch/jvm.options中的-Xms和-Xmx参数，设置为不超过物理内存的50%。