如何利用ELK Stack实现Linux云服务器日志集中管理？

1. 为什么需要日志集中管理？

随着企业IT基础设施的扩展，服务器数量不断增加，日志数据呈现爆炸式增长。分散在各个服务器上的日志文件给运维工作带来了巨大挑战：

• 问题排查效率低下
• 无法进行全局分析
• 存储空间浪费
• 安全审计困难

2. ELK Stack简介

ELK Stack是一套开源的日志管理解决方案，由三个核心组件组成：

3. 部署ELK Stack

3.1 环境准备

# 更新系统
sudo apt update && sudo apt upgrade -y

# 安装Java环境
sudo apt install openjdk-11-jdk -y

3.2 安装Elasticsearch

# 导入Elasticsearch GPG密钥
wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -

# 添加Elasticsearch仓库
echo "deb https://artifacts.elastic.co/packages/7.x/apt stable main" | sudo tee /etc/apt/sources.list.d/elastic-7.x.list

# 安装Elasticsearch
sudo apt update && sudo apt install elasticsearch -y

3.3 安装Logstash

sudo apt install logstash -y

3.4 安装Kibana

sudo apt install kibana -y

4. 配置日志收集

4.1 配置Logstash输入

创建/etc/logstash/conf.d/filebeat-input.conf文件：

input {
  beats {
    port => 5044
  }
}

4.2 配置Logstash过滤器

创建/etc/logstash/conf.d/syslog-filter.conf文件：

filter {
  if [fileset][module] == "system" {
    if [fileset][name] == "auth" {
      grok {
        match => { "message" => ["%{SYSLOGTIMESTAMP:[system][auth][timestamp]} ..."] }
      }
    }
  }
}

4.3 配置Logstash输出

创建/etc/logstash/conf.d/elasticsearch-output.conf文件：

output {
  elasticsearch {
    hosts => ["localhost:9200"]
    manage_template => false
    index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"
  }
}

5. 使用Filebeat收集日志

5.1 安装Filebeat

sudo apt install filebeat -y

5.2 配置Filebeat

编辑/etc/filebeat/filebeat.yml文件：

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/*.log

output.logstash:
  hosts: ["localhost:5044"]

6. Kibana可视化

通过浏览器访问http://your-server-ip:5601，您可以：

• 创建自定义仪表板
• 设置告警
• 分析日志趋势
• 搜索特定事件