从零开始搭建ELK日志系统：完整实战指南

一、ELK系统架构解析

在开始搭建前，我们需要了解ELK三大组件的核心功能：

• Elasticsearch：分布式搜索引擎，负责存储和检索日志数据
• Logstash：数据处理管道，负责收集、转换和传输日志
• Kibana：数据可视化平台，提供直观的日志分析界面

二、环境准备与安装

1. 系统要求

建议使用Linux系统（如Ubuntu 20.04 LTS），配置要求：

• CPU：至少4核
• 内存：8GB以上
• 磁盘：SSD存储，容量根据日志量决定

2. 安装Java环境

sudo apt update
sudo apt install openjdk-11-jdk
java -version

3. 安装Elasticsearch

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.15.2-linux-x86_64.tar.gz
tar -xzf elasticsearch-7.15.2-linux-x86_64.tar.gz
cd elasticsearch-7.15.2/
./bin/elasticsearch

三、配置ELK组件

1. Elasticsearch基本配置

修改config/elasticsearch.yml文件：

cluster.name: my-elk-cluster
node.name: node-1
network.host: 0.0.0.0
discovery.type: single-node

2. 安装并配置Logstash

wget https://artifacts.elastic.co/downloads/logstash/logstash-7.15.2.tar.gz
tar -xzf logstash-7.15.2.tar.gz

创建配置文件logstash.conf：

input {
  file {
    path => "/var/log/*.log"
    start_position => "beginning"
  }
}

filter {
  grok {
    match => { "message" => "%{TIMESTAMP_ISO8601:timestamp} %{LOGLEVEL:loglevel} %{GREEDYDATA:message}" }
  }
}

output {
  elasticsearch {
    hosts => ["localhost:9200"]
    index => "logs-%{+YYYY.MM.dd}"
  }
}

四、Kibana安装与可视化

wget https://artifacts.elastic.co/downloads/kibana/kibana-7.15.2-linux-x86_64.tar.gz
tar -xzf kibana-7.15.2-linux-x86_64.tar.gz
cd kibana-7.15.2-linux-x86_64/
./bin/kibana

五、系统优化与维护

1. 性能调优

• 调整JVM堆内存大小
• 配置索引生命周期管理(ILM)
• 设置合理的分片数量

2. 安全加固

• 启用X-Pack基础安全功能
• 配置TLS加密通信
• 设置角色访问控制

六、实际应用案例

某电商平台通过ELK系统实现了：

• 实时监控系统异常日志，响应时间缩短80%
• 通过日志分析优化了API接口性能
• 建立了完善的日志审计机制