Filebeat日志加密实践指南

一、加密目标与总体思路

• 传输加密：保障日志在Filebeat → Logstash/Elasticsearch链路上的机密性与完整性，常用TLS/SSL。
• 内容加密：对事件中的敏感字段做加密，即使存储或中间环节被访问，敏感内容仍受保护。
• 落地顺序建议：先启用传输加密，再按需对敏感字段做内容加密，并配套证书管理、最小权限与密钥轮换策略。

二、传输加密 TLS/SSL 配置

• Filebeat → Logstash（推荐双向认证）
  1. 准备证书（可用elasticsearch-certutil或OpenSSL自建CA）
     • 生成CA：elasticsearch-certutil ca --pem --out /opt/certs/ca.pem
     • 为Logstash签发：elasticsearch-certutil cert --ca /opt/certs/ca.pem --name logstash --dns logstash --ip 192.0.2.10 --pem --out logstash.zip
     • 为Filebeat签发：elasticsearch-certutil cert --ca /opt/certs/ca.pem --name filebeat --dns filebeat --ip 192.0.2.20 --pem --out filebeat.zip
     • 解压后将证书分发至各节点，注意Logstash的Beats输入插件要求PKCS#8私钥：
       unzip logstash.zip && cd logstash && openssl pkcs8 -in logstash.key -topk8 -nocrypt -out logstash.p8
  2. Logstash 输入（/etc/logstash/conf.d/beats-ssl.conf） input { beats { port => 5044 ssl => true ssl_certificate_authorities => [“/etc/logstash/certs/ca.pem”] ssl_certificate => “/etc/logstash/certs/logstash.crt” ssl_key => “/etc/logstash/certs/logstash.p8” ssl_verify_mode => “force_peer” } }
  3. Filebeat 输出（/etc/filebeat/filebeat.yml） output.logstash: hosts: [“logstash.example.com:5044”] ssl.certificate_authorities: [“/etc/filebeat/certs/ca.pem”] ssl.certificate: “/etc/filebeat/certs/filebeat.crt” ssl.key: “/etc/filebeat/certs/filebeat.key”
  4. 验证与重启 filebeat test output -e systemctl restart filebeat
• Filebeat → Elasticsearch（HTTPS）
  1. Elasticsearch 启用安全与TLS（示例） xpack.security.enabled: true xpack.security.transport.ssl.enabled: true xpack.security.transport.ssl.verification_mode: certificate xpack.security.transport.ssl.keystore.path: elastic-certificates.p12 xpack.security.transport.ssl.truststore.path: elastic-certificates.p12
  2. Filebeat 输出 output.elasticsearch: hosts: [“https://es.example.com:9200”] username: “elastic” password: “<your_password>” ssl.certificate_authorities: [“/etc/filebeat/certs/ca.pem”]

     如为自签名或私有CA，建议同时配置客户端证书

     ssl.certificate: “/etc/filebeat/certs/filebeat.crt”

     ssl.key: “/etc/filebeat/certs/filebeat.key”

  3. 验证与重启 filebeat test output -e systemctl restart filebeat
• 证书与连通性要点
  • 为服务器证书添加SAN（DNS/IP），避免证书校验失败（如“doesn’t contain any IP SANs”）。
  • 文件权限建议：证书与私钥600，仅属主可读写。
  • 自签名或私有CA场景，务必在客户端配置ssl.certificate_authorities以完成信任链校验。

三、内容加密 对敏感字段进行加密

• 何时使用：需要在存储层或跨团队共享时保护如身份证号、手机号、邮箱、令牌等字段。
• 实现思路
  • 方案A（推荐）：在Logstash使用ruby filter或外部脚本/插件对指定字段进行对称加密（如AES-256-GCM），密钥通过KMS/Secrets Manager或环境变量注入，避免硬编码。
  • 方案B：在Elasticsearch Ingest Pipeline使用ingest-attachment/ingest-crypto-processor（社区插件）或在索引前由应用侧加密。
• 示例（Logstash ruby filter，示意） filter { ruby { code => " require ‘openssl’ key = ENV[‘FIELD_ENC_KEY’] || ‘32byteslongkeyforaes256gcm!!!’ iv = OpenSSL::Random.random_bytes(12) cipher = OpenSSL::Cipher.new(‘aes-256-gcm’) cipher.encrypt cipher.key = key cipher.iv = iv payload = event.get(‘message’) encrypted = cipher.update(payload) + cipher.final tag = cipher.auth_tag event.set(‘message_encrypted’, [iv, encrypted, tag].pack(‘A12ANA’)) event.remove(‘message’) # 视需求决定是否移除明文 " } }
• 重要注意
  • 对称密钥需安全分发与轮换；GCM模式需妥善保存IV与认证标签。
  • 一旦加密，Kibana聚合/检索将受限，通常需保留明文副本或只加密必要字段，并建立解密/脱敏视图供分析。

四、常见问题与排查

• 证书校验失败（IP访问报错或域名不匹配）
  • 证书需包含访问用的IP SAN或正确DNS SAN；重新签发并在客户端配置ssl.certificate_authorities指向CA。
• Logstash Beats输入无法启动或握手失败
  • 确认使用PKCS#8格式私钥（.p8），权限600，证书路径正确；使用filebeat test output与Logstash --config.test_and_exit先做语法与连通性校验。
• 自签名证书被拒绝
  • 在Filebeat输出中设置ssl.verification_mode: certificate或full，并提供ca.crt；必要时同时配置客户端证书以完成双向认证。
• 性能与资源
  • TLS会引入CPU开销；在高吞吐场景建议启用硬件加速、合理设置批量大小与工作者数，并复用连接。