centos部署k8s日志管理

在CentOS上部署Kubernetes（k8s）的日志管理，通常涉及以下几个步骤：

1. 安装和配置Elasticsearch、Logstash和Kibana（ELK Stack）：

   • Elasticsearch：用于存储和搜索日志数据。
   • Logstash：用于收集、处理和转发日志数据。
   • Kibana：用于可视化日志数据。

2. 部署Fluentd作为DaemonSet：

   • Fluentd是一个开源的数据收集器，用于统一日志层。

3. 配置Kubernetes日志收集：

   • 配置Kubernetes以将Pod日志发送到Fluentd。

以下是详细的步骤：

1. 安装和配置ELK Stack

安装Elasticsearch

# 下载并安装Elasticsearch
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.10.0-linux-x86_64.tar.gz
tar -xzf elasticsearch-7.10.0-linux-x86_64.tar.gz
cd elasticsearch-7.10.0

# 配置Elasticsearch
cp config/elasticsearch.yml.template config/elasticsearch.yml
# 编辑config/elasticsearch.yml，确保以下配置：
# network.host: 0.0.0.0
# discovery.type: single-node

# 启动Elasticsearch
./bin/elasticsearch

安装Logstash

# 下载并安装Logstash
wget https://artifacts.elastic.co/downloads/logstash/logstash-7.10.0-linux-x86_64.tar.gz
tar -xzf logstash-7.10.0-linux-x86_64.tar.gz
cd logstash-7.10.0

# 配置Logstash
cp config/logstash.yml.template config/logstash.yml
# 编辑config/logstash.yml，确保以下配置：
# http.host: "0.0.0.0"

# 启动Logstash
./bin/logstash -f config/logstash.conf

安装Kibana

# 下载并安装Kibana
wget https://artifacts.elastic.co/downloads/kibana/kibana-7.10.0-linux-x86_64.tar.gz
tar -xzf kibana-7.10.0-linux-x86_64.tar.gz
cd kibana-7.10.0

# 配置Kibana
cp config/kibana.yml.template config/kibana.yml
# 编辑config/kibana.yml，确保以下配置：
# server.host: "0.0.0.0"

# 启动Kibana
./bin/kibana

2. 部署Fluentd作为DaemonSet

创建Fluentd配置文件

apiVersion: apps/v1
kind: DaemonSet
metadata:
  name: fluentd
  namespace: kube-system
  labels:
    k8s-app: fluentd-logging
spec:
  selector:
    matchLabels:
      name: fluentd
  template:
    metadata:
      labels:
        name: fluentd
    spec:
      containers:
      - name: fluentd
        image: fluent/fluentd-kubernetes-daemonset:v1-debian-elasticsearch7-1.0
        volumeMounts:
        - name: varlog
          mountPath: /var/log
        - name: varlibdockercontainers
          mountPath: /var/lib/docker/containers
          readOnly: true
        env:
        - name: FLUENT_ELASTICSEARCH_HOST
          value: "elasticsearch-service.kube-system.svc.cluster.local"
        - name: FLUENT_ELASTICSEARCH_PORT
          value: "9200"

应用Fluentd配置

kubectl apply -f fluentd-daemonset.yaml

3. 配置Kubernetes日志收集

创建Fluentd配置映射

apiVersion: v1
kind: ConfigMap
metadata:
  name: fluentd-config
  namespace: kube-system
  labels:
    k8s-app: fluentd-logging
data:
  fluent.conf: |
    <source>
      @type tail
      path /var/log/containers/*.log
      pos_file /var/log/fluentd-containers.log.pos
      tag kubernetes.*
      read_from_head true
      <parse>
        @type json
      </parse>
    </source>

    <match kubernetes.**>
      @type elasticsearch
      host elasticsearch-service.kube-system.svc.cluster.local
      port 9200
      logstash_format true
      flush_interval 10s
    </match>

应用Fluentd配置映射

kubectl apply -f fluentd-configmap.yaml

4. 验证日志收集

检查Fluentd Pod状态

kubectl get pods -n kube-system -l name=fluentd

检查Elasticsearch中的日志

访问Kibana界面（通常是http://<your-k8s-master-ip>:5601），查看是否能够看到Kubernetes Pod的日志。

通过以上步骤，你可以在CentOS上部署一个基本的Kubernetes日志管理系统。根据实际需求，你可能需要进一步调整和优化配置。