Kubernetes 1.6.2 如何部署 EFK 插件

目录

1. 引言
2. EFK 插件简介
3. 准备工作
4. 部署 Elasticsearch
5. 部署 Fluentd
6. 部署 Kibana
7. 验证 EFK 部署
8. 常见问题及解决方案
9. 总结

引言

在现代的微服务架构中，日志管理是一个至关重要的环节。随着应用规模的扩大，日志数据的量也随之增加，如何高效地收集、存储和查询这些日志数据成为了一个挑战。EFK（Elasticsearch、Fluentd、Kibana）是一个流行的日志管理解决方案，能够帮助开发者和运维人员更好地管理和分析日志数据。

本文将详细介绍如何在 Kubernetes 1.6.2 集群中部署 EFK 插件，帮助您构建一个高效的日志管理系统。

EFK 插件简介

EFK 插件由三个核心组件组成：

• Elasticsearch：一个分布式搜索和分析引擎，用于存储和索引日志数据。
• Fluentd：一个开源的日志收集器，负责从各个节点收集日志并将其发送到 Elasticsearch。
• Kibana：一个数据可视化工具，用于查询和展示 Elasticsearch 中的日志数据。

这三个组件协同工作，能够实现日志的集中管理、实时查询和可视化分析。

准备工作

在开始部署 EFK 插件之前，您需要确保以下条件已经满足：

1. Kubernetes 集群：确保您已经有一个运行中的 Kubernetes 1.6.2 集群。
2. kubectl 工具：确保您已经安装并配置好 kubectl 工具，并且能够正常访问 Kubernetes 集群。
3. 存储类：确保 Kubernetes 集群中已经配置了合适的存储类（StorageClass），以便为 Elasticsearch 提供持久化存储。
4. 网络策略：确保 Kubernetes 集群的网络策略允许 EFK 组件之间的通信。

部署 Elasticsearch

Elasticsearch 是 EFK 插件的核心组件，负责存储和索引日志数据。在 Kubernetes 中，我们可以通过 StatefulSet 来部署 Elasticsearch，以确保其数据的持久化和高可用性。

1. 创建 Elasticsearch 配置文件

首先，创建一个名为 elasticsearch.yaml 的配置文件，内容如下：

apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: elasticsearch
  labels:
    app: elasticsearch
spec:
  serviceName: elasticsearch
  replicas: 3
  selector:
    matchLabels:
      app: elasticsearch
  template:
    metadata:
      labels:
        app: elasticsearch
    spec:
      containers:
      - name: elasticsearch
        image: docker.elastic.co/elasticsearch/elasticsearch:6.8.0
        ports:
        - containerPort: 9200
          name: http
        - containerPort: 9300
          name: transport
        env:
        - name: discovery.zen.minimum_master_nodes
          value: "2"
        - name: discovery.zen.ping.unicast.hosts
          value: "elasticsearch-0.elasticsearch,elasticsearch-1.elasticsearch,elasticsearch-2.elasticsearch"
        volumeMounts:
        - name: data
          mountPath: /usr/share/elasticsearch/data
      volumes:
      - name: data
        persistentVolumeClaim:
          claimName: elasticsearch-data
  volumeClaimTemplates:
  - metadata:
      name: data
    spec:
      accessModes: [ "ReadWriteOnce" ]
      resources:
        requests:
          storage: 10Gi

2. 创建 Elasticsearch Service

接下来，创建一个名为 elasticsearch-service.yaml 的 Service 配置文件，内容如下：

apiVersion: v1
kind: Service
metadata:
  name: elasticsearch
  labels:
    app: elasticsearch
spec:
  ports:
  - port: 9200
    name: http
  - port: 9300
    name: transport
  clusterIP: None
  selector:
    app: elasticsearch

3. 部署 Elasticsearch

使用 kubectl 命令部署 Elasticsearch：

kubectl apply -f elasticsearch.yaml
kubectl apply -f elasticsearch-service.yaml

4. 验证 Elasticsearch 部署

等待一段时间后，使用以下命令验证 Elasticsearch 是否成功部署：

kubectl get pods -l app=elasticsearch

如果看到三个 elasticsearch Pod 处于 Running 状态，说明 Elasticsearch 已经成功部署。

部署 Fluentd

Fluentd 是 EFK 插件中的日志收集器，负责从 Kubernetes 集群中的各个节点收集日志，并将其发送到 Elasticsearch。

1. 创建 Fluentd 配置文件

首先，创建一个名为 fluentd-config.yaml 的配置文件，内容如下：

apiVersion: v1
kind: ConfigMap
metadata:
  name: fluentd-config
  labels:
    app: fluentd
data:
  fluent.conf: |
    <source>
      @type tail
      path /var/log/containers/*.log
      pos_file /var/log/fluentd-containers.log.pos
      tag kubernetes.*
      format json
      time_key time
      time_format %Y-%m-%dT%H:%M:%S.%NZ
    </source>

    <match kubernetes.**>
      @type elasticsearch
      host elasticsearch
      port 9200
      logstash_format true
      logstash_prefix kubernetes
      include_tag_key true
      type_name _doc
      buffer_chunk_limit 2M
      buffer_queue_limit 32
      flush_interval 5s
      retry_limit 17
      retry_wait 1.0
      max_retry_wait 30
      disable_retry_limit false
      num_threads 1
    </match>

2. 创建 Fluentd DaemonSet

接下来，创建一个名为 fluentd-daemonset.yaml 的 DaemonSet 配置文件，内容如下：

apiVersion: apps/v1
kind: DaemonSet
metadata:
  name: fluentd
  labels:
    app: fluentd
spec:
  selector:
    matchLabels:
      app: fluentd
  template:
    metadata:
      labels:
        app: fluentd
    spec:
      containers:
      - name: fluentd
        image: fluent/fluentd-kubernetes-daemonset:v1.11.5-debian-elasticsearch7-1.0
        env:
        - name: FLUENT_ELASTICSEARCH_HOST
          value: "elasticsearch"
        - name: FLUENT_ELASTICSEARCH_PORT
          value: "9200"
        - name: FLUENT_ELASTICSEARCH_SCHEME
          value: "http"
        volumeMounts:
        - name: varlog
          mountPath: /var/log
        - name: varlibdockercontainers
          mountPath: /var/lib/docker/containers
          readOnly: true
        - name: fluentd-config
          mountPath: /fluentd/etc/fluent.conf
          subPath: fluent.conf
      volumes:
      - name: varlog
        hostPath:
          path: /var/log
      - name: varlibdockercontainers
        hostPath:
          path: /var/lib/docker/containers
      - name: fluentd-config
        configMap:
          name: fluentd-config

3. 部署 Fluentd

使用 kubectl 命令部署 Fluentd：

kubectl apply -f fluentd-config.yaml
kubectl apply -f fluentd-daemonset.yaml

4. 验证 Fluentd 部署

等待一段时间后，使用以下命令验证 Fluentd 是否成功部署：

kubectl get pods -l app=fluentd

如果看到每个节点上都有一个 fluentd Pod 处于 Running 状态，说明 Fluentd 已经成功部署。

部署 Kibana

Kibana 是 EFK 插件中的数据可视化工具，用于查询和展示 Elasticsearch 中的日志数据。

1. 创建 Kibana 配置文件

首先，创建一个名为 kibana.yaml 的配置文件，内容如下：

apiVersion: apps/v1
kind: Deployment
metadata:
  name: kibana
  labels:
    app: kibana
spec:
  replicas: 1
  selector:
    matchLabels:
      app: kibana
  template:
    metadata:
      labels:
        app: kibana
    spec:
      containers:
      - name: kibana
        image: docker.elastic.co/kibana/kibana:6.8.0
        ports:
        - containerPort: 5601
        env:
        - name: ELASTICSEARCH_URL
          value: "http://elasticsearch:9200"

2. 创建 Kibana Service

接下来，创建一个名为 kibana-service.yaml 的 Service 配置文件，内容如下：

apiVersion: v1
kind: Service
metadata:
  name: kibana
  labels:
    app: kibana
spec:
  ports:
  - port: 5601
    targetPort: 5601
  selector:
    app: kibana
  type: LoadBalancer

3. 部署 Kibana

使用 kubectl 命令部署 Kibana：

kubectl apply -f kibana.yaml
kubectl apply -f kibana-service.yaml

4. 验证 Kibana 部署

等待一段时间后，使用以下命令验证 Kibana 是否成功部署：

kubectl get pods -l app=kibana

如果看到 kibana Pod 处于 Running 状态，说明 Kibana 已经成功部署。

验证 EFK 部署

在完成 Elasticsearch、Fluentd 和 Kibana 的部署后，您可以通过以下步骤验证 EFK 插件的整体功能。

1. 访问 Kibana

首先，获取 Kibana 的访问地址：

kubectl get svc kibana

在浏览器中访问 Kibana 的地址，您应该能够看到 Kibana 的登录界面。

2. 配置 Kibana 索引

在 Kibana 中，点击左侧菜单中的 “Management”，然后选择 “Index Patterns”。在 “Index pattern” 输入框中输入 kubernetes-*，然后点击 “Next step”。在 “Time Filter field name” 中选择 @timestamp，然后点击 “Create index pattern”。

3. 查询日志

在 Kibana 中，点击左侧菜单中的 “Discover”，您应该能够看到从 Kubernetes 集群中收集的日志数据。您可以使用 Kibana 的查询功能来搜索和分析日志。

常见问题及解决方案

1. Elasticsearch Pod 无法启动

问题描述：Elasticsearch Pod 无法启动，日志中显示 discovery.zen.minimum_master_nodes 配置错误。

解决方案：确保 discovery.zen.minimum_master_nodes 的值设置为 (number_of_master_nodes / 2) + 1。例如，如果您有 3 个 Elasticsearch 节点，则应设置为 2。

2. Fluentd 无法连接到 Elasticsearch

问题描述：Fluentd Pod 日志中显示无法连接到 Elasticsearch。

解决方案：检查 Fluentd 的配置文件中 FLUENT_ELASTICSEARCH_HOST 和 FLUENT_ELASTICSEARCH_PORT 的值是否正确，并确保 Elasticsearch 服务已经成功部署。

3. Kibana 无法访问 Elasticsearch

问题描述：Kibana 无法访问 Elasticsearch，日志中显示连接错误。

解决方案：检查 Kibana 的配置文件中 ELASTICSEARCH_URL 的值是否正确，并确保 Elasticsearch 服务已经成功部署。

总结

通过本文的介绍，您已经学会了如何在 Kubernetes 1.6.2 集群中部署 EFK 插件。EFK 插件能够帮助您高效地收集、存储和查询日志数据，为您的应用提供强大的日志管理能力。希望本文能够帮助您顺利部署 EFK 插件，并在实际应用中发挥其强大的功能。