docker中怎么安装airflow

发布时间：2021-06-18 16:12:23 作者：Leah
来源：亿速云阅读：328

# Docker中怎么安装Airflow

Apache Airflow是一个开源的工作流自动化工具，用于编排复杂的数据管道。使用Docker部署Airflow可以快速搭建环境并避免依赖冲突。以下是详细安装步骤：

---

## 一、准备工作
1. **安装Docker**  
   确保系统已安装Docker Engine和Docker Compose：
   ```bash
   # 检查Docker版本
   docker --version
   docker-compose --version

获取官方配置
从Airflow官方仓库下载docker-compose.yaml：


curl -LfO 'https://airflow.apache.org/docs/apache-airflow/stable/docker-compose.yaml'

二、配置Airflow环境

1. 设置必要目录

创建挂载目录以持久化数据：

mkdir -p ./dags ./logs ./plugins ./config
echo -e "RFLOW_UID=$(id -u)" > .env

2. 修改配置文件（可选）

编辑docker-compose.yaml自定义配置，例如：

services:
  airflow-webserver:
    ports:
      - "8080:8080"
  # 添加其他服务配置...

三、启动Airflow服务

初始化数据库
首次运行需初始化元数据库：
```
docker-compose up airflow-init
```
启动所有容器
运行完整服务栈：
```
docker-compose up -d
```
验证服务状态
检查容器是否正常运行：
```
docker ps
```

四、访问Web界面

浏览器打开 http://localhost:8080
默认登录凭证：airflow / airflow

五、关键配置说明

1. 环境变量

通过.env文件配置核心参数：

RFLOW__CORE__EXECUTOR=LocalExecutor
RFLOW__CORE__LOAD_EXAMPLES=False

2. 挂载目录用途

目录	作用
`./dags`	存放用户编写的DAG文件
`./logs`	任务执行日志
`./plugins`	自定义插件

六、常见问题解决

端口冲突
修改docker-compose.yaml中的端口映射，例如将8080改为8081。
权限错误
确保挂载目录有正确权限：
```
sudo chown -R 50000:50000 ./logs
```
修改时区
在docker-compose.yaml中添加： “`yaml environment:
- TZ=Asia/Shanghai
”`

七、扩展功能

1. 使用CeleryExecutor

修改配置以启用分布式任务队列：

services:
  airflow-worker:
    <<: *airflow-common
    command: celery worker
    depends_on:
      - airflow-scheduler

2. 添加依赖包

创建自定义Dockerfile：

FROM apache/airflow:latest
RUN pip install --user pandas numpy

总结

通过Docker部署Airflow可实现快速搭建和灵活扩展。建议生产环境中配置PostgreSQL数据库并启用身份验证。如需更复杂配置，参考官方文档。

注意：本文基于Airflow 2.5+版本，部分配置可能随版本更新而变化。 “`

这篇文章包含约750字，采用Markdown格式，覆盖了从准备到扩展的全部流程，并包含代码块、表格等结构化元素。可根据实际需求调整细节。