如何部署Apache NiFi Poc环境

# 如何部署Apache NiFi Poc环境

## 目录
- [1. 概述](#1-概述)
  - [1.1 Apache NiFi简介](#11-apache-nifi简介)
  - [1.2 PoC环境部署目标](#12-poc环境部署目标)
- [2. 环境准备](#2-环境准备)
  - [2.1 硬件需求](#21-硬件需求)
  - [2.2 软件需求](#22-软件需求)
  - [2.3 网络配置](#23-网络配置)
- [3. 安装部署](#3-安装部署)
  - [3.1 基础环境配置](#31-基础环境配置)
  - [3.2 NiFi安装包获取](#32-nifi安装包获取)
  - [3.3 单节点安装](#33-单节点安装)
  - [3.4 集群模式部署](#34-集群模式部署)
- [4. 配置优化](#4-配置优化)
  - [4.1 JVM调优](#41-jvm调优)
  - [4.2 存储配置](#42-存储配置)
  - [4.3 安全配置](#43-安全配置)
- [5. 基本操作](#5-基本操作)
  - [5.1 用户界面介绍](#51-用户界面介绍)
  - [5.2 流程创建示例](#52-流程创建示例)
  - [5.3 监控与管理](#53-监控与管理)
- [6. 高级功能](#6-高级功能)
  - [6.1 自定义Processor](#61-自定义processor)
  - [6.2 外部服务集成](#62-外部服务集成)
- [7. 常见问题](#7-常见问题)
- [8. 总结](#8-总结)

## 1. 概述

### 1.1 Apache NiFi简介
Apache NiFi是由美国国家安全局(NSA)开发并贡献给Apache基金会的开源数据流平台，具有以下核心特性：
- 可视化数据流编排
- 数据溯源(Data Provenance)
- 多协议支持
- 弹性扩展能力
- 企业级安全特性

### 1.2 PoC环境部署目标
本文档将指导完成：
1. 单节点开发测试环境搭建
2. 生产级集群部署方案
3. 性能优化配置
4. 基础安全配置
5. 典型用例演示

## 2. 环境准备

### 2.1 硬件需求
| 环境类型 | CPU   | 内存  | 存储  | 节点数 |
|---------|-------|-------|-------|-------|
| 开发环境 | 4核   | 8GB   | 50GB  | 1     |
| 生产环境 | 16核+ | 32GB+ | 1TB+  | 3+    |

### 2.2 软件需求
- 操作系统：Linux(CentOS/RHEL 7+)
- Java环境：OpenJDK 11+
- 数据库：嵌入式H2(测试)/PostgreSQL(生产)
- 浏览器：Chrome/Firefox最新版

### 2.3 网络配置
- 确保以下端口可用：
  - 8443(HTTPS UI)
  - 8080(HTTP UI)
  - 1025-65535(集群通信)

## 3. 安装部署

### 3.1 基础环境配置
```bash
# 以CentOS为例
sudo yum install -y java-11-openjdk-devel
echo "export JAVA_HOME=/usr/lib/jvm/java-11-openjdk" >> ~/.bashrc
source ~/.bashrc

3.2 NiFi安装包获取

wget https://archive.apache.org/dist/nifi/1.15.2/nifi-1.15.2-bin.tar.gz
sha256sum nifi-1.15.2-bin.tar.gz
tar -xzf nifi-1.15.2-bin.tar.gz
cd nifi-1.15.2

3.3 单节点安装

# 启动前配置
vim conf/nifi.properties
# 修改关键参数：
nifi.web.http.port=8080
nifi.remote.input.host=localhost
nifi.cluster.is.node=false

# 启动服务
bin/nifi.sh start

3.4 集群模式部署

# 所有节点需统一配置
nifi.cluster.is.node=true
nifi.cluster.node.protocol.port=11443
nifi.zookeeper.connect.string=node1:2181,node2:2181,node3:2181

4. 配置优化

4.1 JVM调优

# conf/bootstrap.conf
java.arg.2=-Xms4g
java.arg.3=-Xmx4g
java.arg.8=-XX:MaxMetaspaceSize=512m

4.2 存储配置

# conf/nifi.properties
nifi.content.repository.directory.default=./content_repository
nifi.flowfile.repository.directory=./flowfile_repository
nifi.provenance.repository.directory.default=./provenance_repository

4.3 安全配置

# 生成证书
bin/nifi-toolkit.sh tls-toolkit standalone \
  -n "nifi1,nifi2,nifi3" \
  -o ./target

5. 基本操作

5.1 用户界面介绍

5.2 流程创建示例

1. 拖拽GetFile Processor
2. 配置Input Directory
3. 连接PutFile Processor
4. 设置自动终止关系

5.3 监控与管理

• 查看Bulletin Board
• 监控System Diagnostics
• 分析Provenance数据

6. 高级功能

6.1 自定义Processor

@Tags({"example"})
@CapabilityDescription("Custom processor for PoC")
public class DemoProcessor extends AbstractProcessor {
    // 实现逻辑...
}

6.2 外部服务集成

# Kafka集成配置
nifi.kafka.bootstrap.servers=kafka1:9092,kafka2:9092
nifi.kafka.zookeeper.connect=zk1:2181/path

7. 常见问题

Q：节点无法加入集群 A：检查： 1. 防火墙设置 2. Zookeeper连接字符串 3. 主机名解析

Q：UI响应缓慢 A：考虑： 1. 增加JVM内存 2. 优化内容仓库位置 3. 检查网络延迟

8. 总结

通过本指南您已完成： ✅ 基础环境搭建
✅ 安全配置实施
✅ 性能优化调整
✅ 典型流程演示

后续建议： 1. 实施定期备份策略 2. 建立监控告警体系 3. 规划灾备方案 “`

注：本文为框架性文档，实际部署时需根据具体环境调整参数配置。完整部署手册包含更多细节配置和性能测试数据，建议结合官方文档使用。