CentOS Hadoop 与 Windows 互操作实践指南
一、网络与访问前提
- 让 Windows 主机与 CentOS 虚拟机处于同一网段：优先使用 桥接模式（Bridged），或 NAT 模式并配置端口转发。在 CentOS 中确认地址：ip addr；在 Windows 上用 ping 测试连通性。
- 在 CentOS 启动 Hadoop 服务：start-dfs.sh、start-yarn.sh；用 jps 检查 NameNode/DataNode/ResourceManager/NodeManager 进程。
- 开放访问端口（示例）：HDFS NameNode RPC 9000、HDFS Web UI 50070、YARN ResourceManager 8088、JobHistory 19888。
- 防火墙放行（firewalld）：firewall-cmd --permanent --add-port=9000/tcp 等；或临时测试用 systemctl stop firewalld（不推荐生产）。
- 在 Windows 的 hosts（C:\Windows\System32\drivers\etc\hosts）写入“虚拟机IP 主机名”映射，便于用主机名访问 UI 与 RPC。
二、Windows 上的 IDEA 远程访问 CentOS 的 HDFS 与 YARN
- 在 CentOS 的 Hadoop 配置中，将 core-site.xml 的 fs.defaultFS 改为虚拟机 IP（如：hdfs://192.168.1.120:9000），不要用 localhost，否则 Windows 无法连通。
- Windows 端准备 Hadoop 运行环境：设置 HADOOP_HOME 与 PATH；将对应版本的 winutils.exe、hadoop.dll 放入 %HADOOP_HOME%\bin（Windows 本地库用于避免权限/本地库缺失报错）。
- IDEA 工程依赖（Maven，示例版本可按需调整）：
- hadoop-client、hadoop-common、hadoop-hdfs
- 代码示例（远程访问 HDFS）：
- Configuration conf = new Configuration();
- conf.set(“fs.defaultFS”, “hdfs://192.168.1.120:9000”);
- conf.set(“dfs.client.use.datanode.hostname”, “true”);
- FileSystem fs = FileSystem.get(new URI(“hdfs://192.168.1.120:9000”), conf, “hadoop”);
- 提交作业到 YARN（可选）：
- conf.set(“mapreduce.framework.name”, “yarn”);
- conf.set(“yarn.resourcemanager.address”, “192.168.1.120:8032”);
- 运行时可加 JVM 参数：-DHADOOP_USER_NAME=hadoop（解决权限/归属问题）。
三、Windows 与 CentOS 之间的文件互通
- 方案 A（开发/调试最便捷）：VMware 共享文件夹
- 安装 VMware Tools，在 VMware 设置共享目录；CentOS 中默认挂载到 /mnt/hgfs。
- 示例：将 Windows 的 D:\data 共享后，在 CentOS 的 /mnt/hgfs 下可见并可被 Hadoop 任务作为输入/输出目录（注意目录权限与归属）。
- 方案 B（跨主机/生产更通用）：SMB/CIFS 网络共享
- Windows 开启共享（如共享盘符或目录），CentOS 作为客户端安装 samba-client 并挂载：
- yum -y install samba-client cifs-utils
- mkdir -p /mnt/win_share
- mount -t cifs -o username=winuser,password=winpwd //192.168.1.10/share /mnt/win_share
- 如需开机自动挂载，写入 /etc/fstab：//192.168.1.10/share /mnt/win_share cifs username=winuser,password=winpwd,soft,rw 0 0。
四、常见问题与快速排查
- 连接被拒绝/访问超时：检查 fs.defaultFS 是否为虚拟机 IP、服务是否已启动（start-dfs.sh/start-yarn.sh）、端口是否放行（firewall-cmd 或临时关闭测试）、网络模式是否为桥接/NAT 端口转发是否正确。
- Windows 浏览器打不开 50070/8088：先用 虚拟机IP 访问（不要用 master 主机名）；若 IP 可访问而主机名不可，在 Windows hosts 添加 “IP 主机名” 映射。
- IDEA 报权限不足：运行时增加 -DHADOOP_USER_NAME=你的Hadoop用户；或在 HDFS 上调整目录权限（如 hdfs dfs -chmod -R 755 /user/youruser）。
- Windows 本地库缺失：放置正确版本的 winutils.exe/hadoop.dll 到 %HADOOP_HOME%\bin，并设置 System.setProperty(“hadoop.home.dir”, “D:\hdfs”)。