MFS分布式文件系统搭建与监控详解

MFS介绍

官网地址：http://www.moosefs.com/

MooseFS是一个具有容错性的网络分布式文件系统。

它把数据分散存放在多个物理服务器上，而呈现给用户的则是一个统一的资源。通用文件系统,不需要修改上层应用就可以使用，通过附加新的计算机或者硬盘可以实现容量的动态扩展，体系架构可伸缩性极强，删除的文件可以根据配置的时间周期进行保留（一个文件系统级别的回收站），高可靠（数据的多个拷贝被存储在不同的计算机上），提供 web 监控接口，提高随机读或写的效率，提高海量小文件的读写效率。但是mfs 把文件系统的结构缓存到 master 的内存中,文件越多,master 的内存消耗越大,8g 对应 2500w 的文件数,2 亿文件就得 64GB 内存。支持特殊文件（块和字符设备、管道以及套接字），符号连接和硬连接。

包括以下四种角色：

实验环境介绍

基本环境表

拓扑图

操作步骤

• 五台虚拟机模拟搭建MFS文件系统

• 关闭防火墙及selinux

  systemctl stop firewalld
  setenforce 0

   

  搭建Master Server

  安装软件

  curl "https://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS //添加键值
  curl "http://ppa.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo  //添加适当的库条目
  yum install moosefs-master moosefs-cgi moosefs-cgiserv moosefs-cli –y

  配置文件解释

  cd /etc/mfs/

  -rw-r--r--. 1 root root 4057 9月  27 15:18 mfsexports.cfg        //输出目录配置文件
  -rw-r--r--. 1 root root 4057 7月  20 19:16 mfsexports.cfg.sample
  -rw-r--r--. 1 root root 9015 9月  27 15:18 mfsmaster.cfg         //Master配置文件
  -rw-r--r--. 1 root root 9015 7月  20 19:16 mfsmaster.cfg.sample
  -rw-r--r--. 1 root root 1052 9月  27 15:18 mfstopology.cfg      //元数据日志
  -rw-r--r--. 1 root root 1052 7月  20 19:16 mfstopology.cfg.sample
  

  启动服务

  systemctl start moosefs-master
  systemctl enable moosefs-master
  netstat -ntap | grep mfs

  tcp        0      0 0.0.0.0:9419            0.0.0.0:*               LISTEN      6217/mfsmaster     
  tcp        0      0 0.0.0.0:9420            0.0.0.0:*               LISTEN      6217/mfsmaster     
  tcp        0      0 0.0.0.0:9421            0.0.0.0:*               LISTEN      6217/mfsmaster    

   

  搭建MetalLogger Server

  安装

  curl "https://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS //添加键值
  curl "http://ppa.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo  //添加适当的库条目
  yum install moosefs-metalogger –y

  修改配置文件

  vim /etc/mfs/mfsmetalogger.cfg

  MASTER_HOST = 192.168.137.10          //第52行，去除注释，改地址指向主服务器。

  启动服务

  systemctl start moosefs-metalogger
  systemctl enable moosefs-metalogger
  netstat -ntap | grep mfs

  tcp        0      0 192.168.137.11:36766    192.168.137.10:9419     ESTABLISHED 73521/mfsmetalogger

  搭建Chunk Server

  这两台Chunk Server的搭建步骤是完全相同

  安装

  curl "https://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS //添加键值
  curl "http://ppa.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo  //添加适当的库条目
  yum install moosefs-chunkserver –y

  修改配置文件

  修改一

  vim /etc/mfs/mfschunkserver.cfg

  MASTER_HOST = 192.168.137.10     //第77行，将地址指向主服务器

  修改二

  vim /etc/mfs/mfshdd.cfg
  /gongxiang            //在末行添加共享目录

  mkdir /gongxiang      //创建共享目录

  chown -R mfs:mfs /gongxiang    //为共享目录授权

  启动服务

  systemctl start moosefs-chunkserver
  systemctl enable moosefs-chunkserver
  netstat -ntap | grep mfs

  tcp        0      0 0.0.0.0:9422            0.0.0.0:*               LISTEN      71921/mfschunkserve
  tcp        0      0 192.168.137.13:59006    192.168.137.10:9420     ESTABLISHED 71921/mfschunkserve

  Client的搭建

  安装

  curl "https://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS //添加键值
  curl "http://ppa.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo  //添加适当的库条目
  yum install moosefs-client –y

  加载fuse模块至内核

  modprobe fuse

  挂载共享目录

  mkdir /opt/mfs    //创建挂载点
  mfsmount /opt/mfs/ -H 192.168.137.10  //挂载，地址为master地址

  df –h

  文件系统             容量  已用  可用 已用% 挂载点
  /dev/sda6             21G  4.1G   17G   20% /
  devtmpfs             896M     0  896M    0% /dev
  tmpfs                911M     0  911M    0% /dev/shm
  tmpfs                911M   11M  900M    2% /run
  tmpfs                911M     0  911M    0% /sys/fs/cgroup
  /dev/sda2            9.8G   33M  9.8G    1% /opt
  /dev/sda3            4.9G   89M  4.8G    2% /home
  /dev/sda1           1014M  165M  850M   17% /boot
  tmpfs                183M   64K  183M    1% /run/user/1000
  tmpfs                183M     0  183M    0% /run/user/0
  192.168.137.10:9421   58G  8.1G   50G   14% /opt/mfs

   

• MFS监控

• 主服务器上开启监控

• mfscgiserv
  lockfile created and locked
  starting simple cgi server (host: any , port: 9425 , rootpath: /usr/share/mfscgi)

   

  访问192.168.137.10：9425      主机地址

  填写主服务器地址

  
  界面