web 監控接口,提高隨機讀或寫的效率,提高海量小文件的讀寫效率。但是mfs 把文件系統的結構緩存到 master 的內存中,文件越多,master
的內存消耗越大,8g 對應 2500w 的文件數,2 億文件就得 64GB 內存。支持特殊文件(塊和字符設備、管道以及套接字),符號連接和硬連接。
包括以下四種角色:
角色作用管理服務器 managing server (master)負責各個數據存儲服務器的管理,文件讀寫調度,文件空間回收以及恢復.多節點拷貝元數據日志服務器 Metalogger server(Metalogger)負責備份 master 服務器的變化日志文件,文件類型為 changelog_ml.*.mfs,以便于在
master server 出問題的時候接替其進行工作數據存儲服務器 data servers (chunk servers )聽從管理服務器調度,提供存儲空間,并為客戶提供數據傳輸.。
真正存儲用戶數據的服務器。存儲文件時,首先把文件分成塊,然后這些塊在數據服務器 chunkserver之間復 制(復制份數可以手工指定,建議設置副本數為
3)。數據服務器可以是多個,并且數量越多,可使用的“磁盤空間”越大,可靠性也越高??蛻魴C掛載使用 client computers掛載進程 mfs 服務器共享出的存儲并使用。 通過 fuse
內核接口掛載進程管理服務器上所管理的數據存儲服務器共享出的硬盤。 共享的文件系統的用法和 nfs 相似。 使用 MFS 文件系統來存儲和訪問的主機稱為 MFS
的客戶端,成功掛接 MFS 文件系統以后,就可以像以前使用 NFS 一樣共享這個虛擬性的存儲了。
實驗環境介紹
基本環境表
主機操作系統IP地址主要軟件Master ServerCentos7.3192.168.137.10moosefs.x86_64.0.3.0.101-1Metalogger ServerCentos7.3192.168.137.11moosefs.x86_64.0.3.0.101-1Chunk server1Centos7.3192.168.137.12moosefs.x86_64.0.3.0.101-1Chunk server2Centos7.3192.168.137.13moosefs.x86_64.0.3.0.101-1ClientCentos7.3192.168.137.14moosefs.x86_64.0.3.0.101-1
拓撲圖
操作步驟
五臺虛擬機模擬搭建MFS文件系統
關閉防火墻及selinux
systemctl stop firewalld
setenforce 0
搭建Master Server
安裝軟件
curl "https://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" >
/etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS //添加鍵值
curl
"http://ppa.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo
//添加適當的庫條目
yum install moosefs-master moosefs-cgi moosefs-cgiserv moosefs-cli
–y
配置文件解釋
cd /etc/mfs/
-rw-r–r–. 1 root root 4057 9月 27 15:18 mfsexports.cfg
//輸出目錄配置文件
-rw-r–r–. 1 root root 4057 7月 20 19:16
mfsexports.cfg.sample
-rw-r–r–. 1 root root 9015 9月 27 15:18
mfsmaster.cfg //Master配置文件
-rw-r–r–. 1 root root 9015 7月 20 19:16
mfsmaster.cfg.sample
-rw-r–r–. 1 root root 1052 9月 27 15:18
mfstopology.cfg //元數據日志
-rw-r–r–. 1 root root 1052 7月 20 19:16
mfstopology.cfg.sample
啟動服務
systemctl start moosefs-master
systemctl enable moosefs-master
netstat
-ntap | grep mfstcp 0 0 0.0.0.0:9419 0.0.0.0:*
LISTEN 6217/mfsmaster
tcp 0 0 0.0.0.0:9420
0.0.0.0:* LISTEN 6217/mfsmaster
tcp 0 0
0.0.0.0:9421 0.0.0.0:* LISTEN 6217/mfsmaster
搭建MetalLogger Server
安裝
curl "https://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" >
/etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS //添加鍵值
curl
"http://ppa.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo
//添加適當的庫條目
yum install moosefs-metalogger –y
修改配置文件
vim /etc/mfs/mfsmetalogger.cfg
MASTER_HOST = 192.168.137.10
//第52行,去除注釋,改地址指向主服務器。
啟動服務
systemctl start moosefs-metalogger
systemctl enable
moosefs-metalogger
netstat -ntap | grep mfstcp 0 0 192.168.137.11:36766 192.168.137.10:9419
ESTABLISHED 73521/mfsmetalogger
搭建Chunk Server
這兩臺Chunk Server的搭建步驟是完全相同
安裝
curl "https://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" >
/etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS //添加鍵值
curl
"http://ppa.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo
//添加適當的庫條目
yum install moosefs-chunkserver –y
修改配置文件
修改一
vim /etc/mfs/mfschunkserver.cfg
MASTER_HOST = 192.168.137.10 //第77行,將地址指向主服務器
修改二
vim /etc/mfs/mfshdd.cfg
/gongxiang
//在末行添加共享目錄mkdir /gongxiang //創建共享目錄
chown -R mfs:mfs /gongxiang //為共享目錄授權
啟動服務
systemctl start moosefs-chunkserver
systemctl enable
moosefs-chunkserver
netstat -ntap | grep mfstcp 0 0 0.0.0.0:9422 0.0.0.0:*
LISTEN 71921/mfschunkserve
tcp 0 0 192.168.137.13:59006
192.168.137.10:9420 ESTABLISHED 71921/mfschunkserve
Client的搭建
安裝
curl "https://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" >
/etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS //添加鍵值
curl
"http://ppa.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo
//添加適當的庫條目
yum install moosefs-client –y
加載fuse模塊至內核
modprobe fuse
掛載共享目錄
mkdir /opt/mfs //創建掛載點
mfsmount /opt/mfs/ -H 192.168.137.10
//掛載,地址為master地址df –h
文件系統 容量 已用 可用 已用% %u6302載點
/dev/sda6 21G 4.1G
17G 20% /
devtmpfs 896M 0 896M 0%
/dev
tmpfs 911M 0 911M 0%
/dev/shm
tmpfs 911M 11M 900M 2%
/run
tmpfs 911M 0 911M 0%
/sys/fs/cgroup
/dev/sda2 9.8G 33M 9.8G 1%
/opt
/dev/sda3 4.9G 89M 4.8G 2% /home
/dev/sda1
1014M 165M 850M 17% /boot
tmpfs 183M 64K 183M 1%
/run/user/1000
tmpfs 183M 0 183M 0%
/run/user/0
192.168.137.10:9421 58G 8.1G 50G 14%
/opt/mfs
MFS監控
主服務器上開啟監控
mfscgiserv
lockfile created and locked
starting simple cgi server
(host: any , port: 9425 , rootpath: /usr/share/mfscgi)
訪問192.168.137.10:9425 主機地址
填寫主服務器地址
界面
更多關于云服務器,域名注冊,虛擬主機的問題,請訪問三五互聯官網:www.shinetop.cn