web 監控接口,提高隨機讀或寫的效率,提高海量小文件的讀寫效率。但是mfs 把文件系統的結構緩存到 master 的內存中,文件越多,master
的內存消耗越大,8g 對應 2500w 的文件數,2 億文件就得 64GB 內存。支持特殊文件(塊和字符設備、管道以及套接字),符號連接和硬連接。

包括以下四種角色:

角色作用管理服務器 managing server (master)負責各個數據存儲服務器的管理,文件讀寫調度,文件空間回收以及恢復.多節點拷貝元數據日志服務器 Metalogger server(Metalogger)負責備份 master 服務器的變化日志文件,文件類型為 changelog_ml.*.mfs,以便于在
master server 出問題的時候接替其進行工作數據存儲服務器 data servers (chunk servers )聽從管理服務器調度,提供存儲空間,并為客戶提供數據傳輸.。
真正存儲用戶數據的服務器。存儲文件時,首先把文件分成塊,然后這些塊在數據服務器 chunkserver之間復 制(復制份數可以手工指定,建議設置副本數為
3)。數據服務器可以是多個,并且數量越多,可使用的“磁盤空間”越大,可靠性也越高??蛻魴C掛載使用 client computers掛載進程 mfs 服務器共享出的存儲并使用。 通過 fuse
內核接口掛載進程管理服務器上所管理的數據存儲服務器共享出的硬盤。 共享的文件系統的用法和 nfs 相似。 使用 MFS 文件系統來存儲和訪問的主機稱為 MFS
的客戶端,成功掛接 MFS 文件系統以后,就可以像以前使用 NFS 一樣共享這個虛擬性的存儲了。

實驗環境介紹

基本環境表

主機操作系統IP地址主要軟件Master ServerCentos7.3192.168.137.10moosefs.x86_64.0.3.0.101-1Metalogger ServerCentos7.3192.168.137.11moosefs.x86_64.0.3.0.101-1Chunk server1Centos7.3192.168.137.12moosefs.x86_64.0.3.0.101-1Chunk server2Centos7.3192.168.137.13moosefs.x86_64.0.3.0.101-1ClientCentos7.3192.168.137.14moosefs.x86_64.0.3.0.101-1

 

拓撲圖

操作步驟

五臺虛擬機模擬搭建MFS文件系統

關閉防火墻及selinux

systemctl stop firewalld
setenforce 0

 

搭建Master Server

安裝軟件

curl "https://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" >
/etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS //添加鍵值
curl
"http://ppa.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo 
//添加適當的庫條目
yum install moosefs-master moosefs-cgi moosefs-cgiserv moosefs-cli
–y

配置文件解釋

cd /etc/mfs/

-rw-r–r–. 1 root root 4057 9月  27 15:18 mfsexports.cfg       
//輸出目錄配置文件
-rw-r–r–. 1 root root 4057 7月  20 19:16
mfsexports.cfg.sample
-rw-r–r–. 1 root root 9015 9月  27 15:18
mfsmaster.cfg         //Master配置文件
-rw-r–r–. 1 root root 9015 7月  20 19:16
mfsmaster.cfg.sample
-rw-r–r–. 1 root root 1052 9月  27 15:18
mfstopology.cfg      //元數據日志
-rw-r–r–. 1 root root 1052 7月  20 19:16
mfstopology.cfg.sample

啟動服務

systemctl start moosefs-master
systemctl enable moosefs-master
netstat
-ntap | grep mfs

tcp        0      0 0.0.0.0:9419            0.0.0.0:*              
LISTEN      6217/mfsmaster     
tcp        0      0 0.0.0.0:9420           
0.0.0.0:*               LISTEN      6217/mfsmaster     
tcp        0      0
0.0.0.0:9421            0.0.0.0:*               LISTEN      6217/mfsmaster    

 

搭建MetalLogger Server

安裝

curl "https://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" >
/etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS //添加鍵值
curl
"http://ppa.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo 
//添加適當的庫條目
yum install moosefs-metalogger –y

修改配置文件

vim /etc/mfs/mfsmetalogger.cfg

MASTER_HOST = 192.168.137.10         
//第52行,去除注釋,改地址指向主服務器。

啟動服務

systemctl start moosefs-metalogger
systemctl enable
moosefs-metalogger
netstat -ntap | grep mfs

tcp        0      0 192.168.137.11:36766    192.168.137.10:9419    
ESTABLISHED 73521/mfsmetalogger

搭建Chunk Server

這兩臺Chunk Server的搭建步驟是完全相同

安裝

curl "https://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" >
/etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS //添加鍵值
curl
"http://ppa.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo 
//添加適當的庫條目
yum install moosefs-chunkserver –y

修改配置文件

修改一

vim /etc/mfs/mfschunkserver.cfg

MASTER_HOST = 192.168.137.10     //第77行,將地址指向主服務器

修改二

vim /etc/mfs/mfshdd.cfg
/gongxiang           
//在末行添加共享目錄

mkdir /gongxiang      //創建共享目錄

chown -R mfs:mfs /gongxiang    //為共享目錄授權

啟動服務

systemctl start moosefs-chunkserver
systemctl enable
moosefs-chunkserver
netstat -ntap | grep mfs

tcp        0      0 0.0.0.0:9422            0.0.0.0:*              
LISTEN      71921/mfschunkserve
tcp        0      0 192.168.137.13:59006   
192.168.137.10:9420     ESTABLISHED 71921/mfschunkserve

Client的搭建

安裝

curl "https://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" >
/etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS //添加鍵值
curl
"http://ppa.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo 
//添加適當的庫條目
yum install moosefs-client –y

加載fuse模塊至內核

modprobe fuse

掛載共享目錄

mkdir /opt/mfs    //創建掛載點
mfsmount /opt/mfs/ -H 192.168.137.10 
//掛載,地址為master地址

df –h

文件系統             容量  已用  可用 已用% %u6302載點
/dev/sda6             21G  4.1G  
17G   20% /
devtmpfs             896M     0  896M    0%
/dev
tmpfs                911M     0  911M    0%
/dev/shm
tmpfs                911M   11M  900M    2%
/run
tmpfs                911M     0  911M    0%
/sys/fs/cgroup
/dev/sda2            9.8G   33M  9.8G    1%
/opt
/dev/sda3            4.9G   89M  4.8G    2% /home
/dev/sda1          
1014M  165M  850M   17% /boot
tmpfs                183M   64K  183M    1%
/run/user/1000
tmpfs                183M     0  183M    0%
/run/user/0
192.168.137.10:9421   58G  8.1G   50G   14%
/opt/mfs

 

MFS監控

主服務器上開啟監控

mfscgiserv
lockfile created and locked
starting simple cgi server
(host: any , port: 9425 , rootpath: /usr/share/mfscgi)

 

訪問192.168.137.10:9425      主機地址

填寫主服務器地址

界面

 

 

更多關于云服務器域名注冊,虛擬主機的問題,請訪問三五互聯官網:www.shinetop.cn

贊(0)
聲明:本網站發布的內容(圖片、視頻和文字)以原創、轉載和分享網絡內容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網站立場,如需處理請聯系客服。郵箱:3140448839@qq.com。本站原創內容未經允許不得轉載,或轉載時需注明出處:三五互聯知識庫 » MFS分布式文件系統搭建與監控詳解

登錄

找回密碼

注冊