Gluster FS 部署复制卷与常用命令 常见问题解决

发布于 14 天前  20 次阅读


在 liunx 下部署Gluster FS分布式文件系统,以及Gluster FS遇到的一些问题解决,常用命令

概述

Gluster FS 是一个开源分布式文件系统,具有强大的横向扩展能力,可支持数PB存储容量和数千客户端,通过Infiniband RDMA 或Tcp/Ip 方式将许多廉价的x86 主机,通过网络互联成一个并行的网络文件系统。具有可扩展性、高性能、高可用性等特点。

Gluster FS采用可堆叠的用户空间设计,如图所示:

img

什么是分布式文件系统

简单的说,分布式文件系统就是将固定于某个点的某个文件系统,扩展到任意多个地点/多个文件系统,众多的节点组成一个文件系统网络。通过网络进行节点间的通信和数据传输。你无需关心数据是存储在哪个节点,或是从哪个节点读取数据。

[Gluster FS 卷类型](https://blog.51cto.com/u_13447608/2386830 )

部署

安装Gluster FS

此处为安装单机流程,安装集群请参考 搭建复制卷

搜索可用安装版本

yum search centos-release-gluster

指定 Glusterfs 6 版本(根据自己要求选择安装版本)

yum -y install centos-release-gluster6.noarch

安装 服务端 + 客户端

yum install -y glusterfs*

只安装客户端

yum install -y glusterfs-fuse.x86_64

查看版本(如果只有客户端无法使用该命令)

glusterfs -V

启动服务

service glusterd start

添加开机启动

systemctl enable glusterd.service

搭建复制卷

参考 centos7下glusterFs 分布式文件系统环境搭建
参考 CentOS7安装GlusterFS

以上两个参考已经很详细了,你也可以自行搜索文章教程,关键字 (CentOS7、GlusterFS、复制卷)

以下是自行总结的步骤

开放通信端口

Linux 有两种防火墙(firewall、iptables ),请确定自己使用的是什么类型防火墙再放行端口

firewall 防火墙

# 通信端口
firewall-cmd --zone=public --add-port=49152/tcp--permanent
firewall-cmd --zone=public --add-port=24007:24011/tcp--permanent
firewall-cmd --zone=public --add-port=38465:38485/tcp--permanent

重新载入

firewall-cmd --reload

查看防火墙规则

firewall-cmd --list-ports 

iptables 防火墙

iptables -A INPUT -p tcp --dport 49152 -j ACCEPT
iptables -A INPUT -p tcp --dport 24007:24011 -j ACCEPT
iptables -A INPUT -p tcp --dport 38465:38485 -j ACCEPT
iptables -A INPUT -p tcp --dport 111 -j ACCEPT

保存规则

service iptables save  

查看防火墙规则

iptables -L -n

安装Gluster FS

集群环境与角色

nameip
node-2172.16.10.2
node-3172.16.10.3
node-4172.16.10.4
client172.16.10.50
  • 安装 Gluster FS Server (node-2、3、4都需执行以下命令)
  # 搜索可用安装版本
  yum search centos-release-gluster
  # 指定 Glusterfs 6 版本(根据自己要求选择安装版本)
  yum -y install centos-release-gluster6.noarch
  # 安装 服务端 + 客户端 (可以选择不安装客户端)
  yum install -y glusterfs*
  # 查看版本
  glusterfs -V
  # 启动服务
  service glusterd start
  # 添加开机启动
  systemctl enable glusterd.service
  • 安装 Gluster FS Client (在 client 执行以下命令,Client 需与 Server 版本一致)
  # 搜索可用安装版本
  yum search centos-release-gluster
  # 指定 Glusterfs 6 版本(根据自己要求选择安装版本)
  yum -y install centos-release-gluster6.noarch
  # 只安装客户端
  yum install -y glusterfs-fuse.x86_64

增加集群节点

  • 关闭防火墙 or 开放端口
  • 开放端口参考 开放通信端口
  • 或者关闭每一台机器的防火墙
  # firewalld
  systemctl stop firewalld.service
  systemctl disable firewalld.service
  # or iptables
  systemctl stop iptables.service
  systemctl disable iptables.service
  • 添加节点 在node-2上执行,将node-3、node-4加入集群
  gluster peer probe 172.16.10.2
  gluster peer probe 172.16.10.3
  gluster peer probe 172.16.10.4
  • 在node-1上看集群节点状态
  [root@172.16.10.2 db]# gluster peer status
  Number of Peers: 2

  Hostname: 172.16.10.3
  Uuid: d8d232f-e5fb-4752-b40d-b0103afrf8ea
  State: Peer in Cluster (Connected)

  Hostname: 172.16.10.4
  Uuid: ff3gg732-ae12-4b6c-4rfb-65fd7886588c
  State: Peer in Cluster (Connected)

  # 如果节点 State 显示的不是 (Connected) 则添加节点未成功,需排查两个节点之间通信是否正常,可以ping 测试

创建网络卷

  • 创建数据存储目录(在三个节点都执行 node-2、3、4)
  mkdir -p /home/hotgv1
  • 创建复制卷三节点模式
  # 语法
  gluster volume create 卷名称 replica 节点数量 节点IP:目录... force
  # 示例
  gluster volume create hotgv1 replica 3 172.16.10.2:/home/hotgv1 172.16.10.3:/home/hotgv1 172.16.10.4:/home/hotgv1 force
  • 查看卷信息
  # 卷信息
  gluster volume info
  • 启动卷
  gluster volume start hotgv1
  • 查看卷状态
  gluster volume status

  Status of volume: hotgv1
  Gluster process                             TCP Port  RDMA Port  Online  Pid
  ------------------------------------------------------------------------------
  Brick 172.16.10.2:/home/hotgv1              49152     0          Y       6283
  Brick 172.16.10.3:/home/hotgv1              49152     0          Y       6216
  Brick 172.16.10.4:/home/hotgv1              49152     0          Y       6232

  # online Y | N  表示节点是否在线

性能调优

  • 性能调优(可选操作步骤)
  # 启用卷配额
  gluster volume quota hotgv1 enable
  # 限制 hotgv1中 / (既总目录) 最大使用 100GB 空间 
  gluster volume quota hotgv1 limit-usage / 100GB
  # 设置 cache 大小(此处要根据实际情况,如果设置太大可能导致后面客户端挂载失败) 
  gluster volume set hotgv1 performance.cache-size 512MB
  # 开启 异步,后台操作 
  gluster volume set hotgv1 performance.flush-behind on
  # 设置 io 线程 32 
  gluster volume set hotgv1 performance.io-thread-count 32
  # 设置 回写 (写数据时间,先写入缓存内,再写入硬盘) 
  gluster volume set hotgv1 performance.write-behind on

  # 查看调优后的卷信息
  gluster volume info

挂载网络卷

  • 设置ip白名单
  # 仅白名单IP才能挂载客户端访问卷 *通配符
  gluster volume set hotgv1 auth.allow 172.16.10.50,172.16.10.*,
  • 挂载卷(在 client 172.16.10.50 执行)
  # 创建数据访问挂载点
  mkdir -p /mnt/hotgv1
  # 挂载卷
  mount -t glusterfs IP:卷名 挂载点目录
  # 例 1
  mount -t glusterfs 172.16.10.2:hotgv1 /mnt/hotgv1
  # 例 2 不要记录挂载日志
  mount -t glusterfs -o log-level=NONE 172.16.10.2:hotgv1 /mnt/hotgv1

  # df 命令检查挂载状态
  df -h

  # 挂载失败 检查卷白名单、测试节点之间通信Ping、防火墙

测试卷工作

  • 测试卷工作 (在 client 172.16.10.50 执行)
  # 往该目录写入文件,随后查看gluster服务器的存储情况 
  time dd if=/dev/zero of=/mnt/hotgv1/hello bs=100M count=1
  • 查看卷节点文件是否同步
  # 172.16.10.2
  ll /home/hotgv1
  # 172.16.10.3
  ll /home/hotgv1
  # 172.16.10.4
  ll /home/hotgv1

常见问题

遇到问题,建议先排查错误日志,90%的问题都可以找到原因

cd /var/log/glusterfs/

节点

  • 新增节点到集群后,集群其余节点无法感知新增节点状态,或者新增节点无法同步数据,通信等情况 参考 开放通信端口
  • 故障节点重新上线 当执行 gluster volume status 命令发现有节点 Online 状态为 N,该情况一般为网络通信故障导致节点状态为掉线,解决方法:
  • 重启掉线节点 glusterfs程序,使其重新上线 service glusterd restart
  • 排查掉线节点防火墙
  • 如果仍然无法成功上线 参考 故障节点排除方案
  • 故障节点排除(非复制卷,慎用) ​ 如果重启节点仍然无法解决 节点掉线
  1. 备份故障节点目录 /var/lib/glusterd 中的 glusterd.info 文件 与 peers 文件夹
  2. stop gluster 服务 删除 /var/lib/glusterd 目录下的所有文件
  3. 启动 gluster 服务 将备份的 glusterd.info文件与 peers 文件夹覆盖到 /var/lib/glusterd 中
  4. 重启 gluster 服务

挂载

  • 挂载点异常处理方法
  • 当挂载点 出现 挂载点传输未建立 ??? ? ? ? ? ? /mnt/hotgv1 这种情况是挂载目标节点掉线,导致挂载点崩溃,通常带来 无法访问、写入网络卷等问题 处理方法:卸载挂载点 重新挂载 # 卸载挂载点(当出现此情况时通常无法使用该命令卸载) umount /mnt/hotgv1cn # 使用此命令卸载 fusermount-glusterfs -uz /mnt/hotgv1 # 重新挂载 mount -t glusterfs 172.16.10.2:hotgv1 /mnt/hotgv1 该情况一般 伴随网络卷有部分节点掉线 # 使用此命令排查卷健康状态 每个节点都执行一遍 gluster volume status # 发现存在掉线节点,可尝试重启服务解决,如果掉线节点自身参考卷状态正常,而其它节点无法连接掉线节点,可排查防火墙原因

注意事项

集群角色

  • Brick 表示是集群节点,集群节点只能读取文件,不支持向卷中写入数据或者改变数据,如果向节点目录写入数据,并不会同步到集群中。
  • Client 即 mount 挂载点,该目录下对文件操作,都会被同步到卷中所有节点,支持都集群中的文件读写。
  • Volume 即 网络卷,由多个节点组成,不同的网络卷模式,工作原理也不同。

网络卷维护

  • 定期查看网络卷健康状态,及时处理故障节点
  • 添加集群哨兵,监控挂载点状态,一但挂载点下线,网络卷就无法访问与存储,可实现多挂载点模式,防止单点故障。
  • 同一台服务器不仅可以作为节点,也可以做挂载点,同一台服务器可以承担多个网络卷的节点组成,自行考虑性能与存储

常用命令

参考 Glusterfs的常用命令

服务器节点

# 查看所有节点信息,显示时不包括本节点
gluster peer status            
# 添加节点
gluster peer probe   NODE-NAME
# 移除节点,需要提前将该节点上的brick移除
gluster peer detach  NODE-NAME 

Glusterd 服务

# 启动glusterd服务
/etc/init.d/glusterd start
# 关闭glusterd服务
/etc/init.d/glusterd stop
# 查看glusterd服务
/etc/init.d/glusterd status

卷管理

# 创建卷

# <1> 复制卷

# 语法:
gluster volume create NEW-VOLNAME [replica COUNT] [transport tcp | rdma | tcp, rdma] NEW-BRICK
# 示例1:
gluster volume create test-volume replica 2 transport tcp server1:/exp1/brick server2:/exp2/brick

# <2>条带卷

# 语法:
gluster volume create NEW-VOLNAME [stripe COUNT] [transport tcp | rdma | tcp, rdma] NEW-BRICK...
# 示例:
gluster volume create test-volume stripe 2 transport tcp server1:/exp1/brick server2:/exp2/brick

# <3>分布式卷

# 语法:  
gluster volume create NEW-VOLNAME [transport tcp | rdma | tcp, rdma] NEW-BRICK
# 示例1:
gluster volume create test-volume server1:/exp1/brick server2:/exp2/brick
# 示例2:
gluster volume create test-volume transport rdma server1:/exp1/brick server2:/exp2/brick server3:/exp3/brick server4:/exp4/brick

# <4>分布式复制卷

# 语法: 
gluster volume create NEW-VOLNAME [replica COUNT] [transport tcp | rdma | tcp, rdma] NEW-BRICK...
# 示例: 
gluster volume create test-volume replica 2 transport tcp server1:/exp1/brick server2:/exp2/brick server3:/exp3/brick server4:/exp4/brick

# <5>分布式条带卷

# 语法:
gluster volume create NEW-VOLNAME [stripe COUNT] [transport tcp | rdma | tcp, rdma] NEW-BRICK...
# 示例:
gluster volume create test-volume stripe 2 transport tcp server1:/exp1/brick server2:/exp2/brick server3:/exp3/brick server4:/exp4/brick

# <6>条带复制卷

# 语法:
gluster volume create NEW-VOLNAME [stripe COUNT] [replica COUNT] [transport tcp | rdma | tcp, rdma] NEW-BRICK...
# 示例:
gluster volume create test-volume stripe 2 replica 2 transport tcp server1:/exp1/brick server2:/exp2/brick server3:/exp3/brick server4:/exp4/brick

# 启动卷
gluster volume start test-volume
# 停止卷
gluster volume stop test-volume
# 删除卷 先停止卷后才能删除
gluster volume delete test-volume
# 查看卷
# 列出集群中的所有卷
gluster volume list   
# 查看集群中的卷信息
gluster volume info [all]
# 查看集群中的卷状态
gluster volume status [all]

gluster volume status  [detail| clients | mem | inode | fd]

# 配置卷
gluster volume set <VOLNAME> <OPTION> <PARAMETER>

# 扩展卷
gluster volume add-brick <VOLNAME> <NEW-BRICK>
# 注意,如果是复制卷或者条带卷,则每次添加的Brick数必须是replica或者stripe的整数倍。

# 收缩卷
# 先将数据迁移到其它可用的Brick,迁移结束后才将该Brick移除: 
gluster volume remove-brick  start 
# 在执行了start之后,可以使用status命令查看移除进度: 
gluster volume remove-brick  status 
# 不进行数据迁移,直接删除该Brick: 
gluster volume remove-brick  commit 
# 注意,如果是复制卷或者条带卷,则每次移除的Brick数必须是replica或者stripe的整数倍。

# 迁移卷
# 使用start命令开始进行迁移: 
gluster volume replace-brick  start 
# 在数据迁移过程中,可以使用pause命令暂停迁移: 
gluster volume replace-brick  pause 
# 在数据迁移过程中,可以使用abort命令终止迁移: 
gluster volume replace-brick  abort 
# 在数据迁移过程中,可以使用status命令查看迁移进度: 
gluster volume replace-brick  status 
# 在数据迁移结束后,执行commit命令来进行Brick替换: 
gluster volume replace-brick  commit 

# 重新均衡卷
# 不迁移数据: 
gluster volume rebalance  lay-outstart 
gluster volume rebalance  start 
gluster volume rebalance  startforce 
gluster volume rebalance  status 
gluster volume rebalance  stop 

Brick管理

# 添加Brick
gluster volume add-brick test-volume 192.168.1.{151,152}:/mnt/brick2

# 删除Brick
# 若是副本卷,则移除的Bricks数是replica的整数倍
gluster volume remove-brick test-volume 192.168.1.{151,152}:/mnt/brick2 start
# 在执行开始移除之后,可以使用status命令进行移除状态查看。
gluster volume remove-brick test-volume 192.168.1.{151,152}:/mnt/brick2 status

#使用commit命令执行Brick移除,则不会进行数据迁移而直接删除Brick,符合不需要数据迁移的用户需求。
gluster volume remove-brick test-volume 192.168.1.{151,152}:/mnt/brick2 commit

# 替换Brick
# 任务:把192.168.1.151:/mnt/brick0 替换为192.168.1.151:/mnt/brick2

# <1>开始替换
gluster volume replace-brick test-volume 192.168.1.:/mnt/brick0 ..152:/mnt/brick2 start
# 异常信息:volume replace-brick: failed: /data/share2 or a prefix of it is already part of a volume 
# 说明 /mnt/brick2 曾经是一个Brick。具体解决方法
rm -rf /mnt/brick2/.glusterfs

setfattr -x trusted.glusterfs.volume-id /mnt/brick2
setfattr -x trusted.gfid  /mnt/brick2

# 如上,执行replcace-brick卷替换启动命令,使用start启动命令后,开始将原始Brick的数据迁移到即将需要替换的Brick上。

# <2>查看是否替换完
gluster volume replace-brick test-volume 192.168.1.151:/mnt/brick0 ..152:/mnt/brick2 status

# <3>在数据迁移的过程中,可以执行abort命令终止Brick替换。
gluster volume replace-brick test-volume 192.168.1.151:/mnt/brick0 ..152:/mnt/brick2 abort

# <4>在数据迁移结束之后,执行commit命令结束任务,则进行Brick替换。使用volume info命令可以查看到Brick已经被替换。
gluster volume replace-brick test-volume 192.168.1.151:/mnt/brick0 .152:/mnt/brick2 commit

# 此时我们再往 /sf/data/vs/gfs/rep2上添加数据的话,数据会同步到 192.168.1.152:/mnt/brick0和192.168.1.152:/mnt/brick2上。而不会同步到 192.168.1.151:/mnt/brick0 上。 

文件系统扩展属性

#获取文件扩展属性
getfattr -d -m . -e hex filename
getfattr -d -m "trusted.afr.*" -e hex filename

如果一句话反过来就必然不成立,那就根本没必要把这句话放进文档。—— Bob Martin


You got to put the past behind you before you can move on.