rhcs之gfs2和clvm

test1: 192.168.10.161  centos6.8  主机名：test1

test2: 192.168.10.162  centos6.9  主机名：test2

test3: 192.168.10.163  centos6.9  主机名：test3

test4: 192.168.10.164  centos6.9  主机名：test4

一、RHCS集群创建（luci/ricci，详细过程略）

二、iscsi配置

（1）、iscsi server端（test1: 192.168.10.161）

1、安装scsi-target-utils

[root@test1 ~]# yum install -y scsi-target-utils

2、配置iscsi

[root@test1 ~]# vim /etc/tgt/targets.conf

<target iqn.2018-01-07.com.haha:test1.s1>

   backing-store /dev/sdc

   initiator-address 192.168.10.0/24

</target>

3、启动tgtd服务

[root@test1 ~]# service tgtd start

（2）、iscsi initiator端（test2、test3、test4）

1、安装iscsi-initiator-utils

[root@test2 ~]# yum install -y iscsi-initiator-utils

2、配置InitiatorName

[root@test2 ~]#echo "InitiatorName=`iscsi-iname -p  iqn.2018-01-07.com.haha`" > /etc/iscsi/initiatorname.iscsi

3、启动iscsi、iscsid服务

[root@test2 ~]# service iscsi start

[root@test2 ~]# service iscsid start

test3、test4节点按同样的方法安装设置。

4、test2、test3、test4节点发现设备：

# iscsiadm -m discovery -t st -p test1

192.168.10.161:3260,1 iqn.2018-01-07.com.haha:test1.s1

5、登录

# iscsiadm -m node -T iqn.2018-01-07.com.haha:test1.s1 -l

（3）、gfs2-utils安装（test2、test3、test4）

test2、test3、test4都安装gfs2-utils

#yum install gfs2-utils -y

可以配置好ansible批量安装：

[root@test1 ~]# ansible ha -m yum -a 'name=gfs2-utils state=latest'

（4）、分区、格式化已经挂载的iscsi设备

在前面中，test2已经登录iscsi设备：

分区：创建2个大小为1G的主分区（过程略），分区结果：

格式化：

 [root@test2 ~]# mkfs.gfs2 -h

Usage:

mkfs.gfs2 [options] <device> [ block-count ]

Options:

  -j <num>         Number of journals

  -p <name>        Name of the locking protocol

  -t <name>        Name of the lock table

[root@test2 ~]# mkfs.gfs2 -j 2 -p lock_dlm -t tcluster:sdb1 /dev/sdb1

查看状态：

[root@test2 ~]# tunegfs2 -l /dev/sdb1

将/dev/sdb1挂载到/cluster/data目录

[root@test2 ~]# mkdir /cluster/data -p

[root@test2 ~]# mount /dev/sdb1 /cluster/data/

查看日志区域：

[root@test2 ~]# gfs2_tool journals /dev/sdb1

journal1 – 128MB

journal0 – 128MB

2 journal(s) found.

[root@test2 ~]#

test3、test4发现、登录iscsi（过程略）

当test4挂载的时候出现：

格式化/dev/sdb1的时候，只设置了2个journals，而节点挂载点有3个，所以报错。

添加journals：

[root@test3 ~]# gfs2_jadd -j 1 /dev/sdb1

此时，test4可以挂载了

[root@test4 ~]# mount -t gfs2 /dev/sdb1 /cluster/data/

[root@test4 ~]# tail -1 /etc/fstab

冻结（阻止数据写入）：

[root@test4 ~]# gfs2_tool freeze /cluster/data/

解冻：

[root@test4 ~]# gfs2_tool unfreeze /cluster/data/

cLVM:cluster lvm，集群lvm

（1）安装包：lvm2-cluster

（2）启用集群模式：lvmconf –enable-cluster

（3）启动服务：service clvmd start

（4）创建共享存储的分区，调整类型为8e

1、test2、test3、test4安装lvm2-cluster：

[root@test1 ~]# ansible ha -m yum -a 'name=lvm2-cluster state=latest'

2、配置

[root@test2 ~]# cd /etc/lvm/

[root@test2 lvm]#lvm.cnf

locking_type = 1改为locking_type = 3

因为有3个节点（test2、test3、test4）

或者运行：lvmconf –enable-cluster命令

[root@test2 ~]# lvmconf –enable-cluster

每个节点都要设置。

3、每个节点都启动clvmd进程

# service clvmd start

4、调整硬盘类型

[root@test2 ~]# fdisk /dev/sdb

Command (m for help): t

Partition number (1-4): 2

Hex code (type L to list codes): 8e

Changed system type of partition 2 to 8e (Linux LVM)

保存退出

[root@test2 ~]# partx -a /dev/sdb

5、lvm创建

[root@test2 ~]# pvcreate /dev/sdb2

  Physical volume "/dev/sdb2" successfully created

[root@test2 ~]# vgcreate cvg /dev/sdb2

  Clustered volume group "cvg" successfully created

[root@test2 ~]# lvcreate -L 500M -n clv cvg

  Logical volume "clv" created.

查看：

[root@test3 ~]# pvs

[root@test3 ~]# vgs

[root@test3 ~]# lvs

格式化：

[root@test2 ~]# mkfs.gfs2 -j 3 -t tcluster:clv -p lock_dlm /dev/cvg/clv

逻辑卷挂载：

[root@test3 ~]# umount /cluster/data/

[root@test3 ~]# mount -t gfs2 /dev/cvg/clv /cluster/data/

大小是500M，那如果扩展到600M呢？

[root@test2 ~]# lvextend -L 600M /dev/cvg/clv

[root@test2 ~]# gfs2_grow /dev/cvg/clv

Error: The device has grown by less than one Resource Group (RG).

The device grew by 200MB.  One RG is 249MB for this file system.

gfs2_grow complete.

扩展的大小至少是RG大小（249M）的倍数，500M扩展到600M只是扩展了100M，100M小于249M，所以报错。

正确的是：

[root@test2 ~]# lvextend -L +249M /dev/cvg/clv

[root@test2 ~]# gfs2_grow /dev/cvg/clv

RG的值可以在格式化时修改，其选项是-r，mkfs.gfs -r