test1: 192.168.10.161  centos6.8  主机名:test1

test2: 192.168.10.162  centos6.9  主机名:test2

test3: 192.168.10.163  centos6.9  主机名:test3

test4: 192.168.10.164  centos6.9  主机名:test4

一、RHCS集群创建(luci/ricci,详细过程略)

blob.png

二、iscsi配置

1)、iscsi server端(test1: 192.168.10.161

1、安装scsi-target-utils

[root@test1 ~]# yum install -y scsi-target-utils

2、配置iscsi

[root@test1 ~]# vim /etc/tgt/targets.conf

<target iqn.2018-01-07.com.haha:test1.s1>

   backing-store /dev/sdc

   initiator-address 192.168.10.0/24

</target>

3、启动tgtd服务

[root@test1 ~]# service tgtd start

2)、iscsi initiator端(test2test3test4

1、安装iscsi-initiator-utils

[root@test2 ~]# yum install -y iscsi-initiator-utils

2、配置InitiatorName

[root@test2 ~]#echo "InitiatorName=`iscsi-iname -p  iqn.2018-01-07.com.haha`" > /etc/iscsi/initiatorname.iscsi

3、启动iscsiiscsid服务

[root@test2 ~]# service iscsi start

[root@test2 ~]# service iscsid start

test3test4节点按同样的方法安装设置。

4test2test3test4节点发现设备:

# iscsiadm -m discovery -t st -p test1

192.168.10.161:3260,1 iqn.2018-01-07.com.haha:test1.s1

5、登录

# iscsiadm -m node -T iqn.2018-01-07.com.haha:test1.s1 -l

3)、gfs2-utils安装(test2test3test4

test2test3test4都安装gfs2-utils

#yum install gfs2-utils -y

可以配置好ansible批量安装:

[root@test1 ~]# ansible ha -m yum -a 'name=gfs2-utils state=latest'

4)、分区、格式化已经挂载的iscsi设备

在前面中,test2已经登录iscsi设备:

blob.png

分区:创建2个大小为1G的主分区(过程略),分区结果:

blob.png

格式化:

 [root@test2 ~]# mkfs.gfs2 -h

Usage:

mkfs.gfs2 [options] <device> [ block-count ]

Options:

  -j <num>         Number of journals

  -p <name>        Name of the locking protocol

  -t <name>        Name of the lock table

 

[root@test2 ~]# mkfs.gfs2 -j 2 -p lock_dlm -t tcluster:sdb1 /dev/sdb1

blob.png

查看状态:

[root@test2 ~]# tunegfs2 -l /dev/sdb1

blob.png

/dev/sdb1挂载到/cluster/data目录

[root@test2 ~]# mkdir /cluster/data -p

[root@test2 ~]# mount /dev/sdb1 /cluster/data/

查看日志区域:

[root@test2 ~]# gfs2_tool journals /dev/sdb1

journal1 – 128MB

journal0 – 128MB

2 journal(s) found.

[root@test2 ~]#

test3test4发现、登录iscsi(过程略)

test4挂载的时候出现:

blob.png

格式化/dev/sdb1的时候,只设置了2journals,而节点挂载点有3个,所以报错。

添加journals

[root@test3 ~]# gfs2_jadd -j 1 /dev/sdb1

blob.png

此时,test4可以挂载了

[root@test4 ~]# mount -t gfs2 /dev/sdb1 /cluster/data/

blob.png

[root@test4 ~]# tail -1 /etc/fstab

blob.png

冻结(阻止数据写入):

[root@test4 ~]# gfs2_tool freeze /cluster/data/

解冻:

[root@test4 ~]# gfs2_tool unfreeze /cluster/data/

cLVM:cluster lvm,集群lvm

1)安装包:lvm2-cluster

2)启用集群模式:lvmconf –enable-cluster

3)启动服务:service clvmd start

4)创建共享存储的分区,调整类型为8e

1test2test3test4安装lvm2-cluster

[root@test1 ~]# ansible ha -m yum -a 'name=lvm2-cluster state=latest'

2、配置

[root@test2 ~]# cd /etc/lvm/

[root@test2 lvm]#lvm.cnf

locking_type = 1改为locking_type = 3

因为有3个节点(test2test3test4

或者运行:lvmconf –enable-cluster命令

[root@test2 ~]# lvmconf –enable-cluster

每个节点都要设置。

3、每个节点都启动clvmd进程

# service clvmd start

4、调整硬盘类型

[root@test2 ~]# fdisk /dev/sdb

Command (m for help): t

Partition number (1-4): 2

Hex code (type L to list codes): 8e

Changed system type of partition 2 to 8e (Linux LVM)

保存退出

[root@test2 ~]# partx -a /dev/sdb

5lvm创建

[root@test2 ~]# pvcreate /dev/sdb2

  Physical volume "/dev/sdb2" successfully created

[root@test2 ~]# vgcreate cvg /dev/sdb2

  Clustered volume group "cvg" successfully created

[root@test2 ~]# lvcreate -L 500M -n clv cvg

  Logical volume "clv" created.

查看:

[root@test3 ~]# pvs

[root@test3 ~]# vgs

[root@test3 ~]# lvs

blob.png

格式化:

[root@test2 ~]# mkfs.gfs2 -j 3 -t tcluster:clv -p lock_dlm /dev/cvg/clv

blob.png

逻辑卷挂载:

[root@test3 ~]# umount /cluster/data/

[root@test3 ~]# mount -t gfs2 /dev/cvg/clv /cluster/data/

blob.png

大小是500M,那如果扩展到600M呢?

[root@test2 ~]# lvextend -L 600M /dev/cvg/clv

[root@test2 ~]# gfs2_grow /dev/cvg/clv

Error: The device has grown by less than one Resource Group (RG).

The device grew by 200MB.  One RG is 249MB for this file system.

gfs2_grow complete.

扩展的大小至少是RG大小(249M)的倍数,500M扩展到600M只是扩展了100M100M小于249M,所以报错。

正确的是:

[root@test2 ~]# lvextend -L +249M /dev/cvg/clv

[root@test2 ~]# gfs2_grow /dev/cvg/clv

blob.png

RG的值可以在格式化时修改,其选项是-rmkfs.gfs -r

分类: Linux服务

8 条评论

caomuzhong · 2018年1月12日 下午10:19

嘿嘿

    kimm · 2018年1月16日 下午2:41

    想不到你还在搞技术啊!现在我们四个,就只有我跟你还在敲代码了。

caomuzhong · 2018年1月12日 下午10:19

三位大神 在干嘛呢?

    kimm · 2018年1月16日 下午2:38

    我们都在广州啊!找你都找不到,Q你也不回。。

      caomuzhong · 2018年1月17日 下午9:10

      很少上Q了

ken · 2018年1月10日 上午10:55

谢大,还记得那个325吗?还记得严二杨三叶四吗?

杨三 · 2018年1月10日 上午10:55

谢大,还记得那个325吗?还记得严二杨三叶四吗?

kimm · 2018年1月10日 上午10:51

谢大,还记得那个325吗?还记得严二杨三叶四吗?

杨三进行回复 取消回复

电子邮件地址不会被公开。 必填项已用*标注

8 + 13 =