[FusionInsight] 复杂Raid盘序乱序问题下解决以及preinstall设置

版本:C60 U10

情况说明:当raid方式多种时,FusionInsight的preinstall由于按照不是按照磁盘顺序来进行格式化,会导致格式化错误。

方案:此方法由本人和华为工程师涛哥原创。
一、Kafka重装–注意raid信息
Step1.列出主机信息

#主节点
WN19EBDKMDB1001 11.58.10.111
WN19EBDKMDB1002 11.58.10.112
WN19EBDKMDB1003 11.58.10.113

#数据节点(目标主机):
WN19EBDKDDB1001 11.58.10.114
WN19EBDKDDB1002 11.58.10.115
WN19EBDKDDB1003 11.58.10.116

Step2.查看preinstall.ini文件中的g_parted_conf、g_hostname_conf如下:

g_hosts="11.58.10.111,11.58.10.112,11.58.10.113,11.58.10.114,11.58.10.115,11.58.10.116"
g_parted_conf="11.58.10.111:host0.ini;11.58.10.112:host1.ini;11.58.10.113:host2.ini;11.58.10.114:host3.ini;11.58.10.115:host4.ini;11.58.10.116:host5.ini;"
g_hostname_conf="11.58.10.111:11.58.10.111:WN19EBDKMDB1001;11.58.10.112:11.58.10.112:WN19EBDKMDB1002;11.58.10.113:11.58.10.113:WN19EBDKMDB1003;11.58.10.114:11.58.10.114:WN19EBDKDDB1001;11.58.10.115:11.58.10.115:WN19EBDKDDB1002;11.58.10.116:11.58.10.116:WN19EBDKDDB1003;"

去掉已有主机信息,修改如下:
[/shell]g_hosts=”11.58.10.114,11.58.10.115,11.58.10.116″

g_parted_conf=”11.58.10.114:host3.ini;11.58.10.115:host4.ini;11.58.10.116:host5.ini;”
g_hostname_conf=”11.58.10.114:11.58.10.114:WN19EBDKDDB1001;11.58.10.115:11.58.10.115:WN19EBDKDDB1002;11.58.10.116:11.58.10.116:WN19EBDKDDB1003;”[/shell]

所以只需要关注
host3.ini、host4.ini、host5.ini即可

Step3.根据preinstall.ini中IP和对应host文件的关系,修改指定机器的raid preinstall文件。
针对WN19EBDKDDB1003(11.58.106.159) host5.ini示例如下:
3.1 现有host5.ini内容如下:

kafkadata1.conf y y n
datanode1.conf y y n
kafkadata2.conf y y n
datanode2.conf y y n
kafkadata3.conf y y n
kafkadata4.conf y y n

注意:顺序是按照系统df -h的顺序进行preinstall的,而df -h每次机器重启的时候,顺序都不一样,所以需要对顺序进行修改。
流程为: 先格式化磁盘–>卸载磁盘–>重新格式化
格式化用preinstall即可,所以我们的流程是: 先preinstall–>根据df -h和对应磁盘序号调整host.ini–>重新preinstall

WN19EBDKDDB1003第一次preinstall后

/dev/sdd1 825G 201M 825G 1% /srv/BigData/kafka/data1
/dev/sdc1 1.7T 197M 1.7T 1% /srv/BigData/hadoop/data1
/dev/sdg1 1.7T 197M 1.7T 1% /srv/BigData/kafka/data2
/dev/sdf1 1.7T 197M 1.7T 1% /srv/BigData/hadoop/data2
/dev/sdb1 1.7T 197M 1.7T 1% /srv/BigData/kafka/data3
/dev/sde1 825G 201M 825G 1% /srv/BigData/kafka/data4

所以将对应的host5.ini原有

kafkadata1.conf y y n
datanode1.conf y y n
kafkadata2.conf y y n
datanode2.conf y y n
kafkadata3.conf y y n
kafkadata4.conf y y n

改为

datanode1.conf y y n
kafkadata1.conf y y n
kafkadata2.conf y y n
kafkadata3.conf y y n
kafkadata4.conf y y n
datanode2.conf y y n

要先diskmgt unistall

$ cd /usr/local/diskmgt/script
$ ./uninstall.sh

然后删掉fstab中已经格式化的,示例:

umount /srv/BigData/kafka/data1
umount /srv/BigData/kafka/data2
umount /srv/BigData/kafka/data3
umount /srv/BigData/kafka/data4
umount /srv/BigData/hadoop/data1
umount /srv/BigData/hadoop/data2

3.2 附:检查目标主机(11.58.106.159)的磁盘raid信息
登陆目标主机,执行如下命令:

$ ll /dev/disk/by-path
lrwxrwxrwx 1 root root 9 Dec 13 2017 pci-0000:00:11.4-scsi-0:0:0:0 -> ../../sr0
lrwxrwxrwx 1 root root 9 Dec 13 2017 pci-0000:01:00.0-scsi-0:2:0:0 -> ../../sda
lrwxrwxrwx 1 root root 10 Dec 13 2017 pci-0000:01:00.0-scsi-0:2:0:0-part1 -> ../../sda1
lrwxrwxrwx 1 root root 10 Dec 13 2017 pci-0000:01:00.0-scsi-0:2:0:0-part2 -> ../../sda2
lrwxrwxrwx 1 root root 9 Dec 13 2017 pci-0000:01:00.0-scsi-0:2:1:0 -> ../../sdb
lrwxrwxrwx 1 root root 9 Dec 13 2017 pci-0000:01:00.0-scsi-0:2:2:0 -> ../../sdc
lrwxrwxrwx 1 root root 9 Dec 13 09:58 pci-0000:06:00.0-scsi-0:2:0:0 -> ../../sdd
lrwxrwxrwx 1 root root 9 Dec 13 09:58 pci-0000:06:00.0-scsi-0:2:1:0 -> ../../sde
lrwxrwxrwx 1 root root 9 Dec 13 2017 pci-0000:06:00.0-scsi-0:2:2:0 -> ../../sdf
lrwxrwxrwx 1 root root 9 Dec 13 2017 pci-0000:06:00.0-scsi-0:2:3:0 -> ../../sdg
然后,由于raid0、raid5的容量不同,所以可以根据容量来判断对应的磁盘raid信息,以sda作为示例.执行命令如下:
$ fdisk -l|grep Disk|grep sd
Disk /dev/sdb: 1799.3 GB, 1799255752704 bytes
Disk /dev/sda: 859.0 GB, 858993459200 bytes
Disk /dev/sdc: 1799.3 GB, 1799255752704 bytes
Disk /dev/sde: 899.6 GB, 899627876352 bytes
Disk /dev/sdf: 1799.3 GB, 1799255752704 bytes
Disk /dev/sdg: 1799.3 GB, 1799255752704 bytes
Disk /dev/sdd: 899.6 GB, 899627876352 bytes

根据单磁盘容量900GB,所以raid5(4盘raid5)是 1799GB,可以得知:
../../sda Redhat system
../../sdb 1799GB raid5
../../sdc 1799GB raid5
../../sdd 900GB raid0
../../sde 900GB raid0
../../sdf 1799GB raid5
../../sdg 1799GB raid5
blkid命令可以查看挂载点和uuid之间的关系

3.3 在3.2中修改了host4.ini后,执行preinstall(C60版本会自动进行precheck)

$ cd /opt/FusionInsight/software/preinstall
$ ./preinstall

重新登陆目标机器df -h查看,即可发现已经正确格式化
/dev/sdd1 825G 201M 825G 1% /srv/BigData/hadoop/data1
/dev/sdc1 1.7T 197M 1.7T 1% /srv/BigData/kafka/data1
/dev/sdg1 1.7T 197M 1.7T 1% /srv/BigData/kafka/data2
/dev/sdf1 1.7T 197M 1.7T 1% /srv/BigData/kafka/data3
/dev/sdb1 1.7T 197M 1.7T 1% /srv/BigData/kafka/data4
/dev/sde1 825G 201M 825G 1% /srv/BigData/hadoop/data2

 

分类上一篇:无,已是最新文章    分类下一篇:

Leave a Reply