搭建ZFS存储，Freebsd 10.3在IBM X3650M4上安装问题

[zmoon]

买了一套2CPU E2670 64G内存的机器，外加6块1T SAS 2块SSD，打算做核心ZFS存储给VMWARE用。

遇到两个问题，

第一个是没有认到到板载的4口intel I350AM4网卡，只有一个ue0

打算尝试intel官方驱动

第二个是在安装过程中，想用expert模式只安装在其中一个磁盘的某一个分区上失败

（ 用第二项Manual安装，手动创建了gpt的freebsd-boot freebsd-swap freebsd-zfs 分区时，能顺序分区、校验包、并解压完成，
但到提示输入root密码 NewPassword:提示的时候，安装界面就无法输入，且显示位，除了CTRL ALT +F1 F2 F3 这些还能用 ； 这个能在VMWARE中重现)。

好久没发帖，各位有什么建议吗？

[love2005]

[harbinbeer]

如果其他硬件没有问题，插个老网卡就解决了。

[zmoon]

第一个问题原因找到了，是板载网卡坏了，很彻底，bios中都找不到。

第二个问题还是想研究下能否装到一个GPT分区上做zfsonly系统。

[zmoon]

网卡的问题更换主板后正常了.

zfs的磁盘问题也在线处理了，主要方法过程如下：

1： 双128G SSD硬盘(mfisyspd0/1) 安装mirror pool（默认zroot）的zfsonly FreeBSD 10.3系统，正常配置启动。 安装完成后gpart show 会看到三个分区 第三个分区是zfs分区，分配了几乎所有SSD空间（117G）。

2：用zpool detach zroot mfisyspd1 取消mirror。

3：删除第三个freebsd-zfs分区并重新创建分区（27G）
# gpart delete -i 3 mfisyspd1
# gpart add -t freebsd-zfs -s 27G mfisyspd1

4： 在新建的27G分区上创建新磁盘pool bsdroot
#zpool create -o altroot=/mnt -O compress=lz4 -O atime=off -m none -f bsdroot mfisyspd1p1

5：生成并发送当前系统快照到新bsdroot pool。
#zfs snapshot -r zroot@backup01
#zfs send -r zroot@backup01 | zfs recv -F bsdroot

6： 设置bsdroot pool启动参数

#zpool set bootfs=bsdroot/ROOT/default bsdroot
#zpool set cachefile=/mnt/boot/zfs/zpool.cache bsdroot
#gpart bootcode -b /mnt/boot/pmbr -p /mnt/boot/gptzfsboot -i 1 mfisyspd1


7：关机，拔掉当前（第一插槽）SSD系统盘，并重新开机，完成空出SSD磁盘空间的工作。
少了第一块磁盘后，开机所有插槽识别到的磁盘符号都发生变化。
第二块启动的系统SSD被识别为了mfisyspd0 （原为mfisyspd1）。

8：在线热插入第一块SSD，系统识别为后加的(第8块)磁盘mfisyspd7。

mfi0: 945 (513800818s/0x0002/info) - Inserted: PD 02(e0x3e/s1)
mfisyspd7 on mfi0
mfisyspd7: 122104MB (250069680 sectors) SYSPD volume (deviceid: 2)
mfisyspd7: SYSPD volume attached
mfi0: 946 (513800818s/0x0002/info) - Inserted: PD 02(e0x3e/s1) Info: enclPd=3e, scsiType=0, portMap=07, sasAddr=4433221101000000



9： 重复对原第二块磁盘的删除/重新分区操作

# gpart delete -i 3 mfisyspd7
# gpart add -t freebsd-zfs -s 27G mfisyspd7 （系统bsdroot pool）
mfisyspd7p3 added
# gpart add -t efi -s 10G mfisyspd7 （留空，防止ssd使用过满，降低性能）
mfisyspd7p4 added

# gpart add -t efi -s 30G mfisyspd7 （zil log分区）
mfisyspd7p5 added
# gpart add -t efi -s 50G mfisyspd7 （l2arc cache分区）
mfisyspd7p6 added

最终的分区结构如下：
# gpart show mfisyspd7
=> 34 250069613 mfisyspd7 GPT (119G)
34 6 - free - (3.0K)
40 1024 1 freebsd-boot (512K)
1064 984 - free - (492K)
2048 4194304 2 freebsd-swap (2.0G)
4196352 56623104 3 freebsd-zfs (27G)
60819456 20971520 4 efi (10G)
81790976 62914560 5 efi (30G)
144705536 104857600 6 efi (50G)
249563136 506511 - free - (247M)


10 将bsdroot pool恢复为双硬盘mirror方式

#zpool attach -f bsdroot mfisyspd0p3 mfisyspd7p3
#zpool scrub bsdroot

11：创建zfs数据pool
# zpool create dp0 mirror mfisyspd2 mfisyspd3 mirror mfisyspd4 mfisyspd5 mirror mfisyspd6 mfisyspd7

12： 添加镜像的log设备 和 strip的cache设备到zfs数据pool
zpool add dp0 log mirror mfisyspd0p5 mfisyspd7p5 cache mfisyspd7p6 mfisyspd0p6

完结。

[zmoon]

继续解决问题， 4个千兆网卡做了lacp绑定，发现有些网卡状态不对， laggport: igb0 flags=0<> ，且拔掉网线后igb0状态仍为status: active，需要手动执行ifconfig igb0 up 才正常；

解决方法，设置此sysctl为0，
net.link.lagg.lacp.default_strict_mode: 0

lagg0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
options=403bb<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,JUMBO_MTU,VLAN_HWCSUM,TSO4,TSO6,VLAN_HWTSO>
ether 40:f2:e9:98:bd:22
inet 192.168.5.210 netmask 0xffffff00 broadcast 192.168.5.255
inet 192.168.5.211 netmask 0xffffffff broadcast 192.168.5.211
inet 192.168.6.210 netmask 0xffffff00 broadcast 192.168.6.255
inet 192.168.6.211 netmask 0xffffffff broadcast 192.168.6.211
nd6 options=29<PERFORMNUD,IFDISABLED,AUTO_LINKLOCAL>
media: Ethernet autoselect
status: active
laggproto lacp lagghash l2,l3,l4
laggport: igb0 flags=0<>
laggport: igb1 flags=1c<ACTIVE,COLLECTING,DISTRIBUTING>
laggport: igb2 flags=1c<ACTIVE,COLLECTING,DISTRIBUTING>
laggport: igb3 flags=1c<ACTIVE,COLLECTING,DISTRIBUTING>

[alphachi]

1. 多盘建议gpart -l加label后，用label创建zpool，这样磁盘节点不会因为插拔而变化，方便维护及换盘。

2. LACP可能需要检查一下对端交换机配置，例如是否启用了LACP协议，另外lagg(4)里的模式可以尝试变更一下。

[million]

正好在寻找这样的方案,楼主能否给出推荐的硬件?

[bleakwind]

[alphachi]

[bleakwind]