阅读上一个主题 :: 阅读下一个主题 |
作者 |
留言 |
zmoon 道童
注册时间: 2003-03-06 文章: 482
|
发表于: Thu 2016-04-07 17:17:15 发表主题: 搭建ZFS存储,Freebsd 10.3在IBM X3650M4上安装问题 |
|
|
买了一套2CPU E2670 64G内存的机器,外加6块1T SAS 2块SSD,打算做核心ZFS存储给VMWARE用。
遇到两个问题,
第一个是没有认到到板载的4口intel I350AM4网卡,只有一个ue0
打算尝试intel官方驱动
第二个是在安装过程中,想用expert模式只安装在其中一个磁盘的某一个分区上失败
( 用第二项Manual安装,手动创建了gpt的freebsd-boot freebsd-swap freebsd-zfs 分区时,能顺序分区、校验包、并解压完成,
但到提示输入root密码 NewPassword:提示的时候,安装界面就无法输入,且显示位,除了CTRL ALT +F1 F2 F3 这些还能用 ; 这个能在VMWARE中重现)。
好久没发帖,各位有什么建议吗? |
|
返回页首 |
|
 |
love2005 半仙
注册时间: 2005-11-04 文章: 161
|
发表于: Thu 2016-04-07 22:46:44 发表主题: Re: 搭建ZFS存储,Freebsd 10.3在IBM X3650M4上安装问题 |
|
|
zmoon 写到: | 买了一套2CPU E2670 64G内存的机器,外加6块1T SAS 2块SSD,打算做核心ZFS存储给VMWARE用。
遇到两个问题,
第一个是没有认到到板载的4口intel I350AM4网卡,只有一个ue0
打算尝试intel官方驱动
第二个是在安装过程中,想用expert模式只安装在其中一个磁盘的某一个分区上失败
( 用第二项Manual安装,手动创建了gpt的freebsd-boot freebsd-swap freebsd-zfs 分区时,能顺序分区、校验包、并解压完成,
但到提示输入root密码 NewPassword:提示的时候,安装界面就无法输入,且显示位,除了CTRL ALT +F1 F2 F3 这些还能用 ; 这个能在VMWARE中重现)。
好久没发帖,各位有什么建议吗? |
freebsd 对最新设备可能支持不太好,建议用比较常用的设备,看支持设备列表。自己多捣鼓看看,没技术支持哦
zfs引导应该只能用一个硬盘,而不能用一个分区,反正我没见能用一个分区的。 |
|
返回页首 |
|
 |
harbinbeer 道士

注册时间: 2006-07-27 文章: 829
|
发表于: Fri 2016-04-08 01:26:02 发表主题: |
|
|
如果其他硬件没有问题,插个老网卡就解决了。 _________________ 不能复用的知识=垃圾 |
|
返回页首 |
|
 |
zmoon 道童
注册时间: 2003-03-06 文章: 482
|
发表于: Sat 2016-04-09 10:03:47 发表主题: |
|
|
第一个问题原因找到了,是板载网卡坏了,很彻底,bios中都找不到。
第二个问题还是想研究下能否装到一个GPT分区上做zfsonly系统。 |
|
返回页首 |
|
 |
zmoon 道童
注册时间: 2003-03-06 文章: 482
|
发表于: Tue 2016-04-12 20:47:13 发表主题: |
|
|
网卡的问题更换主板后正常了.
zfs的磁盘问题也在线处理了,主要方法过程如下:
1: 双128G SSD硬盘(mfisyspd0/1) 安装mirror pool(默认zroot)的zfsonly FreeBSD 10.3系统,正常配置启动。 安装完成后gpart show 会看到三个分区 第三个分区是zfs分区,分配了几乎所有SSD空间(117G)。
2:用zpool detach zroot mfisyspd1 取消mirror。
3:删除第三个freebsd-zfs分区并重新创建分区(27G)
# gpart delete -i 3 mfisyspd1
# gpart add -t freebsd-zfs -s 27G mfisyspd1
4: 在新建的27G分区上创建新磁盘pool bsdroot
#zpool create -o altroot=/mnt -O compress=lz4 -O atime=off -m none -f bsdroot mfisyspd1p1
5:生成并发送当前系统快照到新bsdroot pool。
#zfs snapshot -r zroot@backup01
#zfs send -r zroot@backup01 | zfs recv -F bsdroot
6: 设置bsdroot pool启动参数
#zpool set bootfs=bsdroot/ROOT/default bsdroot
#zpool set cachefile=/mnt/boot/zfs/zpool.cache bsdroot
#gpart bootcode -b /mnt/boot/pmbr -p /mnt/boot/gptzfsboot -i 1 mfisyspd1
7:关机,拔掉当前(第一插槽)SSD系统盘,并重新开机,完成空出SSD磁盘空间的工作。
少了第一块磁盘后,开机所有插槽识别到的磁盘符号都发生变化。
第二块启动的系统SSD被识别为了mfisyspd0 (原为mfisyspd1)。
8:在线热插入第一块SSD,系统识别为后加的(第8块)磁盘mfisyspd7。
mfi0: 945 (513800818s/0x0002/info) - Inserted: PD 02(e0x3e/s1)
mfisyspd7 on mfi0
mfisyspd7: 122104MB (250069680 sectors) SYSPD volume (deviceid: 2)
mfisyspd7: SYSPD volume attached
mfi0: 946 (513800818s/0x0002/info) - Inserted: PD 02(e0x3e/s1) Info: enclPd=3e, scsiType=0, portMap=07, sasAddr=4433221101000000
9: 重复对原第二块磁盘的删除/重新分区操作
# gpart delete -i 3 mfisyspd7
# gpart add -t freebsd-zfs -s 27G mfisyspd7 (系统bsdroot pool)
mfisyspd7p3 added
# gpart add -t efi -s 10G mfisyspd7 (留空,防止ssd使用过满,降低性能)
mfisyspd7p4 added
# gpart add -t efi -s 30G mfisyspd7 (zil log分区)
mfisyspd7p5 added
# gpart add -t efi -s 50G mfisyspd7 (l2arc cache分区)
mfisyspd7p6 added
最终的分区结构如下:
# gpart show mfisyspd7
=> 34 250069613 mfisyspd7 GPT (119G)
34 6 - free - (3.0K)
40 1024 1 freebsd-boot (512K)
1064 984 - free - (492K)
2048 4194304 2 freebsd-swap (2.0G)
4196352 56623104 3 freebsd-zfs (27G)
60819456 20971520 4 efi (10G)
81790976 62914560 5 efi (30G)
144705536 104857600 6 efi (50G)
249563136 506511 - free - (247M)
10 将bsdroot pool恢复为双硬盘mirror方式
#zpool attach -f bsdroot mfisyspd0p3 mfisyspd7p3
#zpool scrub bsdroot
11:创建zfs数据pool
# zpool create dp0 mirror mfisyspd2 mfisyspd3 mirror mfisyspd4 mfisyspd5 mirror mfisyspd6 mfisyspd7
12: 添加镜像的log设备 和 strip的cache设备到zfs数据pool
zpool add dp0 log mirror mfisyspd0p5 mfisyspd7p5 cache mfisyspd7p6 mfisyspd0p6
完结。 |
|
返回页首 |
|
 |
zmoon 道童
注册时间: 2003-03-06 文章: 482
|
发表于: Wed 2016-04-13 21:13:53 发表主题: |
|
|
继续解决问题, 4个千兆网卡做了lacp绑定,发现有些网卡状态不对, laggport: igb0 flags=0<> ,且拔掉网线后igb0状态仍为status: active,需要手动执行ifconfig igb0 up 才正常;
解决方法,设置此sysctl为0,
net.link.lagg.lacp.default_strict_mode: 0
lagg0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
options=403bb<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,JUMBO_MTU,VLAN_HWCSUM,TSO4,TSO6,VLAN_HWTSO>
ether 40:f2:e9:98:bd:22
inet 192.168.5.210 netmask 0xffffff00 broadcast 192.168.5.255
inet 192.168.5.211 netmask 0xffffffff broadcast 192.168.5.211
inet 192.168.6.210 netmask 0xffffff00 broadcast 192.168.6.255
inet 192.168.6.211 netmask 0xffffffff broadcast 192.168.6.211
nd6 options=29<PERFORMNUD,IFDISABLED,AUTO_LINKLOCAL>
media: Ethernet autoselect
status: active
laggproto lacp lagghash l2,l3,l4
laggport: igb0 flags=0<>
laggport: igb1 flags=1c<ACTIVE,COLLECTING,DISTRIBUTING>
laggport: igb2 flags=1c<ACTIVE,COLLECTING,DISTRIBUTING>
laggport: igb3 flags=1c<ACTIVE,COLLECTING,DISTRIBUTING> |
|
返回页首 |
|
 |
alphachi 老妖
注册时间: 2007-12-10 文章: 1263 来自: @tweetxa
|
发表于: Sun 2016-04-17 17:18:17 发表主题: |
|
|
1. 多盘建议gpart -l加label后,用label创建zpool,这样磁盘节点不会因为插拔而变化,方便维护及换盘。
2. LACP可能需要检查一下对端交换机配置,例如是否启用了LACP协议,另外lagg(4)里的模式可以尝试变更一下。 _________________ Paranoid in Sabbath ... |
|
返回页首 |
|
 |
million 道童
注册时间: 2002-07-09 文章: 283 来自: StarBucks Cafe
|
发表于: Fri 2016-07-15 10:16:25 发表主题: |
|
|
正好在寻找这样的方案,楼主能否给出推荐的硬件? |
|
返回页首 |
|
 |
bleakwind 老妖
注册时间: 2005-01-07 文章: 1345 来自: The Matrix
|
发表于: Mon 2016-07-18 18:05:56 发表主题: |
|
|
alphachi 写到: | 1. 多盘建议gpart -l加label后,用label创建zpool,这样磁盘节点不会因为插拔而变化,方便维护及换盘。
2. LACP可能需要检查一下对端交换机配置,例如是否启用了LACP协议,另外lagg(4)里的模式可以尝试变更一下。 |
很想知道为何FreeBSD的ZFS会打乱磁盘顺序? _________________ 听不到你的声音,只有风声在想... |
|
返回页首 |
|
 |
alphachi 老妖
注册时间: 2007-12-10 文章: 1263 来自: @tweetxa
|
发表于: Tue 2016-07-19 14:49:16 发表主题: |
|
|
bleakwind 写到: | alphachi 写到: | 1. 多盘建议gpart -l加label后,用label创建zpool,这样磁盘节点不会因为插拔而变化,方便维护及换盘。
2. LACP可能需要检查一下对端交换机配置,例如是否启用了LACP协议,另外lagg(4)里的模式可以尝试变更一下。 |
很想知道为何FreeBSD的ZFS会打乱磁盘顺序? |
我遇到过的情况是,有的HBA卡槽位是乱的,比如0槽位的盘在系统里对应的并不是/dev/[a]da0,不打标签的话从盘柜上看直接就晕了。 _________________ Paranoid in Sabbath ... |
|
返回页首 |
|
 |
bleakwind 老妖
注册时间: 2005-01-07 文章: 1345 来自: The Matrix
|
发表于: Thu 2016-07-21 14:00:27 发表主题: |
|
|
alphachi 写到: | bleakwind 写到: | alphachi 写到: | 1. 多盘建议gpart -l加label后,用label创建zpool,这样磁盘节点不会因为插拔而变化,方便维护及换盘。
2. LACP可能需要检查一下对端交换机配置,例如是否启用了LACP协议,另外lagg(4)里的模式可以尝试变更一下。 |
很想知道为何FreeBSD的ZFS会打乱磁盘顺序? |
我遇到过的情况是,有的HBA卡槽位是乱的,比如0槽位的盘在系统里对应的并不是/dev/[a]da0,不打标签的话从盘柜上看直接就晕了。 |
这些知道,我也是打标签.
但为何hba卡是正确的,bios启动画面识别也是按照顺序正确的,到了FreeBSD顺序就不正确了呢? _________________ 听不到你的声音,只有风声在想... |
|
返回页首 |
|
 |
|