常见问题常见问题   搜索搜索   会员列表会员列表   团队团队   注册注册    个人资料个人资料   登录查看您的站内信件登录查看您的站内信件   登录登录 

搭建ZFS存储,Freebsd 10.3在IBM X3650M4上安装问题

 
发表新文章   回复文章    FreeBSD China -> 技术交流
阅读上一个主题 :: 阅读下一个主题  
作者 留言
zmoon
道童


注册时间: 2003-03-06
文章: 476

文章发表于: Thu 2016-04-07 17:17:15    发表主题: 搭建ZFS存储,Freebsd 10.3在IBM X3650M4上安装问题 引用并回复

买了一套2CPU E2670 64G内存的机器,外加6块1T SAS 2块SSD,打算做核心ZFS存储给VMWARE用。

遇到两个问题,

第一个是没有认到到板载的4口intel I350AM4网卡,只有一个ue0

打算尝试intel官方驱动

第二个是在安装过程中,想用expert模式只安装在其中一个磁盘的某一个分区上失败

( 用第二项Manual安装,手动创建了gpt的freebsd-boot freebsd-swap freebsd-zfs 分区时,能顺序分区、校验包、并解压完成,
但到提示输入root密码 NewPassword:提示的时候,安装界面就无法输入,且显示位,除了CTRL ALT +F1 F2 F3 这些还能用 ; 这个能在VMWARE中重现)。

好久没发帖,各位有什么建议吗?
返回页首
阅览会员资料 发送站内信件
love2005
半仙


注册时间: 2005-11-04
文章: 161

文章发表于: Thu 2016-04-07 22:46:44    发表主题: Re: 搭建ZFS存储,Freebsd 10.3在IBM X3650M4上安装问题 引用并回复

zmoon 写到:
买了一套2CPU E2670 64G内存的机器,外加6块1T SAS 2块SSD,打算做核心ZFS存储给VMWARE用。

遇到两个问题,

第一个是没有认到到板载的4口intel I350AM4网卡,只有一个ue0

打算尝试intel官方驱动

第二个是在安装过程中,想用expert模式只安装在其中一个磁盘的某一个分区上失败

( 用第二项Manual安装,手动创建了gpt的freebsd-boot freebsd-swap freebsd-zfs 分区时,能顺序分区、校验包、并解压完成,
但到提示输入root密码 NewPassword:提示的时候,安装界面就无法输入,且显示位,除了CTRL ALT +F1 F2 F3 这些还能用 ; 这个能在VMWARE中重现)。

好久没发帖,各位有什么建议吗?


freebsd 对最新设备可能支持不太好,建议用比较常用的设备,看支持设备列表。自己多捣鼓看看,没技术支持哦


zfs引导应该只能用一个硬盘,而不能用一个分区,反正我没见能用一个分区的。
返回页首
阅览会员资料 发送站内信件
harbinbeer
道士


注册时间: 2006-07-27
文章: 829

文章发表于: Fri 2016-04-08 01:26:02    发表主题: 引用并回复

如果其他硬件没有问题,插个老网卡就解决了。
_________________
不能复用的知识=垃圾
返回页首
阅览会员资料 发送站内信件
zmoon
道童


注册时间: 2003-03-06
文章: 476

文章发表于: Sat 2016-04-09 10:03:47    发表主题: 引用并回复

第一个问题原因找到了,是板载网卡坏了,很彻底,bios中都找不到。

第二个问题还是想研究下能否装到一个GPT分区上做zfsonly系统。
返回页首
阅览会员资料 发送站内信件
zmoon
道童


注册时间: 2003-03-06
文章: 476

文章发表于: Tue 2016-04-12 20:47:13    发表主题: 引用并回复

网卡的问题更换主板后正常了.

zfs的磁盘问题也在线处理了,主要方法过程如下:

1: 双128G SSD硬盘(mfisyspd0/1) 安装mirror pool(默认zroot)的zfsonly FreeBSD 10.3系统,正常配置启动。 安装完成后gpart show 会看到三个分区 第三个分区是zfs分区,分配了几乎所有SSD空间(117G)。

2:用zpool detach zroot mfisyspd1 取消mirror。

3:删除第三个freebsd-zfs分区并重新创建分区(27G)
# gpart delete -i 3 mfisyspd1
# gpart add -t freebsd-zfs -s 27G mfisyspd1

4: 在新建的27G分区上创建新磁盘pool bsdroot
#zpool create -o altroot=/mnt -O compress=lz4 -O atime=off -m none -f bsdroot mfisyspd1p1

5:生成并发送当前系统快照到新bsdroot pool。
#zfs snapshot -r zroot@backup01
#zfs send -r zroot@backup01 | zfs recv -F bsdroot

6: 设置bsdroot pool启动参数

#zpool set bootfs=bsdroot/ROOT/default bsdroot
#zpool set cachefile=/mnt/boot/zfs/zpool.cache bsdroot
#gpart bootcode -b /mnt/boot/pmbr -p /mnt/boot/gptzfsboot -i 1 mfisyspd1


7:关机,拔掉当前(第一插槽)SSD系统盘,并重新开机,完成空出SSD磁盘空间的工作。
少了第一块磁盘后,开机所有插槽识别到的磁盘符号都发生变化。
第二块启动的系统SSD被识别为了mfisyspd0 (原为mfisyspd1)。

8:在线热插入第一块SSD,系统识别为后加的(第8块)磁盘mfisyspd7。

mfi0: 945 (513800818s/0x0002/info) - Inserted: PD 02(e0x3e/s1)
mfisyspd7 on mfi0
mfisyspd7: 122104MB (250069680 sectors) SYSPD volume (deviceid: 2)
mfisyspd7: SYSPD volume attached
mfi0: 946 (513800818s/0x0002/info) - Inserted: PD 02(e0x3e/s1) Info: enclPd=3e, scsiType=0, portMap=07, sasAddr=4433221101000000



9: 重复对原第二块磁盘的删除/重新分区操作

# gpart delete -i 3 mfisyspd7
# gpart add -t freebsd-zfs -s 27G mfisyspd7 (系统bsdroot pool)
mfisyspd7p3 added
# gpart add -t efi -s 10G mfisyspd7 (留空,防止ssd使用过满,降低性能)
mfisyspd7p4 added

# gpart add -t efi -s 30G mfisyspd7 (zil log分区)
mfisyspd7p5 added
# gpart add -t efi -s 50G mfisyspd7 (l2arc cache分区)
mfisyspd7p6 added

最终的分区结构如下:
# gpart show mfisyspd7
=> 34 250069613 mfisyspd7 GPT (119G)
34 6 - free - (3.0K)
40 1024 1 freebsd-boot (512K)
1064 984 - free - (492K)
2048 4194304 2 freebsd-swap (2.0G)
4196352 56623104 3 freebsd-zfs (27G)
60819456 20971520 4 efi (10G)
81790976 62914560 5 efi (30G)
144705536 104857600 6 efi (50G)
249563136 506511 - free - (247M)


10 将bsdroot pool恢复为双硬盘mirror方式

#zpool attach -f bsdroot mfisyspd0p3 mfisyspd7p3
#zpool scrub bsdroot

11:创建zfs数据pool
# zpool create dp0 mirror mfisyspd2 mfisyspd3 mirror mfisyspd4 mfisyspd5 mirror mfisyspd6 mfisyspd7

12: 添加镜像的log设备 和 strip的cache设备到zfs数据pool
zpool add dp0 log mirror mfisyspd0p5 mfisyspd7p5 cache mfisyspd7p6 mfisyspd0p6

完结。
返回页首
阅览会员资料 发送站内信件
zmoon
道童


注册时间: 2003-03-06
文章: 476

文章发表于: Wed 2016-04-13 21:13:53    发表主题: 引用并回复

继续解决问题, 4个千兆网卡做了lacp绑定,发现有些网卡状态不对, laggport: igb0 flags=0<> ,且拔掉网线后igb0状态仍为status: active,需要手动执行ifconfig igb0 up 才正常;

解决方法,设置此sysctl为0,
net.link.lagg.lacp.default_strict_mode: 0

lagg0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
options=403bb<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,JUMBO_MTU,VLAN_HWCSUM,TSO4,TSO6,VLAN_HWTSO>
ether 40:f2:e9:98:bd:22
inet 192.168.5.210 netmask 0xffffff00 broadcast 192.168.5.255
inet 192.168.5.211 netmask 0xffffffff broadcast 192.168.5.211
inet 192.168.6.210 netmask 0xffffff00 broadcast 192.168.6.255
inet 192.168.6.211 netmask 0xffffffff broadcast 192.168.6.211
nd6 options=29<PERFORMNUD,IFDISABLED,AUTO_LINKLOCAL>
media: Ethernet autoselect
status: active
laggproto lacp lagghash l2,l3,l4
laggport: igb0 flags=0<>
laggport: igb1 flags=1c<ACTIVE,COLLECTING,DISTRIBUTING>
laggport: igb2 flags=1c<ACTIVE,COLLECTING,DISTRIBUTING>
laggport: igb3 flags=1c<ACTIVE,COLLECTING,DISTRIBUTING>
返回页首
阅览会员资料 发送站内信件
alphachi
老妖


注册时间: 2007-12-10
文章: 1234
来自: @tweetxa

文章发表于: Sun 2016-04-17 17:18:17    发表主题: 引用并回复

1. 多盘建议gpart -l加label后,用label创建zpool,这样磁盘节点不会因为插拔而变化,方便维护及换盘。

2. LACP可能需要检查一下对端交换机配置,例如是否启用了LACP协议,另外lagg(4)里的模式可以尝试变更一下。

_________________
Paranoid in Sabbath ...
返回页首
阅览会员资料 发送站内信件
million
道童


注册时间: 2002-07-09
文章: 283
来自: StarBucks Cafe

文章发表于: Fri 2016-07-15 10:16:25    发表主题: 引用并回复

正好在寻找这样的方案,楼主能否给出推荐的硬件?
返回页首
阅览会员资料 发送站内信件 浏览发表者的主页
bleakwind
老妖


注册时间: 2005-01-07
文章: 1342
来自: The Matrix

文章发表于: Mon 2016-07-18 18:05:56    发表主题: 引用并回复

alphachi 写到:
1. 多盘建议gpart -l加label后,用label创建zpool,这样磁盘节点不会因为插拔而变化,方便维护及换盘。

2. LACP可能需要检查一下对端交换机配置,例如是否启用了LACP协议,另外lagg(4)里的模式可以尝试变更一下。


很想知道为何FreeBSD的ZFS会打乱磁盘顺序?

_________________
听不到你的声音,只有风声在想...
返回页首
阅览会员资料 发送站内信件 发送电子邮件 浏览发表者的主页 MSN Messenger
alphachi
老妖


注册时间: 2007-12-10
文章: 1234
来自: @tweetxa

文章发表于: Tue 2016-07-19 14:49:16    发表主题: 引用并回复

bleakwind 写到:
alphachi 写到:
1. 多盘建议gpart -l加label后,用label创建zpool,这样磁盘节点不会因为插拔而变化,方便维护及换盘。

2. LACP可能需要检查一下对端交换机配置,例如是否启用了LACP协议,另外lagg(4)里的模式可以尝试变更一下。


很想知道为何FreeBSD的ZFS会打乱磁盘顺序?

我遇到过的情况是,有的HBA卡槽位是乱的,比如0槽位的盘在系统里对应的并不是/dev/[a]da0,不打标签的话从盘柜上看直接就晕了。

_________________
Paranoid in Sabbath ...
返回页首
阅览会员资料 发送站内信件
bleakwind
老妖


注册时间: 2005-01-07
文章: 1342
来自: The Matrix

文章发表于: Thu 2016-07-21 14:00:27    发表主题: 引用并回复

alphachi 写到:
bleakwind 写到:
alphachi 写到:
1. 多盘建议gpart -l加label后,用label创建zpool,这样磁盘节点不会因为插拔而变化,方便维护及换盘。

2. LACP可能需要检查一下对端交换机配置,例如是否启用了LACP协议,另外lagg(4)里的模式可以尝试变更一下。


很想知道为何FreeBSD的ZFS会打乱磁盘顺序?

我遇到过的情况是,有的HBA卡槽位是乱的,比如0槽位的盘在系统里对应的并不是/dev/[a]da0,不打标签的话从盘柜上看直接就晕了。


这些知道,我也是打标签.

但为何hba卡是正确的,bios启动画面识别也是按照顺序正确的,到了FreeBSD顺序就不正确了呢?

_________________
听不到你的声音,只有风声在想...
返回页首
阅览会员资料 发送站内信件 发送电子邮件 浏览发表者的主页 MSN Messenger
从以前的文章开始显示:   
发表新文章   回复文章    FreeBSD China -> 技术交流 论坛时间为 北京时间
1页/共1

 
转跳到:  
不能发布新主题
不能在这个论坛回复主题
不能在这个论坛编辑自己的文章
不能在这个论坛删除自己的文章
不能在这个论坛发表投票


Powered by phpBB 2023cc © 2003 Opensource Steps; © 2003-2009 The FreeBSD Simplified Chinese Project
Powered by phpBB © 2001, 2005 phpBB Group
Protected by Project Honey Pot and phpBB.cc
silvery-trainer
The FreeBSD China Project 网站: 中文计划网站 社区网站
The FreeBSD China Project 版权所有 (C) 1999 - 2003 网页设计版权 著作权和商标