常见问题常见问题   搜索搜索   会员列表会员列表   团队团队   注册注册    个人资料个人资料   登录查看您的站内信件登录查看您的站内信件   登录登录 

请教使用FreeBSD建数据中心的问题

 
发表新文章   这个论题已经被锁定,您不能发表、回复或者编辑文章。    FreeBSD China -> 技术交流
阅读上一个主题 :: 阅读下一个主题  
作者 留言
alphachi
老妖


注册时间: 2007-12-10
文章: 1263
来自: @tweetxa

文章发表于: Sat 2013-05-18 05:56:46    发表主题: 请教使用FreeBSD建数据中心的问题 引用并回复

单位内部需要建自己的数据中心,初期规划数据量约1000TB,想用FreeBSD来做。
找了一圈资料,可参考的实在太少,只能发贴向各位求教。

1. 文件系统是应该跑ZFS吗?

2. 是否应该使用HAST?如果需要使用的话,手册上提到了HAST仅支持2个节点,那是不是说,必须要购买2台服务器,然后每台服务器再拖一台容量为1000TB的磁盘存储?

3. 如果不应该使用HAST,那是不是说需要购买多台服务器做成集群存储?假设每台满配能撑到32T,那就需要购买30多台服务器?那如何让这些服务器的存储连接成1000T的大池?FreeBSD集群如何实现也没找到参考资料。

4. 有没有什么型号的服务器或者存储设备推荐?

完全没有经验,自学成才未遂,请大家指教,谢谢!

_________________
Paranoid in Sabbath ...
返回页首
阅览会员资料 发送站内信件
delphij
精神病


注册时间: 2002-08-07
文章: 10721
来自: San Jose, California

文章发表于: Sat 2013-05-18 16:04:11    发表主题: 引用并回复

1000TB放到一台机器上需要至少挂4个盘柜,并且需要至少5张HBA卡。(假设:1:4冗余、每4组配一个热备盘)。

这么多块硬盘的系统我们实际做过,但容量没这么大。简单来说,内存必须很大,dedup基本不要想(我个人的忠告是把想在这种规模的系统上干这事的人直接砍死);这样的系统可以做到很好的吞吐量,但是响应时间不会很好。

放1000TB而不做冗余是非常糟糕的主意,事实上,多数应用中你根本没有时间从失败中恢复,300块以上硬盘的存储池导入是相当耗时的过程。

关于HAST:HAST的延迟不够理想(新的 memsync 模式对此有极大的改善),而且恐怕并不满足你的需求。假如你的需求是一台机器倒掉的情况下另一台机器可以立即接管服务,应用必须知道怎么实现,而不能仅仅依赖NFS或iSCSI,因为你的存储池导入在300块硬盘的情况下需要相当长的时间,这样做热备是不能满足需要的。

========

比较正常的、还算便宜的实现方案,仅供参考:

事实上,绝大多数应用需要的仅仅是单一的命名空间,而不在意是否是单一的文件系统。正确的做法是分而治之,而绝不是做一个超大规模的文件系统,更不是一个1PB的存储池。这种规模的存储池可以做,但很可能不会做到你想要的效果,并且发生灾难时无法迅速而有效地恢复。

如果用 NFS,可以配合 amd (automount)来实现单一命名空间(只要做一个简单的符号链接到amd控制的目录即可;amd在多数OS上都有实现,可以在需要时自动挂载文件系统),但运营人员需要根据系统的运行情况来适当做rebalance(将数据从一个节点挪到另一个节点)。这个命名空间是在客户端看到的,存储服务器之间只做热冗余,而不必做成集群。这套系统在需要的时候可以通过增加机器的方式来扩展(当然,不是无限的)。

新式的建立在普通文件系统之上的分布式文件系统在运营方面要比用amd+NFS简单一些,但客户机的OS必须支持这些分布式文件系统,并且配置会更为复杂。

以目前硬盘的尺寸来说,一个节点放大概100TB的存储(冗余之后;不超过1个JBOD)是没什么问题的,再大的话热恢复可能就比较慢了。每个节点应该有一个同样容量和配置的HA节点,随你的应用对数据损失和热恢复时间的容忍度不同,可以用快照复制,也可以用HAST。

任何时候,任何节点的剩余空间不应少于15%,因此你的冗余后容量至少需要1176TB(1000 / 85% = 1176.47TB)。

假定每套系统上放44块硬盘(4组8+2 RAID-Z2或8组4+1 RAID-Z,4块热备),每块硬盘容量为4TB,则每个系统的有效容量为32*4=128TB。总共应配置20套这样的系统,总有效容量为 1280TB(其中一半为热冗余系统)。

注意:44块硬盘必须合理规划使用HBA的接口,需要告诉装配工人如何正确接线。

两个一定要注意的问题:

1. LSI HBA、硬盘固件必须刷到最新,不刷会惨死。
2. 不要混用SATA和SAS硬盘,混用会惨死(事实上目前这一代的LSI HBA对SATA的出错处理还是有些问题);个人推荐SAS硬盘。

(其实还有一些其他的细节,通常做服务器的公司都有经验会告诉你,但这里特别提醒一下:不要把硬盘插在服务器上装箱运到机房,而要分别装箱,到机房再装硬盘,等等)。

这种规模的存储系统,实现起来要比第一眼看上去困难的多。另外,很多潜在的问题如果没有实际的经验,光靠自学是没法知道的,很多东西很碎,很杂,总结出来绝对可以写一本基本上卖不出去的书,而其中大半的内容会迅速过时。

最后,假如没有至少2年的维护挂24块以上硬盘的单一生产系统的实际经验,建议忽略以上全部,直接找个懂行的人来做。

_________________
BSD是独立的一蹴,我们有自己的圈子,我们不以商业驱动,追求完美是我们的源动力,任何不好的代码都不能在这里存活。

天下没有白费的努力。成功不必在我,而功力必不唐捐。
返回页首
阅览会员资料 发送站内信件 发送电子邮件 浏览发表者的主页
fzfh
道童


注册时间: 2004-04-07
文章: 331
来自: SKY

文章发表于: Sun 2013-05-19 16:47:12    发表主题: 引用并回复

这么大容量的生产级存储系统,没有经验的自学成才基本不太可能,还是建议采用老大说的,直接找个懂行的集成商来做得了,出问题有人管,更重要的学到经验,不然自己来做出问题就真的惨死了。
返回页首
阅览会员资料 发送站内信件 浏览发表者的主页 MSN Messenger
rolltech
老妖


注册时间: 2007-08-21
文章: 1522

文章发表于: Sun 2013-05-19 20:27:33    发表主题: 引用并回复

1000 TB 放在一个“中心”,感觉好危险,分散又成本太高 ~ Surprised
返回页首
阅览会员资料 发送站内信件
IOU
老妖


注册时间: 2005-10-07
文章: 1596
来自: 羊疙瘩头村

文章发表于: Sun 2013-05-19 20:37:09    发表主题: 引用并回复

"这种规模的存储系统,实现起来要比第一眼看上去困难的多。另外,很多潜在的问题如果没有实际的经验,光靠自学是没法知道的,很多东西很碎,很杂,总结出来绝对可以写一本基本上卖不出去的书,而其中大半的内容会迅速过时。"

老大总结得相当精辟.
返回页首
阅览会员资料 发送站内信件
windoze
道童


注册时间: 2003-10-22
文章: 471

文章发表于: Sun 2013-05-19 21:14:59    发表主题: 引用并回复

如果有1000TB这么大的数据量,强烈建议建议你买一些专业的存储设备,比如NetApp、3Par之类,再找一家专业的集成商,定义一个细致的SLA。
另外,这么大的数据量十有八九你们是要做数据仓库,这种情况下你不光要考虑如何存储这些数据,还要考虑如何处理这些数据,如果数据处理和挖掘的需求比较多,可以考虑建立Hadoop之类的分布式存储+处理的平台。
总之建立这么大的一个存储池,成本和复杂度一定会远远超过你的想象。

_________________
Unix is like a wigwam -- no Gates, no Windows, and an Apache inside.
Unix is very user-friendly. It`s just picky who its friends are.
http://www.0d0a.com
返回页首
阅览会员资料 发送站内信件 浏览发表者的主页
alphachi
老妖


注册时间: 2007-12-10
文章: 1263
来自: @tweetxa

文章发表于: Sun 2013-05-19 22:07:03    发表主题: 引用并回复

感谢老大和各位给我泼的冷水,让我发热的头脑顿时清醒了许多。

一开始不想找系统集成商的主要原因是,来的工程师根本不知道FreeBSD为何物,更不要说ZFS了。根据我的估算,来10个人,5个只了解Windows,4个还会点RedHat或SUSE,1个强点知道比如AIX这样的UNIX系统。

那当前市面上的数据中心方案跑的都是什么系统?现在有没有基于FreeBSD的数据中心方案?

集成商肯定会推特定的方案+产品+服务,对于数据中心这块,能否提醒下把关都要需要注意些什么?

另外搭车问IBM System x3500 M4这款服务器跑FreeBSD如何,看中这货能自拖32槽SAS,没找到能自拖更多的了。

THANKs!

_________________
Paranoid in Sabbath ...
返回页首
阅览会员资料 发送站内信件
flfq
道童


注册时间: 2007-02-12
文章: 421

文章发表于: Tue 2013-05-21 15:58:08    发表主题: 引用并回复

能不能最后把解决的方案公开一下,好让我们穷人流流口水
返回页首
阅览会员资料 发送站内信件
nprotect2008
半仙


注册时间: 2009-09-24
文章: 65
来自: 黑龙江哈尔滨

文章发表于: Tue 2013-05-21 18:20:55    发表主题: 引用并回复

呵呵,建议楼主可以考虑一下hadoop->HDFS+ZFS

我私人小机房(做测试用的),曾经跑过60台的规模。池60T

唯一比较麻烦的就是JDK。 Very Happy

顶你~持续关注

_________________
人生的意义在于折腾..可是每次折腾之后都特后悔 Sad
返回页首
阅览会员资料 发送站内信件
nprotect2008
半仙


注册时间: 2009-09-24
文章: 65
来自: 黑龙江哈尔滨

文章发表于: Tue 2013-05-21 18:29:00    发表主题: 引用并回复

补充一句,劝楼主,不要把鸡蛋全部放在一个篮子里。
更不要想着一部到位,任何电子元器件设备都有损坏的时候。

在开始之前,你必须要考虑以下问题:
1.运营成本
2.电力系统
3.架构

然后把ZFS管理员指南打印下来,每天阅读(甚至WC的时候),你可以扩展阅读:
http://docs.oracle.com/cd/E24847_01/pdf/819-7065.pdf
全中文的。

然后到这里:
http://hadoop.apache.org/

尝试先在一个机架上完成部署,熟悉各种角色以及模拟演习不可控灾难后数据一系列问题,比如异地灾备等等。最后形成文档->评估->审核->拨款->部署

_________________
人生的意义在于折腾..可是每次折腾之后都特后悔 Sad
返回页首
阅览会员资料 发送站内信件
rolltech
老妖


注册时间: 2007-08-21
文章: 1522

文章发表于: Tue 2013-05-21 23:06:05    发表主题: 引用并回复

供应链,或者生态系统,或者航空母舰都不是一蹴而就的吧。不过,真有这么大的需求吗?
返回页首
阅览会员资料 发送站内信件
alphachi
老妖


注册时间: 2007-12-10
文章: 1263
来自: @tweetxa

文章发表于: Wed 2013-05-22 08:22:04    发表主题: 引用并回复

可能要上Cisco UCS,没猴耍了。 Shocked
_________________
Paranoid in Sabbath ...
返回页首
阅览会员资料 发送站内信件
windoze
道童


注册时间: 2003-10-22
文章: 471

文章发表于: Wed 2013-05-22 08:43:43    发表主题: 引用并回复

alphachi 写到:
可能要上Cisco UCS,没猴耍了。 Shocked

上刀片要小心供电和散热,绝大部分IDC机房一个机架的供电都不够一个满载的刀箱,散热有时候也达不到要求。
另外,存储怎么搞?另配SAN?

_________________
Unix is like a wigwam -- no Gates, no Windows, and an Apache inside.
Unix is very user-friendly. It`s just picky who its friends are.
http://www.0d0a.com
返回页首
阅览会员资料 发送站内信件 浏览发表者的主页
alphachi
老妖


注册时间: 2007-12-10
文章: 1263
来自: @tweetxa

文章发表于: Thu 2013-05-23 11:25:19    发表主题: 引用并回复

存储据说要用EMC的,型号未定。
_________________
Paranoid in Sabbath ...
返回页首
阅览会员资料 发送站内信件
nprotect2008
半仙


注册时间: 2009-09-24
文章: 65
来自: 黑龙江哈尔滨

文章发表于: Thu 2013-05-23 20:17:12    发表主题: 引用并回复

把各种角色"摘"出来。根据角色选择。

不过从异地灾备角度考虑,放到机房1U跟2U倒是一年能差个1000多块钱?我当时没考虑异地灾备,嘿嘿,纯玩儿的,如果并发会话能达到1000左右的长连接,那你还真就得考虑考虑了。。。 Laughing

_________________
人生的意义在于折腾..可是每次折腾之后都特后悔 Sad
返回页首
阅览会员资料 发送站内信件
sopato
半仙


注册时间: 2011-03-08
文章: 14
来自: GuangZhou

文章发表于: Fri 2013-05-24 12:38:10    发表主题: 引用并回复

相当不俗的规模啊,持续关注选型结果和最终的架构组成,对以后大家在FB上使用大规模存储很有参考意义啊。
_________________
将FreeBSD/OpenBSD应用到任何它们能胜任的地方。
返回页首
阅览会员资料 发送站内信件 浏览发表者的主页
Jov
半仙


注册时间: 2013-05-26
文章: 2
来自: 深圳

文章发表于: Sun 2013-05-26 19:36:53    发表主题: Re: 请教使用FreeBSD建数据中心的问题 引用并回复

上Hadoop吧,省心,我么这几十P的数据在hadoop上,运营了2,3年了。如果非要用freebsd,hadoop1.0也已经在freebsd的port里了。
alphachi 写到:
单位内部需要建自己的数据中心,初期规划数据量约1000TB,想用FreeBSD来做。
找了一圈资料,可参考的实在太少,只能发贴向各位求教。

1. 文件系统是应该跑ZFS吗?

2. 是否应该使用HAST?如果需要使用的话,手册上提到了HAST仅支持2个节点,那是不是说,必须要购买2台服务器,然后每台服务器再拖一台容量为1000TB的磁盘存储?

3. 如果不应该使用HAST,那是不是说需要购买多台服务器做成集群存储?假设每台满配能撑到32T,那就需要购买30多台服务器?那如何让这些服务器的存储连接成1000T的大池?FreeBSD集群如何实现也没找到参考资料。

4. 有没有什么型号的服务器或者存储设备推荐?

完全没有经验,自学成才未遂,请大家指教,谢谢!

_________________
我的博客:http//amutu.com/blog
返回页首
阅览会员资料 发送站内信件 浏览发表者的主页
skywalk
老妖


注册时间: 2002-12-20
文章: 2290
来自: 自由的天空中-济宁

文章发表于: Mon 2013-05-27 09:46:40    发表主题: 引用并回复

不错啊,先关注下。

感谢delphij的经验分享。

其实对技术来说,很多时候技术不是问题。

从价格/服务/性能三角形理论来说,几乎没有一个解决方案能够把三者都做到最好。比如我们知道ibm的东西不错(性能/服务),但是价格高。
所以自己去选一个最适合自己,能把其中两项做到满意就行了。比如一般用FreeBSD的解决方案,跟其它商业方案来说,可能价格和性能略占优。

_________________
天马行空,我心飞翔!
钻石恒久远,天马永流传!
Email:skywalk,duan@gmail.com
www.quye.com
www.airoot.org/wp
返回页首
阅览会员资料 发送站内信件 发送电子邮件 浏览发表者的主页 MSN Messenger
nprotect2008
半仙


注册时间: 2009-09-24
文章: 65
来自: 黑龙江哈尔滨

文章发表于: Mon 2013-05-27 13:38:18    发表主题: 引用并回复

价格/服务/性能
这三点虽说相辅相成,但前期可以达到平衡就好。一味的追求性能会导致第一期上线投入过高,而维护成本与时间划等号。不管怎么样,先跑起来。
且技术不是问题,那么能建立这样规模的存储的企业,钱也应该不是问题。
正如那句话说的一样,能用钱解决的问题都不是问题。着就好办了。

而且楼上兄台说过,造航空母舰也不是一天两天就能造成的,从瓦良格被买回来的中间也是一步一步的升级与改造,然后加入创新的技术,直到有了我们自己的辽宁号。

慢慢来吧,持续更新这个帖子,遇到问题不妨发上来,众人拾柴火焰高。

_________________
人生的意义在于折腾..可是每次折腾之后都特后悔 Sad
返回页首
阅览会员资料 发送站内信件
alphachi
老妖


注册时间: 2007-12-10
文章: 1263
来自: @tweetxa

文章发表于: Mon 2013-05-27 15:16:41    发表主题: 引用并回复

感谢各位同学支持,项目已提交。
因为是在伟大的事业单位,所以正在等待资金到位中。 Embarassed

_________________
Paranoid in Sabbath ...
返回页首
阅览会员资料 发送站内信件
从以前的文章开始显示:   
发表新文章   这个论题已经被锁定,您不能发表、回复或者编辑文章。    FreeBSD China -> 技术交流 论坛时间为 北京时间
1页/共1

 
转跳到:  
不能发布新主题
不能在这个论坛回复主题
不能在这个论坛编辑自己的文章
不能在这个论坛删除自己的文章
不能在这个论坛发表投票


Powered by phpBB 2023cc © 2003 Opensource Steps; © 2003-2009 The FreeBSD Simplified Chinese Project
Powered by phpBB © 2001, 2005 phpBB Group
Protected by Project Honey Pot and phpBB.cc
silvery-trainer
The FreeBSD China Project 网站: 中文计划网站 社区网站
The FreeBSD China Project 版权所有 (C) 1999 - 2003 网页设计版权 著作权和商标