中国分布式计算论坛

 找回密码
 新注册用户
搜索
12
返回列表 发新帖
楼主: saco

赛总交你创建简单的MooseFS分布式文件系统

  [复制链接]
发表于 2010-10-16 12:10:24 | 显示全部楼层
对了,这标题上有个错别字
交?教?
发表于 2010-10-16 13:13:54 | 显示全部楼层
+1  

大神手抖了一下变 交 了
发表于 2010-10-16 14:48:54 | 显示全部楼层
详细性能测试1 T3大文件读写测试
bonnie++ -d /mfs -u root -s 32104 -m billing
Using uid:0, gid:0.
Writ ...
saco 发表于 2010-10-16 11:27


随机读写没有性能下降么?

求真相~~~

系统配置等等~~~
发表于 2010-10-16 19:30:31 | 显示全部楼层
好方法,没看懂细节也不熟悉这里面的设置,但是看看原理还是很好的,谢谢SACO!
 楼主| 发表于 2010-10-16 20:59:46 | 显示全部楼层
读写测试2 -- EMC CLARiiON CX500 禁用写Cache的测试数据

bonnie++ -d /mfs -u root -s 32104 -m jump
Using uid:0, gid:0.
Writing with putc()...done
Writing intelligently...done
Rewriting...done
Reading with getc()...done
Reading intelligently...done
start 'em...done...done...done...
Create files in sequential order...done.
Stat files in sequential order...done.
Delete files in sequential order...done.
Create files in random order...done.
Stat files in random order...done.
Delete files in random order...done.
Version  1.03       ------Sequential Output------ --Sequential Input- --Random-
                    -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
jump         32104M 56338  80 79339   9  3737   0 74196  93 72037   6  3360   4
                    ------Sequential Create------ --------Random Create--------
                    -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
              files  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
                 16  1970   5 +++++ +++  7914  12  1393   3 10996   8  3748   5
jump,32104M,56338,80,79339,9,3737,0,74196,93,72037,6,3360.3,4,16,1970,5,+++++,+++,7914,12,1393,3,10996,8,3748,5
 楼主| 发表于 2010-10-16 21:02:05 | 显示全部楼层
性能非但没有下降,反而大大提高

6台存储主机每台单独二块1TB蓝盘,组成RAID0

单独在单台上的测试数据接近于

./bonnie++ -d /eygle -u root -s 8192 -m jump
Using uid:0, gid:1.
Writing with putc()...done
Writing intelligently...done
Rewriting...done
Reading with getc()...done
Reading intelligently...done
start 'em...done...done...done...
Create files in sequential order...done.
Stat files in sequential order...done.
Delete files in sequential order...done.
Create files in random order...done.
Stat files in random order...done.
Delete files in random order...done.
Version  1.03       ------Sequential Output------ --Sequential Input- --Random-
                    -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
jump             8G 10956  30 10771   6  3388   5 34169  98 158861  75 431.1   5
                    ------Sequential Create------ --------Random Create--------
                    -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
              files  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
                 16    81   1 +++++ +++   160   1    82   1 +++++ +++   109   1
jump,8G,10956,30,10771,6,3388,5,34169,98,158861,75,431.1,5,16,81,1,+++++,+++,160,1,82,1,+++++,+++,109,1
 楼主| 发表于 2010-10-16 21:16:04 | 显示全部楼层
回复 18# ONLY

现在介绍的其实只是最基础的使用方法,如果对性能要求更高,可以直接将内存虚拟成磁盘,然后再通过MFS链接成一个分布式文件系统。

举个例子,有10台计算机,每台配置8G内存挂载成TMPFS或者RAMFS,然后统一挂载到客户端上,那么客户端就可以挂载一块80G的内存磁盘,如果要买一块可以插80G内存的主板,是什么价格呢

另外分布式文件系统上的所有芯片都可以统一进行计算,这就是所谓的云计算,楼主介绍的就是云存储。
发表于 2010-10-17 11:35:02 | 显示全部楼层
回复  彬彬


首先从交换机层面来说,一台千兆交换机,并不是说,你只能同时交换1000Mb数据,而是交换机某 ...
saco 发表于 2010-10-15 23:28


其实我说网络是瓶颈的意思是说,如果是全千兆交换机,假设你的所有机加起来真的有 6GB 每秒,但如果要使用这个存储器的只有一台机子,而这台机也是接着一条千兆,那它磁盘那边再快,到使用这存储器的服务器与交换机之间还是 1G 带宽,大概是 100多 MB 每秒。我是这个意思。所以我后面才说,如果是使用存储的机子如果是万兆,而提供存储的机子都是千兆就可以破除这种瓶颈了,要不就是使用存储的服务器 N 条千兆汇聚,反正要通过网络的话,到这台服务器的网络是越快越好,而下面提供磁盘的机子只需要网络比本身自己那一部分磁盘快就不会有瓶颈了。
 楼主| 发表于 2010-10-17 12:59:45 | 显示全部楼层
回复 23# 彬彬

既然存储的可以达到6G 为什么访问不能达到6G?难道访问一定要从一台去访问吗?为什么你不能想象一下,我们看到的网站页面,也可以由48台级联到一台千兆交换机的服务器中共同渲染出来呢?

另外贴一个交换机的性能参数

Dell PowerConnectTM 6224       
交换架构互传带宽136 Gb/s
发表于 2010-10-17 15:35:59 | 显示全部楼层
本帖最后由 zglloo 于 2010-10-17 16:35 编辑

回复 13# ONLY


    memcahe+ MooseFS 分布式文件系统好处是可以均衡读写压力,数据可靠性大大增加,某个数据节点挂了也没事。 豆瓣就这么做的
http://code.google.com/p/python-libmemcached/
http://code.google.com/p/beansdb/
   其实我觉得ext4比ext3更好 更优秀 连google都早已升级

ps saco使用80G的内存将内存虚拟成磁盘 若是自己DIY  内存可靠性很棒  但就怕断电!
发表于 2010-10-18 20:06:21 | 显示全部楼层
回复  彬彬

既然存储的可以达到6G 为什么访问不能达到6G?难道访问一定要从一台去访问吗?为什么你不能想 ...
saco 发表于 2010-10-17 12:59



    对,如果从很多机访问的话,这种方式的优点是不会跟单一的存储一样因为使用者的增多而在并发时让性能线性降低,用这种方式能缓解使用者数量和性能的关系。如果真的是单机就需要非常高的带宽的话,只能是使用的机子自己用高速网络连到存储上,或者换用其它架构了。
   但用上内存的话,怕是连提供存储的机的网络都成瓶颈了,万兆网络都没有内存快,不过内存盘的低延迟也许还是在某些不要求持续高速但要求低延迟的场合合用。
   这种方式不但是廉价的高速存储装置,也有着廉价的高可用性。
发表于 2010-10-21 11:43:16 | 显示全部楼层
若每台子机均用多磁盘RAID0,且内存也选用较大容量(>4G)~~~

那么除了可以把磁盘虚拟成分布式文件系统,还可以把内存也搞成分布式~~~

磁盘用于存储,内存用于SWAP~~~

服务器(主机)的效能提升又将上升一个台阶~~~
您需要登录后才可以回帖 登录 | 新注册用户

本版积分规则

论坛官方淘宝店开业啦~

小黑屋|手机版|Archiver|中国分布式计算总站 ( 沪ICP备05042587号 )

GMT+8, 2019-11-12 18:36

Powered by Discuz! X3.4

© 2001-2017 Comsenz Inc.

快速回复 返回顶部 返回列表