我对分布式运算的一些看法和建议

voyager_ho

我本身是台湾人, 目前在大陆准备考试. 下面说说我对分布式运算的一些看法和建议. 这是我第一次发言, 也许我的发言能给论坛上的人一些新的思考方向.

05年1月的时候, 我去台湾的户政单位换发新的身份证, 是台北市的内湖区, 这是一个不算大的办公楼, 每层楼的地板面积大约是250平方米. 我仔细的计算一下, 光是户政部门在这层楼就有68台电脑. 可以说电脑密度是非常大的 整个区办公大楼是7层, 除去高级官员办公室和一楼附属银行以及邮局等单位, 保守估计内湖区行政大楼里大约有68 x 5 = 340台电脑. 就我记忆所及, 台北市至少有11个行政区域, 每个行政区域都有一个这样的行政大楼, 因此他们最少有 340 x 11 = 3740台电脑.

这还不包括台北市政府大楼里的各部门科室. 那里至少有1000台电脑. 所以光台北市政府所管辖的电脑, 保守估计是5000台, 还可能更多.

今天行政部门电子化和网路化是非常明显的趋势, 不是要不要做的问题, 而是必须要做. 这样才能提高效率. 对于这样一个规模庞大的电脑集群, 我们也有办法进行统一管理. 家门口的网吧就是一个好例子, 也许他们只有几十台电脑, 但是运作的原理是差不多的.

私人经营的网吧会进行电脑主机升级更换, 政府部门更是如此, 政府部门的采购人员不可能会像那些IT网站一样去研究买什么产品比较好. 他们最多就是消化预算, 政府官员用这些高性能电脑去踩地雷和扑克的现象会继续下去.

我建议大家思考一下, 是不是能够统一让政府部门采购同一型号的CPU, 以县, 乡, 或者市为单位进行周期性的电脑硬件升级, 用光纤网路连接这些政府单位, 让网管在统一安装作业系统以后, 同时安装分布式运算软件?

我注意到日本的超级电脑”地球模拟”本身并不是一台电脑, 而是用高速的节点串联整体的运算能力. 同样的原理, 是不是也可以应用在这个政府采购上, 把每一台电脑看成一个运算单元, 用光纤串联所有电脑, 利用下班以后到早上上班前的这段时间进行同步运算?

在北京大学的朋友告诉我, 他们校内的网路传输速度是1M/S. 现在网卡用上1G/S的速度是很普遍的, 我想这可以当作标准, 也就是每台串联起来的电脑都以1G的速度互访.

这个概念我想可以应用在各种单位. 例如军方, 由于他们有独立的通讯网路, 他们可以动员自己的单位, 例如军校, 科研, 部队等等, 把电脑串联起来, 利用这些集群运算例如导弹的各种数据. 我想在安全上是没有问题的.

民间的各种学校也可以用这样的模式组织这样的电脑集群. 药厂也可以用这个思维去组建自己的运算集群, 在外界的软件编写支援下, 他们可以提高自己的研究速度, 降低采购和维护超级电脑的成本.

国外似乎已经有一些公司利用分布式运算获得商业利润. 这是一个很重要信息. 可以说, 除了北京大学和清华大学以外, 目前的中国大陆所有学校几乎都有财政问题, 都必须打学生的主意, 用某种手段从学生身上获得养分.

我个人认为, 完全有可能让学校里行政部门的电脑在组建分布式运算集群后, 参加商业运算的招标活动. 也就是”给我们不错的价钱以支付我们的电费和成本, 我们用自己的电脑帮你算”. 这就为一些需要大量运算的单位提供一种弹性, 他们只需要把关键的核心运算保留起来, 其他部分外包出去. 除了学校以外, 还可以包括地方政府. 只要不影响办公效率和公务机密, 这不啻是一个筹措财源的方式.

由于中国在经济发展相对上属于后来者, 现阶段还没有办法有大量的私人公司像微软那样进行大规模的科技投资, 还是得靠政府主导. 在这个大前提下, 我觉得说服政府进行分布式运算的开发和支持, 这个可能会是一个更具说服力的切入点.

现阶段中国是世界上最大的电脑零件生产国, 从主板, 显卡, 内存, 电源, 机箱等无所不包.撇开政治因素和劳工福利待遇问题, 这个成就是属于所有中国人的, 特别是农民工, 他们是最大的功臣. 在可遇见的将来, 这个情况不会有太大的改变. 可以说, 中国人自己组装电脑的价格是世界上最便宜的, 这为分布式运算提供了一个良好的基础.

我们能不能以农民工朋友靠着自己的辛劳付出为基础, 提升成为全体中国人在分布式运算上的优势, 然后用更好和更强的力度去进行中国自己的科研发展呢?

我自己没有这个能力去进行分布式软件开发, 但是我完全清楚超级电脑的威力. 希望我的这篇文章能引起论坛上的朋友一起来集思广益, 找出一条中国分布式运算的最好道路.

Julian_Yuen

可是可是，消极的来说，论坛上的人一般也就是对自己身边的电脑下手，或者对周围的人喋喋不休介绍分布式吧。
如果能够利用起来那么多办公室的电脑，的确威力惊人。况且，很多用电脑的职员并不能（或者说浪费）利用起来那些高配置乃至普通配置电脑的运算能力。
政府军队啊，九成会喊¨安全¨。要搞估计也不会公开。
学校科研的话，怎么说呢，感觉目前大陆这方面还是不大令人满意的。
总之， 想法很不错的，但是关系到给报酬啊等等一系列的组织问题的时候，窃以为困难和阻力都不少
唉，我们的力量太有限。


PS：帮大大们说声欢迎

voyager_ho

我认为任何单位都有行政部门, 这些行政部门除了处理文书会计以外, 他们的电脑没有其他用途.

这些闲置的资源正好是分布式运算的最好目标. 分布式运算的初衷也是为了闲置资源. 我们只是让他们水到渠成而已. 另外, 他们也不可能24小时工作, 每天一定有6-8小时是完全空闲的时间, 而且是整体空闲, 这种集群运算能力是非常惊人的.

我思考过分配的问题, 首先是电费, 别小看这个, 台湾有几个贫穷乡镇晚上甚至连路灯都没钱开, 就是因为付不起电费. 给予参加分布式运算的单位一定的电费补贴, 我觉得是个初步.

再来就是分配问题. 我觉得目前我们也有方向. 就说我现在运行的CPDN, 这软件里就包含了运算时间和运算分数. 如果CPU速度高, 那么同样时间就能有更多分数, 在同样是单一CPU的比较情况下, 相对来说耗电也更经济. 运算分数正好可以成为分配的基准.

我给大家做个简单的说明: 假设现在有两个人, A安装了200台P3 800MHz等级的电脑进行运算, B是一台P4 3GHz, A的运算分数肯定比B好, 这时候我们还可以计算两个人各自的运算分数/耗电比值, 简称"分耗比".

是不是200台P4 3GHz的分耗比就一定比200台的P3 800MHz好呢? 这个只能实际运算才知道. 在进行运算补贴分配的时候, 我们可以按照三个方向走:

第一个是针对高分数的, 例如200台P3 800MHz的这种参与单位, 或者是长时间参与运算的老用户. 他们主要来自经济所得相对不发达地区的学校或者团体.

第二个是针对高运算速度的, 也就是单位时间内运算能力强的单位. 这些单位投资在电脑设备上的经费是比较高的, 所以体现的就是他们比较高的瞬间运算能力. 他们可以是刚买个人PC或者笔记本的人群.

第三个是集群, 例如用200台P4 3GHz, 或者是100台AMD 4000+的这种单位. 他们的投资最大, 瞬间运算能力最强, 耗电最多, 可以说是运算主力. 但是这样的单位不见得能够长时间的参与运算, 因为他们可能有自己的业务要做. 这也包含一些学校组织, 例如同一个学校里某些学生自发性的组成一个100人的AMD 4000+联合团队.

鼓励参加者愿意用更长的时间开着自己的电脑进行运算, 这样才能加快整个项目的速度, 因此我们需要一个激励机制. 我们可以刺激每种用户的成绩都愿意取得比之前更好的成绩. 把电费和运算分数分别做一个基础记分, 然后再加上一些加权分数, 公平的让每个参与者都能获得酬劳, 我想这会减少很多阻力, 也能让我们获得更多的潜在参加者. 以前不是有"点击广告获得美金"的活动吗, 不管这种广告是不是真的, 这个方向和模式是我们可以研究的.

现在只缺一个运算项目能够提供资金支持. 我希望论坛上的高人们能搜集一些国外分布式运算的商业化应用范例. 金钱并不俗气, 它只是一个润滑油而已.

说点相关的题外话.

中国历史上的工业化代表机构是江南机器制造局, 它后来变成江南造船厂. 这个单位不只造船, 还制造火炮, 在早期它甚至必须成立自己的翻译馆, 同时成立类似学校的单位培养人才, 因为当时的中国没有足够的人才了解这些新技术, 英国德国当时根本不需要有这样综合性的机构生产火炮或者机床. 中国人是不得不为.

不提政治. 现在的分布式运算, 在中国现阶段也是差不多像那个时候的情况, 论坛上的人我想也是抱着推广的想法和心态, 对这个我绝对支持.

中国不缺乏软件人才, 微软最有生产力的部门不就是中国吗? 我觉得制药相关的分子化学领域是我们可以开始研究的方向, 中国制药业相对落后, 新药的利润是很高的, 中国的制药行业应该有人想要突破, 只是因为那些高投资却步不前. 分布式运算很可能是他们的突破口, 也是中国分布式的推广方向.

大家参考一下.

Julian_Yuen

其实电费也是不小的一笔开支。
一些科研部门是非盈利的，钱也少，所以才依靠大众。让他们来交电费的话估计也是不现实的
分布式计算多数都是凭借算友的兴趣与支持。有的项目也曾陷入过财政危机。
不过，公益性的推广起来还是有一定阻力的（没报酬？？）.....

还有一点，其实好像有在号召节约用电 可能扯远了

[ 本帖最后由 Julian_Yuen 于 2007-5-4 00:40 编辑 ]

gongmao1_2000

楼主的想法目前不太可行。。。。

Julian_Yuen

也是不错的想法，不过实施起来可能不会很顺利.

equn

欢迎您来我们的论坛。对，利用一个单位或一片小区域里的电脑进行小规模集群的示例很多，包括中国在内全球都有做。对于计算力的交易性目前，或者说近年里障碍比较多。个人电脑的稳定性、数据泄密问题有待解决。所以目前公益计算发展较多，也是计算力商用的一个好开端。

lch=gta

号召……

zglloo

想法确实很新颖！
    但是号召不是最好的办法政府支持推广最为好！！
   就想 Julian_Yuen 说的平时我们去劝说周围的人们 大多数人们不会接受这个想法，首先他们自己感觉与他们没有任何关系所以开放宣传和教育是 “关键 ”    就想献血人们可能自己错误的认为那是会感染疾病或者 是对自己的伤害。
  尤其是在大学生中对于我而言很难宣传  大家都忙着游戏 聊天 冲浪 认为使用100%处理器资源对机器有伤害耗损 对自己而言没有任何意义！

[ 本帖最后由 zglloo 于 2007-5-6 20:35 编辑 ]

eveaan

很难啊，尽量吧。

yasua

这与实现共产主义社会是一样的,需要我们共同努力

虽然不可能一步就实现,但总有实现的一天

Julian_Yuen

原帖由 yasua 于 2007-5-9 15:08 发表
这与实现共产主义社会是一样的,需要我们共同努力

虽然不可能一步就实现,但总有实现的一天

这个啊，汗，不过不论实现与否，有理想总是比没有理想来的好些

topdo

我们先把这个贴子发到百度、TOM、SINA、SOHU、Yahoo、163等大网站的论坛去。

知道的人多了就成为主流了。呵呵。

还有哪些军迷们的网站。

zglloo

你的这个想法很好噢 我就在高校的论坛里面还有活动俱乐部  中宣传

wangqinglin

想法不错，不过实行起来有困难