|
|
网格计算：分布式计算的重大突破
作者：仙人掌工作室 本文选自：赛迪网 2002年04月11日
网格计算即Grid Computing，是一种使用网络中的多个计算资源来解决单一问题的计算模式。当一个计算工程需要的处理资源超过本地可用的能力时，网格计算允许该计算工程通过网络使用远程机器的CPU和存储资源。一个著名的例子是正在进行的SETI项目（搜寻外星智慧）。在这个项目中，成千上万的PC机被用来从外空间的信号中搜索带理性特征的信号。著名市场研究公司Gartner Research的主管Rob Batchelder预言，“Internet将成为持久性数据的存储媒体，就象是一个巨大的磁盘驱动器或CPU”。他相信，当网格计算获得了主流的认同，这一切就会成为现实。
在生命科学和科研调查中，网格计算是关键性的技术。网格计算最初的开发目的是为了执行一些复杂的计算任务，例如基因图绘制、蛋白质分析、构造气象模型等。然而，当前网格计算技术的发展已经超越了原来的学术领域，对其他行业和领域产生了重大的影响。今天，网格的概念不仅应用到了微处理器的电子工程，而且也应用到了金融服务行业，大型投资银行利用网格计算技术进行市场模拟。
推崇分布式网络计算能力的人越来越倾向于认为，网格计算能够很自然地适应更多的领域，其中最重要的就是Web服务和托管。网格计算的支持者宣称，网格计算的主要优势在于它不要求额外的投资购买新设备，而是充分发挥出现有资源的潜力——对于今天面临IT预算紧缩的人们来说，网格的这种特点特别具有吸引力。
Gartner的Batchelder预言说，早期的网格工程依赖于精心规划的私有网络，但在将来的网格计算应用中，Internet将占据中心地位。他说，不用多久，网格计算将无处不在，“Internet将成为一个存储网格。这仅仅是一个时间问题。”
一、超越基因图绘制
Davi Fish是网格计算供应商Avaki的CEO，网格计算的迅速发展和广泛应用自然是他乐意看到的事情。实际上，他相信这一切已经在进行中。“我们对网格计算的定义相当广泛，”Fish解释说，“这是一种在单一的操作环境内使不同种类的资源发挥出最大潜力的技术”。
Avaki正在向制造、生命科学、金融服务等领域的企业推广网格技术，而且它早就宣称“六个较早的客户”已经从它领先的技术获益。“网格计算被广泛的用作Web服务的结构将是一件很自然的事情”，Fish说。网格计算能够让远程存储能力和处理能力看起来象是本地系统的一部分，这也就是网格计算的“单一视图”（Single View）概念。Fish相信，网格计算的“单一视图”使它成为分布式Web应用的理想选择。
在推崇网格计算方面，并非只有Fish和Avaki抱有这种观点。其他的网格技术供应商，包括Sun、IBM、Compaq和HP这些业界巨头，正在使人们相信这样一种观点，即网格计算最终将影响到我们每一个人。
其中，Sun为了推动网格计算，以源代码开放工程的形式免费推出了它的Sun Grid Engine（网格引擎）。Peter Jeffcock是Sun技术产品的集团市场经理，他声称已经有3000个以上不同的网站在使用该软件，这些网站主要使用Sun Solaris和Linux操作系统。在Grid Engine推出的第一年，就有总计约118000个CPU在Sun的Grid Engine网络注册。“那是一个相当不错的开端，”Jeffcock说，“我们免费提供这个软件，所以按照那种方式推广它”。
根据Jeffcock的描述，Sun预测网格计算技术的发展将分三个阶段：从利用软件控制分布式计算系统的独立软件工程发展起来的集群网格（Cluster Grid）；接下来发展的校园网格（Campus Grid）从几个建筑物或地点合并计算资源；最后，全球网格（Global Grid）将作为新一代网格计算概念浮现。“也许你现在可以找到全球网格，但它们基本上不是标准化的操作环境，”Jeffcock说。“当校园网格相互连接起来时，全球网格就出现了。”
二、从数字看网格的力量
无论是计算资源的集群化，还是校园网格、全球范围的网格，优点都是一样的。Jeffcock指出，在今天的网络上，百分之七十五的CPU时间和高达百分之八十的服务器资源都是浪费的。重新利用这些丢失的处理器、带宽、存储能力正是网格计算的诱人之处。“在网格中，你可以[把资源利用率]提高到百分之九十八到九十九，”Jeffcock说，“即使在相当短的时间内，你也可以提高到百分之五十。”
正如Avaki的Fish所解释的，这种资源利用率的戏剧性提高并非只有全新的机器或大量的新设备才能带来。“在金融服务业，例如需要运行市场模拟等关键性任务的大型投资银行，系统的发展通过多次采购完成，因此它们一般都是异构的，”他说。要利用这些现有的资源，Fish指出，最好的办法就是使用网格计算，“这是系统资源利用率的最大化。你可以把工作放到负载最小的处理器上，相当有效地对大量服务的资源使用情况进行管理。”
此外，Fish解释说，网格的溢出转移和故障转移能力使它比普通网络具有更清晰的结构和更友好的接口，“现在，他们会在某个机器故障时呼叫网络管理员，”他说，“网格允许自动地故障转移和溢出转移。谈到数据中心的工具，这将是外购计算服务模式一次令人惊奇的变革。”
网格计算能够迅速把现有处理和存储资源的利用率发挥到极限，从商业的角度而言，这将使IT投资能够获得更大的回报。“我们降低了运行高端系统的成本，并且使它具有可伸缩性，”Sun的Jeffcock解释说，“它做到了以前不能做到的事情，并具有更好的灵活性和可伸缩性。”
Jeffcock补充说，Sun以源代码开放的形式推出Sun Grid Engine，以此推动网格计算的发展，其他公司能够以相对较低的成本，按照渐进的方式构造网格。“你能够以令人惊异的低成本启动一个引导性的项目，但仍能够从中获得回报，”他说。
Jackie Fenn是Gartner的副总裁，研究正在浮现的新技术，他表示企业用户还对网格计算抱有怀疑，但需求仍旧存在。“为了降低成本和提高效率，它们正在寻找利用现有资源的方法，”Fenn说，“我认为网格计算具有吸引力，因为它具有充分发挥现有资源优势的能力。”
三、面临的问题
然而，Fenn补充说，尽管网格计算具有强大的能力，但也面临着一些问题。网格计算对企业试验性的目标具有吸引力，不过，当预算允许时，超级计算机的计算能力常常获得更多的认可。Fenn相信，人们对网格计算的理解在很大程度上受负面消息的影响，包括某些现有的分布式计算工程的安全缺陷。
Avaki的Fish同意，安全是他公司的客户首先关心的问题。“由于开放了网络，提供了更多的工具和访问权限，你必须确保它的安全性，”他强调安全机制应该嵌入到网格软件最核心的层次上。
Dick Hilderbrandt是美国国家科学基金会（NSF）的Partnerships for Advanced Computational Infrastructure计划的负责人，他相信，尽管存在着对安全问题的疑虑，人们仍会继续试验网格计算应用。“我认为各类企业有充足的理由这么做，”Hilderbrandt说，“倘若有足够的安全机制保障跨国企业构造自己的网格，它们会乐意这么做。”
Hilderbrandt负责分布式的Terascale工程，这是一个分布到四个不同的地理位置、通过40GB骨干网络连接起来的计算应用，具有每秒运算13万亿次的能力。他说自己最大的问题不是安全，而是审计。“我们不知道如何对这类应用的时间和应用情况进行审计，”他说。
对于Gartner的Batchelder来说，这并不奇怪。Batchelder认为当前网格面临的最大限制在于管理。“加入一个网格就增加了整个网络的负载，”他说。“加入网格之后，随之会出现许多管理方面的问题。”
Avaki的Fish认为，解决这个问题的办法也是把审计管理功能直接加入到连接起网格的软件中。“使用任何东西都得付出一定的开销，”他说。“在网格软件尽可能低的层次上加入审计机制，这是很重要的。”Avaki CEO还说自动故障检测和恢复对于任何网格软件来说都是必须解决的关键问题。“容错能力是一个相当重要的问题，”他说，“当你把30到40个节点连接在一起，有可能每24小时就会面临一次故障。必须考虑新的办法来处理故障，不能简单地依赖于提高冗余程度。”
四、进入主流应用
尽管Avaki等网格计算厂商描绘了诱人的前景，但在很大程度上，商业界仍未能认同这样一种观点，即网格对计算技术的革命性影响很可能达到和PC、Internet一样的程度。Gartner的Fenn相信，大多数公司已经拥有它们需要的资源，”而且除了研究和工程领域，对网格计算提供的庞大计算能力的需求已经不多。
“我相信一段时间内网格将只能在有限的场合应用，”Fenn说，“当前需要的推动力量不是计算能力，而是带宽。”Fenn解释说，许多组织感到有限的网络带宽对自己形成了制约，而应用网格计算技术只会使这个问题更加恶化。
分析家Batchelder也同意这种观点。“网格应用是高计算量、低数据量的应用，”他说，“你当然不想因为使用网格而阻塞网络。这就限制了适合在网格上运行的应用类型。”
尽管如此，Sun的Jeffcock认为有充足的理由期待网格计算延伸到更广阔的Internet世界。“网格已经真正成为一种受欢迎的思想，”他说。“实际上，今天，如果你要启动一个生命科研项目或设计一个芯片，不使用集群网格也许已经不再符合潮流。在这些地方，网格计算是主流。”
Hilderbrandt同意，网格计算当前在一定程度上还局限于科学计算类应用。但他补充说，“这并不说明网格计算不可能象Mosaic浏览器那样流行。Mosaic浏览器现在已经随处可见，无处不在。我认为这一切也会发生在网格计算上。”
Hilderbrandt不能确定当大部分聚集到Internet的计算能力由最终用户控制时，网格革命是否会真地很快出现。“把计算能力集中到服务器上而不是分散到桌面上之后，网格具有更大的影响力，”他说，并补充说他猜想大多数用户不太会想要返回以服务器为中心的计算模式，“现在的情况是，桌面PC已经有了如此强大的功能，我不能肯定我们会重回那种环境。”Hilderbrandt还指出，通向网格计算的道路上还有许多障碍有待克服。“我们还面临着一些挑战，主要是在测量和适用范围方面。还有一些中间件仍在开发之中。”
五、迎接挑战
Gartner的Rob Batchelder相信，网格计算面临的问题决不是不可克服的。他觉得正在推动网格计算的公司，包括Avaki、Data Synapse、Entropia、Platform和United Devices，还有IBM和Sun等业界巨头，都会帮助网格计算进军主流。“它们都在提供这方面的支持，” Rob Batchelder说。
进入主流应用当然也是Avaki的目标，Dave Fish说。他认定网格中间件仍有待全面发展。“你一定知道滚动式开发吧？我们正在平地上打桩，并且已经发布了产品，”Fish说。“我们使这种技术商品化，使它可被许多企业应用。”为达到这个目标，他希望采取的措施之一是进一步推动网格计算中间件领域的标准化，包括为应用的连接开发出基于XML的语言。网格计算要获得广泛应用，不同网格技术之间的互操作性是很重要的，Fish说。同时他提醒，他的公司已经多次和Sun协作，为一些客户构建了大型的网格。“我们的软件能够很容易地连接到Sun Grid Engine，以一种我们称之为‘同盟’（federated）的方式使用资源。”
Batchelder也相信网格计算将为企业（包括管理员和最终用户）带来方便，但是，对于把网格作为解决所有问题的万能方案的观点，Batchelder提出了警告。他说，虽然随着Windows和Internet的普遍使用，广泛的网格计算开始成为现实，但它的价值在“拯救世界”的期望之下显得模糊和渺小。
“网格不是包治百病的灵丹妙药，”Batchelder说。“所有对网格计算的过度宣扬损害了人们严肃对待它的积极性。网格的流行还需要时间。”他相信网格首先获得的推进力量很可能来自欧洲和亚洲，在这些地方网格的应用更广泛。
Batchelder认为，对于网格最大的误解是网格能够提高性能。在他看来，网格的真正优势在于，它有能力在同样的时间内计算出更多的变量、分析更多的模型和情况、设计出更多的方案。“［网格］会帮助你更上一层楼，”Batchelder说，“它会更快吗？也许吧。总而言之，它会让你干得更好、更有效。”
另外一些人没有这么乐观，并怀疑把大量计算机、处理器和带宽集中起来使它们能够象单一设备那样使用的思想是否真地能够成为主流。另外，对于网格计算模式超越原先在科学和制造领域的功能，进入商业和Internet更宽广的世界，也存在一些争议。但Sun的Jeffcock坚持认为，真正的网格计算已经来临。“至于广泛采用，这正在进行之中，无处不在，”他说。“人们可以访问我们的下载网站或操作系统网站，今天就可以启动一个样板工程。它并不遥远。”
附录：网格计算与CERN
大部分对Web的赞美之辞都围绕着美国的一些公司，但实际上，对于Inernet计算历史的影响，很少有其他组织能够超过CERN。CERN即欧洲原子能研究机构（European Organization for Nuclear Research，CERN为法文缩写）。CERN位于瑞士日内瓦，1990年Tim Berners-Lee研究全球超文本系统时，CERN是最初的赞助者。Tim Berners-Lee研究的全球超文本系统是一个有着重大意义的项目，它后来发展成了我们今天知道的World Wide Web。
即使从表面上看，Web开发技术和粒子物理之间很少相似之处，CERN支持Berners-Lee研究的目的也相当实际。物理学家们需要频繁地进行全球性的交流和协作，CERN希望以一种以前的时代里难以想象的方式，通过一个信息网络把这些距离遥远的实验室和大学连接起来，加速研究过程。
CERN对联机协作的兴趣仍在继续，但今天它的注意力不再仅仅是人与人的通信，而且还包括远程计算设备之间的通信。CERN的DataGrid项目是全球网格计算最重要的研究项目之一。2001年1月，欧盟给DataGrid开了绿灯，决定三年内向CERN提供980万欧元，资助后者有关下一代互联网的研究项目DataGrid。
推动DataGrid项目的力量部分地来自CERN的大型强子对撞机（LHC，Large Hadron Collider）。LHC将在2006年完成，它的威力超过迄今所建造的任何一架同类设备，每年观测数万亿次基本粒子对撞预计产生1千万GB的数据，大致相当于2千万片CD-ROM的容量。
由于数据规模是如此之大，对它进行有效的分析超过了CERN当前拥有的任何计算设备的能力。CERN的科学家说，实际上它超过了现有的任何计算机系统的能力。但如果把全世界科学界的所有超级计算资源加在一起，DataGrid项目的工程师们相信，他们能够构造出一个胜任这项挑战的全球网格。CERN信息技术部负责人Manuel Delfino说，“可以肯定的是，不远的将来，与我们现在面临的问题相似，许多大型企业和组织也会面临类似的问题。”
参考：
信息服务网格——第三代Internet
Web后的第三大浪潮:网格浪潮
Sun推出新软件促进网络计算技术的更大发展
IBM的宏伟设想：网格计算技术
|
|
发表于 2004-3-28 00:00:00
发表于 2004-4-2 00:00:00