首页 > 资讯列表 > 科技资讯 >> 业界动态

Twitter宣布开放实时计算系统Storm源代码

业界动态 2011-09-20 12:09:59 转载来源: AS网站目录整理

Twitter在9月19日的Strange Loop大会上公布Storm源代码。这个类似于Hadoop的即时数据处理工具是BackType开发的,后来被Twitter收购用于Twitter。

Twitter在Strange Loop大会上公布分布式实时计算系统Storm源代码,可以用于各种编程语言,弥补了Hadoop实时性的缺失,意义重大。

据了解,Storm代码来自于Twitter上月收购的BackType,后来被Twitter收购用于Twitter。业内普遍认为这是Twitter为方便用户解析数据所作出的努力。Twitter首席工程师Nathan Marz在博客上表示:“这是一件非常重大的事情,至少对使用大量数据的极客来说是如此,因为相比大多数企业,Twitter要处理更多的实时数据。”除此之外,Nathan Marz还指出Storm在业内有着相当广阔的使用前景,比如流处理、持续演算及远程处理命令等。

现在,Storm的发展势头相当强劲,Twitter开发的相应工具已使其功能变得更加强大。Storm类似于另一个开源数据操作平台Hadoop,Storm也可能成为一项重要业务。

Twitter列举了Storm的三大类应用:

1. 信息流处理(Stream processing)

Storm可用来实时处理新数据和更新数据库,兼具容错性和可扩展性。

2. 连续计算(Continuous computation)

Storm可进行连续查询并把结果即时反馈给客户端。比如把Twitter上的热门话题发送到浏览器中。

3. 分布式远程程序调用(Distributed RPC)

Storm可用来并行处理密集查询。Storm的拓扑结构是一个等待调用信息的分布函数,当它收到一条调用信息后,会对查询进行计算,并返回查询结果。 举个例子Distributed RPC可以做并行搜索或者处理大集合的数据。

项目网页:http://t.cn/adMiuD

关于Storm的介绍PPT:http://www.slideshare.net/nathanmarz/the-secrets-of-building-realtime-big-data-systems

(责任编辑:夏梦竹)

标签: Twitter 宣布 开放 实时 计算 系统 Storm 源代码


声明:本文内容来源自网络,文字、图片等素材版权属于原作者,平台转载素材出于传递更多信息,文章内容仅供参考与学习,切勿作为商业目的使用。如果侵害了您的合法权益,请您及时与我们联系,我们会在第一时间进行处理!我们尊重版权,也致力于保护版权,站搜网感谢您的分享!

站长搜索

http://www.adminso.com

Copyright @ 2007~2024 All Rights Reserved.

Powered By 站长搜索

打开手机扫描上面的二维码打开手机版


使用手机软件扫描微信二维码

关注我们可获取更多热点资讯

站长搜索目录系统技术支持