拉伸膜厂家
免费服务热线

Free service

hotline

010-00000000
拉伸膜厂家
热门搜索:
行业资讯
当前位置:首页 > 行业资讯

Twitter开源了streamingMapReduce

发布时间:2020-03-26 13:41:33 阅读: 来源:拉伸膜厂家

Twitter已经开源了“流MapReduce”系统称为Summingbird,使得Hadoop和风暴更好的玩在一起,因此需要批处理和流处理的应用程序可以做他们的工作,用尽可能少的尽可能复杂。

Twitter已经开源的系统,旨在把它们合并成一个混合动力系统,减轻批处理和流处理之间的权衡。的Hadoop在Twitter的情况下,处理批量处理,雨水处理流处理,混合动力系统被称为Summingbird。这不是一个工具,每一项工作,但它听起来很方便,对于那些旨在解决。

Twitter的博客文章宣布Summingbird是相当技术,但问题是很容易理解,如果你认为Twitter如何工作的。像热门话题和搜索服务需要实时处理的数据是有用的,但他们最终需要达到准确,可能更彻底一点分析。风暴就像是医院的分流单元,,而Hadoop是像长期的病人护理。

这说明,从项目的wiki?Summingbird?做了很好的工作,解释它是如何工作在较高的水平。执行是更复杂一点,当然:混合模型允许最要处理的数据Hadoop和服务像曼哈顿的只读存储。只有Hadoop的数据至今尚未能够处理,数据,属于潜伏期窗口,将提供的数据存储,实时填充风暴。误差实时层是有界的,因为,Hadoop会最终得到解决处理相同的数据和平滑的任何错误。

其实像这样的混合动力系统变得越来越普遍,因为企业意识到他们不能单独在一个实时的世界中生存与Hadoop。我们已经覆盖系统,在众多的公司-?重力,LinkedIn和Netflix的其中-这一目标做同样的事情。Summingbird可能会有所不同的,它是处理数据的混合动力系统,相对于不同的系统管道从Hadoop和风暴,但网络公司需要一些方法,以确保他们不会交易速度的准确性,反之亦然。

我们将不会有任何人从Twitter?结构:欧洲(9月18日和19日在伦敦)谈论Summingbird的特别,但我们的数据阵容是相当令人印象深刻的,或许可以说,为什么它是重要的深度。他们来自地方如PayPal,MailChimp和LinkedIn的,像雅虎和NSA的地方与以往的经验以及企业家。

Summingbird,Twitter的实际描述为“流MapReduce”,因为其焦点聚集作业。它也可能是值得检查出雅虎的开源风暴纱项目实际运行Hadoop集群内的风暴,为了给暴风访问基于Hadoop的数据存储。

java基础教程

react native 教程

快捷酒店加盟

java 教程