您现在的位置: 天极网 > IT新闻

YARN: 让Hadoop更完善?

博客2012-11-23 13:46我要吐槽

  Apache Hadoop的肯定不是开源分布式文件系统唯一的解决方案,近年来出现了一些hadoop的竞争对手,如HPCC等等,但在蓬勃发展的大数据存储领域它肯定是最有名的和最流行的平台。

  虽然hadoop精于数据处理和分析和原始存储,但Hadoop仍有其不足之处,如批量处理的延迟,而且对MapReduce的数据处理很依赖。

  YARN是另一种资源的谈判代表,是一个新的框架,Cloudera要求“比早期的MapReduce有更好的适用性”,因为它运行的程序,不遵守MapReduce模型。

  Apache Hadoop项目管理委员会的主席和Hortonworks的创始人Arun Murthy,近日在接受采访时表示:“简而言之,我们尝试在Hadoop中采用YARN不仅仅用于MapReduce的数据处理,它允许你MapReduce和Hadoop在相同的集群环境中做得更多。”

  Pervasive Software公司的首席技术专家Jim Falgout在接受电话采访时这样形容YARN:“作为一个分布式操作系统,它有一个分布式的调度,分布式文件系统,它能运行分布的工作。”

  “但早期的YARN是一个‘基本的’操作系统,你只能运行一个应用程序,”Falgout笑着说。 “这是MapReduce的。” 他补充,“YARN是Hadoop社区走向成熟的一个非常重要的部分。” 它昭示着MapReduce是伟大的,但它并不能解决所有的问题,这并非你要求的所有解决方案。

  Falgout已经解决了这个课题。 “MapReduce擅长解决例如为全球网站建立索引这类问题。但是,它不是解决任何问题都最灵活有效的平台,”他最近在网站的博客上写下这些数据。

  YARN拓展了hadoop,允许开发人员利用该平台的属性构建不同类型的应用程序。“”

  YARN开辟了Hadoop的,允许开发人员构建不同类型的应用程序,利用该平台的属性。 “如果你要使用Hadoop,YARN,在MapReduce分布式操作系统上的所有的应用程序,你写的不错”Falgout说。 “如果Linux这样,它走不到太远。”

  Falgout关于YARN的想法,它的小惊喜,Pervasive Software公司,总部位于得克萨斯州奥斯汀​​,提供数据管理和分析产品,深入参与Hadoop的大数据。该公司的软件的产品包括DataRush,其目的是提高并行性能的数据处理和分析任务,并快速分析数据访问,制备,分析和报告工具,可视化工作流。

  Falgout说,DataRush计划对YARN的普适框架移植,但目前尚未宣布具体的时间表。 “我们没有看到YARN被大面积应用在客户的生产系统,”他补充说。 “我们知道它即将到来,所以我们将可能在下个月开始对YARN的工作。”

  Cloudera公司, YARN及其CDH4分布的Hadoop,另外和已实施的早期版本,但被认为是一个alpha版本的软件。Falgout说:“它在那里,你可以看”,“但它尚未做好万全准备。”

  YARN的实施将直接影响最终用户,当然,但它可以提供间接的好处,使非常困难的Hadoop平台更易于使用。 “那是Hadoop近期的大主题, Hadoop的采用令其更易使用,”Falgout说。 “得到它超越了早期那些愿意写MapReduce代码,并经历过麻烦的使用者,因为他们享用了它的一项重大优势。”

  预测分析变得更快,更准确,更方便。结合大数据,它引领着一个新时代。此外,在新的,全数字化的高级分析问题的信息:项目管理办公室在浪费钱吗?

作者:畅享网责任编辑:王佳)
评论
* 网友发言均非本站立场,本站不在评论栏推荐任何网店、经销商,谨防上当受骗!
今日更新
1晨读:中兴或将接受巨额罚款
晨读 0526

据路透社报道,为了撤销美国商务部的禁令,中兴已经同意了接受巨额罚款。

2泛家居3D数字线上展馆将面世
3D线上展馆

  泛家居行业将迎来骄阳一样的发展未来——全国首家泛家居3D数字线上展…

3积木易搭已进入高速发展期
积木易搭模界

  从二维的世界进入到三维的领域来,而三维的世界离不开三维数据,也就是…

4积木易搭亮相成都国际家具展
积木易搭参展

  今年六月份的成都家具展会展出规模和参展企业将再次创成都家具展历史新…

5新版微信还隐藏了这个彩蛋!
新版微信彩蛋

5月23日,微信推送了6.6.7版本,新增了网页/文章可缩小为浮窗等新…

热门文章
1微信支付宝520红包,滴滴顺风车
大公司晨读

晨读:微信支付宝520红包升级;滴滴顺风车恢复上线;北京地铁二维码乘车…

2大公司晨读:小米正式进军法国
晨读 0523

22日,在巴黎洲际酒店的发布会上,小米宣布正式进军法国市场,线上线下共…

3晨读:中移动4G用户首现负增长
晨读 0522

三大电信运营商相继公布4月运营数据。其中,中国移动的4G用户首次出现负…

4晨读:腾讯家乐福智慧门店开业
晨读 0521

苹果将推出一款售价为199美元的智能音箱,不过它将被冠以Beats的品…

5凤凰卫视和故宫复活清明上河图
清明 上河图

中国十大名画之一《清明上河图》在现代科技和传统瑰宝的完美融合下,成功“…

6哈罗单车打破共享单车行业魔咒
哈罗打破魔咒

2018,共享单车市场或将尘埃落尽, 一场免押金的生死角逐却已悄然开启…

7Max系列被砍?雷军回应:7月见
小米Max

雷军在与微博网友互动时透露,“小米Max 3估计7月份发布,现在还没准…

8北京一卡通可以刷ofo小黄车了
ofo刷一卡通

北京市政交通一卡通与ofo小黄车共同宣布达成战略合作,可以用一卡通刷走…

9大公司晨读:滴滴或下半年上市
晨读 0524

5月23日,据香港经济日报报道,网约车平台“滴滴出行”最快下半年赴港上…

10晨读:三星赔偿苹果5.38亿美元
晨读 0525

苹果控诉三星抄袭iPhone设计的案子得到了新的判决,三星将向苹果赔偿…

s/22/yesky_36220_cont_yesky_duilian.html" -->