您现在的位置: 天极网 > IT新闻

YARN: 让Hadoop更完善?

博客2012-11-23 13:46我要吐槽

  Apache Hadoop的肯定不是开源分布式文件系统唯一的解决方案,近年来出现了一些hadoop的竞争对手,如HPCC等等,但在蓬勃发展的大数据存储领域它肯定是最有名的和最流行的平台。

  虽然hadoop精于数据处理和分析和原始存储,但Hadoop仍有其不足之处,如批量处理的延迟,而且对MapReduce的数据处理很依赖。

  YARN是另一种资源的谈判代表,是一个新的框架,Cloudera要求“比早期的MapReduce有更好的适用性”,因为它运行的程序,不遵守MapReduce模型。

  Apache Hadoop项目管理委员会的主席和Hortonworks的创始人Arun Murthy,近日在接受采访时表示:“简而言之,我们尝试在Hadoop中采用YARN不仅仅用于MapReduce的数据处理,它允许你MapReduce和Hadoop在相同的集群环境中做得更多。”

  Pervasive Software公司的首席技术专家Jim Falgout在接受电话采访时这样形容YARN:“作为一个分布式操作系统,它有一个分布式的调度,分布式文件系统,它能运行分布的工作。”

  “但早期的YARN是一个‘基本的’操作系统,你只能运行一个应用程序,”Falgout笑着说。 “这是MapReduce的。” 他补充,“YARN是Hadoop社区走向成熟的一个非常重要的部分。” 它昭示着MapReduce是伟大的,但它并不能解决所有的问题,这并非你要求的所有解决方案。

  Falgout已经解决了这个课题。 “MapReduce擅长解决例如为全球网站建立索引这类问题。但是,它不是解决任何问题都最灵活有效的平台,”他最近在网站的博客上写下这些数据。

  YARN拓展了hadoop,允许开发人员利用该平台的属性构建不同类型的应用程序。“”

  YARN开辟了Hadoop的,允许开发人员构建不同类型的应用程序,利用该平台的属性。 “如果你要使用Hadoop,YARN,在MapReduce分布式操作系统上的所有的应用程序,你写的不错”Falgout说。 “如果Linux这样,它走不到太远。”

  Falgout关于YARN的想法,它的小惊喜,Pervasive Software公司,总部位于得克萨斯州奥斯汀​​,提供数据管理和分析产品,深入参与Hadoop的大数据。该公司的软件的产品包括DataRush,其目的是提高并行性能的数据处理和分析任务,并快速分析数据访问,制备,分析和报告工具,可视化工作流。

  Falgout说,DataRush计划对YARN的普适框架移植,但目前尚未宣布具体的时间表。 “我们没有看到YARN被大面积应用在客户的生产系统,”他补充说。 “我们知道它即将到来,所以我们将可能在下个月开始对YARN的工作。”

  Cloudera公司, YARN及其CDH4分布的Hadoop,另外和已实施的早期版本,但被认为是一个alpha版本的软件。Falgout说:“它在那里,你可以看”,“但它尚未做好万全准备。”

  YARN的实施将直接影响最终用户,当然,但它可以提供间接的好处,使非常困难的Hadoop平台更易于使用。 “那是Hadoop近期的大主题, Hadoop的采用令其更易使用,”Falgout说。 “得到它超越了早期那些愿意写MapReduce代码,并经历过麻烦的使用者,因为他们享用了它的一项重大优势。”

  预测分析变得更快,更准确,更方便。结合大数据,它引领着一个新时代。此外,在新的,全数字化的高级分析问题的信息:项目管理办公室在浪费钱吗?

作者:畅享网责任编辑:王佳)
评论
* 网友发言均非本站立场,本站不在评论栏推荐任何网店、经销商,谨防上当受骗!
今日更新
1苹果正式进军智能医疗健康领域
苹果医疗健康

据悉,苹果近日发布了一则招聘启事,似乎透露了其正在研发一款针对医疗健康…

2谷歌重返中国计划或许将泡汤
谷歌重返中国

近日,根据外报道,谷歌在未被用户授权的情况下,私自窃取用户定位信息。

3三星发布10nm工艺5G基带芯片
三星5G

今天上午,三星电子正式宣布推出自家的5G基带Exynos Modem …

4陆奇出任YC中国创始人及CEO
陆奇新职位

YC宣布正式入华,陆奇担任YC中国创始人及首席执行官,并任YC全球研究…

5苹果2018新iPhone售价曝光
iPhone X

距离苹果的秋季新品发布会越来越近,2018新款iPhone的爆料也越来…

热门文章
1锤子宣布坚果Pro 2S下周发布
坚果Pro 2S

锤子科技宣布,将于8月20日19:30在北京凯迪拉克中心举行夏季新品发…

2中国移动宽带业务或超越电信
中国移动宽带

中国移动最早在今年下半年就能超越中国电信,成为宽带市场的领头羊。

3曝谷歌偷偷收集用户位置信息
谷歌隐私问题

近日美联社发布调查报道表示,谷歌下的安卓会自动存储用户的位置信息。

4大公司晨读:三星 Note 9发布
大公司晨读

昨日晚间,三星在纽约举办新品发布会,正式发布旗舰Galaxy Note…

5三星考虑关闭在中国的工厂
大公司晨读

据报道,由于业绩下滑,三星今年可能会停止在天津工厂的手机生产计划。

6爆料称三星Note 9预装刺激战场
三星Note 9

外媒爆料,三星已经与游戏开发商 Nexon 和 PUBG 等出版商签订…

7大公司:特斯拉股价下跌近5%
大公司晨读

数据显示,自开放小程序收藏入口以来,支付宝小程序周活跃收藏用户同比增长…

8新款iPhone价格曝光:699美元
新款iPhone

上周末,Theapplehub 网站曝光了三款新 iPhone 的价格…

9OPPO R17官宣 主打夜拍功能
OPPO R17官宣

从视频来看,新款OPPO R17 Pro很可能配备极光渐变色以及较好的…

10京东获得中国管理模式杰出奖
京东无界零售

日前,京东在80家企业中脱颖而出,荣获了中国首届企业管理模式杰出奖。

s/22/yesky_36220_cont_yesky_duilian.html" -->