您现在的位置: 天极网 > IT新闻 > 业内快讯

Mobvista蔡超:因为All in Cloud,所以探索云端俭省之道

Yesky天极新闻 2018-09-25 18:15 我要吐槽

  【天极网IT新闻频道】上周,大概全中国的云技术人才都聚在深圳,因为AmazonWeb Services (AWS) 技术峰会9月20日在深圳举行。

  作为AWS技术峰会2018中国行的收官之作,本场峰会汇集多位AWS高管和技术专家,分享AWS在物联网、移动技术、人工智能、大数据等领域的创新与展望;亦有本土技术型企业代表,分享成功案例及实践经验。

  Mobvista作为技术驱动型的全球领先移动营销平台,由技术副总裁兼首席架构师蔡超、资深后端研发工程师梁晓鹏出席峰会并做专题技术演讲,分享Mobvista在搭建和完善云计算体系过程中的经验。

1.jpg

  蔡超,Mobvista技术副总裁兼首席架构师

  以下为蔡超所作的《云端俭省之道》演讲分享。

  ——————

  Mobvista的宗旨是“建立覆盖全球每一个人的信息输送管道”,公司建立了覆盖全球的移动营销平台,通过平台助力移动开发者利用全球优质广告资源来实现高效的流量变现,同时帮助广告主利用全球优质流量资源实现广告的精准投放。

  从一开始,Mobvista就考虑到业务的快速启动、规模的快速扩展及全球化,所以我们的整个系统和平台都建立在云端。

  Mobvista成立于2013年,经过短短几年的发展时间,我们已经成为中国最大、全球前十的移动营销平台,我们的日触达用户已达9亿,日均的请求数量目前已经接近400亿。

2.jpg

  如同每一个在云端搭建大规模系统的公司一样,规模的快速增长,带来的是成本的快速增长的压力。这也是为什么我加入到Mobvista,如果你参加了去年的ArchSummit2017,那你会知道我去年是代表亚马逊来做一些session的分享的。

  在这半年的时间里面,我们通过架构的优化,以及利用AWS的一些新技术来逐渐降低我们的成本,通过半年的优化,我们实现了单位请求的成本降低了约60%,这是一个非常难以置信的结果。那下面,我会分享一些我们自己的实践,供大家参考。

3.jpg

  第一个非常重要的,就是在你的架构层面实现更细粒度的伸缩,以往的单体系统在伸缩的时候我们是通过两种方式,第一种是复制系统服务,第二就是对数据进行分片。通常情况下系统的瓶颈不会是在于系统的所有方法,往往只是在于某一个方法,那这样的方式由于会导致整个系统的复制使用更大的硬件资源,导致一些硬件资源的浪费,那如果你采用微服务的话,你可以实现更细粒度的伸缩,那么对于处于瓶颈状态的微服务进行单独的伸缩、单独的复制,对它所使用的数据进行分片,提高硬件的使用效率。

  另一方面,利用AWS Lambda技术,你可以直接将计算方法或业务方法上传至云端,直接进行计算或运行,而无需考虑其承载器的硬件以及扩充硬件的规模。AWS Lambda将根据请求量变化实现自动伸缩。同时,使用AWS提供的Backend Service,例如存储、步骤编排(data pipeline)等,你可以完整地构建一个Serverlessarchitecture。

4.jpg

  上图是我们的一个游戏数据统计系统,这个游戏数据统计系统也是覆盖全球。我们可以看一下,整体的架构中没有任何一台主机。Serverless不仅降低了系统的硬件成本,更加降低了硬件的维护成本(关于这方面更多的分享,欢迎大家参加下午我的同事梁晓鹏——公司资深工程师的一个关于Serverless的session。)

5.jpg

  第二,就是充分利用AWS的收费模式。AWS推出了Spot Instance,这是一种闲置的EC2Instance,通常你可以以1-1.5折的价格来获取Spot Instance,但是在某些资源紧张的情况下以及在你的竞价低于市场价的情况下,这些Instance会被回收掉。如果你的应用可以实现InstanceFlexible、同时你精巧的设计还可以满足到以上这些容错特性,那么你可以结合AutoScaling以及混合一部分的OnDemand和Reserved Instance来实现一个可靠并且低成本的系统。

6.jpg

  不仅是Online系统,对于后台的大数据平台,如果是使用AWS EMR平台,你同样可以利用 SpotInstance来降低你的成本。我们可以用SpotInstance来运行TaskNode,TaskNode在失效时,EMR平台会对它进行重新运行。与Master Node和Core Node不同的是,TaskNode的失效并不会引起整个EMR平台的失效,也不会像引起很大的data shuffle. 所以我们可以安全地用SpotInstance来替换所有的Task Node. 唯一的问题是,如果应TaskNode被回收,而Task需要从算,就会需要更多的时间。这时,你可以借助更多的Spot Instance,利用更多的Task Node来加快整体的运行速度,比如说4个小时的运行时间,通过更多的Task Node把它加快到1小时运行,即因为一次从而导致需要2个小时,那么你在时间和成本上还是获得了改善。

7.jpg

  我们一直都在提什么样的架构是好的软件架构,开发人员大都会想到:可伸缩、高可靠、可扩展、可复用、可维护。而实际上,在我做架构师的十多年经历当中,我发现其实除了以上这些一个让企业支付得起、并且能够让企业获得更高利润的架构,才是一个好架构。

(广告资讯)
免责声明:以上内容为本网站转自其它媒体,相关信息仅为传递更多信息之目的,不代表本网观点,亦不代表本网站赞同其观点或证实其内容的真实性。
评论
* 网友发言均非本站立场,本站不在评论栏推荐任何网店、经销商,谨防上当受骗!
今日更新
1一加6T海外发布会提前一天
一加

最新消息显示,一加、魅族的新品发布会都已相继宣布将会出现变动。

2百度大脑发布企业服务解决方案
大公司晨读

近日有消息表示,一位女生在深夜使用滴滴出行打车,却被司机带到了墓园。

3大公司:京东金融已实现盈利
大公司晨读

天猫公布了2018双11的玩法,合并后的饿了么和口碑今年首次参与天猫双…

4大公司:谷歌将向安卓手机商收费
大公司晨读

今年双11一天包裹将超过10亿,未来会是常态;华尔街分析师:未来一年苹…

5哈啰打车业务全国81城同步上线
哈啰打车上线

哈啰出行正式接入嘀嗒出行,并在北上广深、重庆等全国81城同步上线嘀嗒出…

热门文章
1黄章公布魅族16销量
魅族16

原定于今日(10月15日)开启首卖的魅族X8也因为产能问题推迟到10月…

2魅族和小米相爱相杀何时休?
发布会撞车

魅族和小米这对相爱相杀的冤家,10月25号这次又把发布会撞到一起了。

3苹果官方回应Apple ID账号被盗
Apple ID被盗

苹果公布Apple ID账号被盗调查结果,并呼吁用户开启Apple I…

4Mate 20 Pro支持反向无线充电
Mate 20 Pro

除“浴霸”的设计外,Mate 20 Pro的反向无线充电功能也成为了网…

5锤子新品发布会确定
锤子

近日,锤子科技宣布定于11 月 6 日晚 19:30 在成都举办新品发…

6苹果允许用户可查询被追踪数据
苹果隐私网站

苹果上线全新的隐私网站,宣布将对用户开放数据下载,同时允许用户查询历史…

7滴滴“黑名单”功能试行
滴滴黑名单

今日开始滴滴正式试行“黑名单”功能,司机和乘客都可以把对方拉入黑名单。

8中国非现金交易量达480亿次/年
无现金支付

数据显示,2016年美国无现金支付总次数达1485亿次,占据榜首;而中…

9腾讯车载版微信来临:语音操控
车载版微信

近日,马化腾在演讲中透露道,腾讯正在研发车载微信以及小程序。

10大公司:京东金融已实现盈利
大公司晨读

天猫公布了2018双11的玩法,合并后的饿了么和口碑今年首次参与天猫双…

每日IT极热