摘要:本篇教程介绍了云计算 Hadoop应用程序性能调优案例,希望阅读本篇文章以后大家有所收获,帮助大家对大数据云计算大数据安全的理解更加深入。
本篇教程介绍了云计算 Hadoop应用程序性能调优案例,希望阅读本篇文章以后大家有所收获,帮助大家对大数据云计算大数据安全的理解更加深入。
<
在讲座中,Milind Bhandarkar给与会者讲述了Hadoop一些最重要的参数的配置方法以及这些参数对系统的性能有何影响。
此外,Milind Bhandarkar还给与会者介绍了一个尚未发布的基于规则的性能异常检测框架——Hadoop Vaidya,并展示了Yahoo公司真实负载下Vaidya框架的性能结果。
Milind Bhandarkar为与会者介绍了相当多的技术热点,比如如何在Hadoop中实现map过程、如何定义InputFormat和OutputFormat等技术实践内容。
在最佳实践的建议中,Milind Bhandarkar提出了在Hadoop平台上使用高级语言进行开发、使用合成器对本地软件集成以减少文件大小等几种解决方案。
据对与会人员的抽样调查,国内许多互联网公司都已经开始在生产环境使用Hadoop。云计算技术正在进入主流。
讲师介绍
Milind Bhandarkar,Yahoo!公司Hadoop应用架构师
Milind Bhandarkar自从0.1.0.版本就开始为Apache Hadoop项目做出贡献,他带领Yahoo公司网格解决方案团队专注于为Hadoop相关开发者提供培训与咨询,他们已经为数百个Hadoop相关开发 团队提供了支持。Milind Bhandarkar拥有超过20年并行编程语言经验。他曾工作于Center for Development of Advanced Computing (C-DAC,专注于先进火箭模拟的研究中心),Siebel Systems公司,与Pathscale公司(被QLogic收购),于2005年加入Yahoo!公司。
本文由职坐标整理并发布,希望对同学们有所帮助。了解更多详情请关注职坐标大数据云计算大数据安全频道!
您输入的评论内容中包含违禁敏感词
我知道了
请输入正确的手机号码
请输入正确的验证码
您今天的短信下发次数太多了,明天再试试吧!
我们会在第一时间安排职业规划师联系您!
您也可以联系我们的职业规划师咨询:
版权所有 职坐标-一站式IT培训就业服务领导者 沪ICP备13042190号-4
上海海同信息科技有限公司 Copyright ©2015 www.zhizuobiao.com,All Rights Reserved.
沪公网安备 31011502005948号