首页 > 云计算 > 正文

Hadoop应用程序性能调优案例分析

2011-01-10 20:04:15  来源:csdn

摘要:在讲座中,Milind Bhandarkar给与会者讲述了Hadoop一些最重要的参数的配置方法以及这些参数对系统的性能有何影响。
关键词: Hadoop

由CSDN和《程序员》杂志联合策划组织,旨在与业界人士分享IT产品背后的技术和用户体验故事的线下活动TUP(Technology、User Experience、Product) 第四期,9月6日在Yahoo全球研发中心举办,本期活动邀请到了Yahoo公司Hadoop应用架构师——Milind Bhandarkar深入分析了Hadoop应用程序性能调优。

\

在讲座中,Milind Bhandarkar给与会者讲述了Hadoop一些最重要的参数的配置方法以及这些参数对系统的性能有何影响。

\

此外,Milind Bhandarkar还给与会者介绍了一个尚未发布的基于规则的性能异常检测框架——Hadoop Vaidya,并展示了Yahoo公司真实负载下Vaidya框架的性能结果。

\

\

 Milind Bhandarkar为与会者介绍了相当多的技术热点,比如如何在Hadoop中实现map过程、如何定义InputFormat和OutputFormat等技术实践内容。

 在最佳实践的建议中,Milind Bhandarkar提出了在Hadoop平台上使用高级语言进行开发、使用合成器对本地软件集成以减少文件大小等几种解决方案。

 本次活动得到了CSDN大量Hadoop开发者的大力支持,50张门票在短短两天时间内便被预定一空,现场座位之紧张程度可见一斑。与会者有来自中国移动研究院、中国电信研究院、百度、搜狐、人人网、豆瓣等知名公司的资深技术人员,讨论相当深入。

据对与会人员的抽样调查,国内许多互联网公司都已经开始在生产环境使用Hadoop。云计算技术正在进入主流。

 讲师介绍

\

Milind Bhandarkar,Yahoo!公司Hadoop应用架构师

Milind Bhandarkar自从0.1.0.版本就开始为Apache Hadoop项目做出贡献,他带领Yahoo公司网格解决方案团队专注于为Hadoop相关开发者提供培训与咨询,他们已经为数百个Hadoop相关开发 团队提供了支持。Milind Bhandarkar拥有超过20年并行编程语言经验。他曾工作于Center for Development of Advanced Computing (C-DAC,专注于先进火箭模拟的研究中心),Siebel Systems公司,与Pathscale公司(被QLogic收购),于2005年加入Yahoo!公司。


第三十六届CIO班招生
国际CIO认证培训
首席数据官(CDO)认证培训
责编:lyre

免责声明:本网站(http://www.ciotimes.com/)内容主要来自原创、合作媒体供稿和第三方投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。
本网站刊载的所有内容(包括但不仅限文字、图片、LOGO、音频、视频、软件、程序等)版权归原作者所有。任何单位或个人认为本网站中的内容可能涉嫌侵犯其知识产权或存在不实内容时,请及时通知本站,予以删除。