首页 > 大数据 > 正文

巨无霸们的数据架构大比拼:Facebook Amazon NetFlix Airbnb的海量数据如何记录分析

2017-07-04 10:53:55  来源:大数据文摘

摘要:我们认为使用事件数据的公司会有很强的竞争优势。这一点在世界领先的科技公司中似乎都得到了证明。脸书、亚马逊、Airbnb,Pinterest和Netflix公司的数据工程师团队一直令人称奇。他们的工作为软件和商务的认知设定了新准则。
关键词: 大数据
\

  全球最好的数据架构长什么样?
 
  我们认为使用事件数据的公司会有很强的竞争优势。这一点在世界领先的科技公司中似乎都得到了证明。脸书、亚马逊、Airbnb,Pinterest和Netflix公司的数据工程师团队一直令人称奇。他们的工作为软件和商务的认知设定了新准则。
 
  因为他们的产品被广泛的使用,这些团队必须不断重新定义大规模数据分析。他们在数据架构上已经投入数以百万计的资金,并且拥有比大多数公司的整个工程部门人数还多的数据团队。
 
  如果你对大型公司的大数据框架感到好奇,下面我们将介绍最好的集成架构。
 
  Netflix网飞
 
  尽管拥有9300万月活跃用户,网飞在交互上没有任何缺陷。他们每天可以收集到大概5千亿条事件数据,大概占1.3PB。在高峰时段,他们每秒会记录800万条数据。网飞雇佣的数据工程师和分析师超过100人。
 
  下面是在网飞之前公布的公司数据架构的简图,主要包括Apache Kafka,弹性搜索,AWSS3,Apache Spark,Apache Hadoop,和EMR。
 
  \
 
  Facebook脸书
 
  由于拥有超过10亿的活跃用户,脸书的数据库是世界上最大的数据库之一,储存了超过300pb的数据。这些数据会用于各种应用程序,从传统的批处理,到图像分析、机器学习和实时交互分析。
 
  为了实现大规模交互查询,脸书的工程师设计了Presto,一个使用特定分析优化的定制分布式SQL查询引擎。上千员工在使用这一引擎,这些人每天跨越各种不同的后端数据库,如Hive,HBase,和Scribe,执行超过3万个查询。
\
\
 
  Airbnb爱彼迎
 
  爱彼迎支持超过1亿用户对200万条房屋记录进行查询。另外,爱彼迎可以为用户智能地提供旅行建议,这对其发展是非常重要的。他们的团队建立了一个很棒的博客AirbnbEng,去年他们在博客上介绍了爱彼迎的数据架构。
 
  在我们去年办的一个聚会中,爱彼迎的数据科学部的经理,Elena Grewal说“要建立一个世界级的分析团队”。他提到爱彼迎的数据团队已经超过30人,公司每年付给这些职员的薪水超过500万美元。
\
 
  Pinterest品趣志
 
  品趣志有超过1亿的月活跃用户和超过100亿的月页面访问量。在2015年,他们的数据团队的工程师就超过了250个。他们的架构很大程度上依赖于Apache Kafka、Storm、Hadoop、HBase和Redshift。
 
\
  品趣志的数据架构概览
 
  品趣志的团队不只需要持续记录巨量的客户数据,他们还需要给他们的广告商提供详细的分析结论。Tongbo Huang写过“在品趣志的背后:建立品趣志分析系统”,该文章介绍了他们怎样改进数据分析软件栈以满足上述的需求。下图说明了他们如何运用ApacheKafka、AWSS3、和HBase来实现目标的:
 
\
  Pinterest商务分析系统数据架构
 
\
  Pinterest商务分析系统客户界面
 
  Twitter/Crashlytics
 
  Crashlytics Answers团队建立了用来处理每天百万记的移动设备事件的架构。
 
\
  事件接收器
 
\
  存档
 
\
  批处理
 
\
  运算速度
 
\
  组合视图

 

第三十届CIO班招生
法国布雷斯特商学院硕士班招生
北达软EXIN网络空间与IT安全基础认证培训
北达软EXIN DevOps Professional认证培训
责编:pingxiaoli