首页 > IT业界 > 正文

开源技术在视频平台海量存储系统中的应用

2015-11-18 16:50:41  来源:互联网

摘要:11月,秋天的尾巴早已带走夏天的炎热,开源中国迎来来了osc源创会广州站。开源中国一如既往秉承着“自由,开放,分享“的思想。
关键词: 开源
  11月,秋天的尾巴早已带走夏天的炎热,开源中国迎来来了osc源创会广州站。开源中国一如既往秉承着“自由,开放,分享“的思想,诚邀各位oscer前来参与欢聚。 同时,开源中国还精心准备了精彩的主题分享。
 
  这一次,我们有幸的请来了来自保利威视的工程师,现任POLYV在线视频云平台研发总监,前网易资深高级程序员,主要负责在线视频云平台的架构设计、核心系统的实现以及相关技术的攻关。此次,欧总监为我们分享--开源技术在视频平台海量存储系统中的应用。
\
  欧总监首先为我们介绍了保利威视平台的现状,保利威视(以下简称POLYV)是专注于在线教育的视频云平台,为在线教育培训机构提供视频上传、存储、转码、管理、内容版权保护、多终端播放、数据统计与分析等”一站式“服务。现在服务的客户机构超过13000家、视频存储总量超过了1100TB、日均上传量大约为16000个,平均每天上传的量大约为4TB,是国内视频平台海量存储系统中的佼佼者。
 
  面对如此大的数据存储,POLYV是如何进行优化处理,保证视频服务的快速、稳定访问的呢?欧总监首先为我们列举了开源的分布式系统,例如:HDFS、Ceph、MooseFS、FastDFS等,其中,重点介绍了FastDFS和MooseFS两个系统,也是现阶段POLYV主要在用的两套系统。
 
  FastDFS系统是一款开源的轻量级分布式文件系统,没有FUSE,只能通过专有的API对文件进行访问,FastDFS提供了两种服务端角色:跟踪器(Tracker)和存储节点(Storage)。Tracker主要做调度工作,在访问上起负载均衡的作用。Storage存储文件,提供文件管理的所有功能:存储、同步和提供存取接口。
\
  另一个文件系统是MooseFS,它是一个具有高容错性的分布式文件系统,它可以把文件以块的形式分布存储在多台物理机器上,对外提供一个机遇POSIX的访问接口,值得注意的是客户端实现了FUSE,就可以对文件的操作像在Linux文件系统中操作一样,非常方便。Moose支持自定义存储文件的目录结构、存储容量动态拓容和类似于“回收站”的删除文件功能。
 
  POLYV视频平台在大文件上的上传、转码、封装、管理使用了MooseFS系统,主要是利用其类似的通用文件系统的通性 ,而在关键帧的获取和切片文件则利用轻量级的FastDFS系统。结合两个系统的特性实现了保利威视视频平台的稳定和快速访问。当然,结合和利用各种开源系统能更好的为我们提供更好的技术和服务,开源中国一直不遗余力地推动国内开源软件的应用和发展,为本土开源能力的提高、开源生态环境的优化提供长期推进的平台。开源改变中国。

第三十届CIO班招生
法国布雷斯特商学院硕士班招生
北达软EXIN网络空间与IT安全基础认证培训
北达软EXIN DevOps Professional认证培训
责编:fanwei