开源技术在视频平台海量存储系统中的应用

2015-11-18 16:50:41 来源：互联网抢沙发

2015-11-18 16:50:41 来源：互联网

摘要：11月，秋天的尾巴早已带走夏天的炎热，开源中国迎来来了osc源创会广州站。开源中国一如既往秉承着“自由，开放，分享“的思想。
关键词：开源

　　11月，秋天的尾巴早已带走夏天的炎热，开源中国迎来来了osc源创会广州站。开源中国一如既往秉承着“自由，开放，分享“的思想，诚邀各位oscer前来参与欢聚。同时，开源中国还精心准备了精彩的主题分享。

　　这一次，我们有幸的请来了来自保利威视的工程师，现任POLYV在线视频云平台研发总监，前网易资深高级程序员，主要负责在线视频云平台的架构设计、核心系统的实现以及相关技术的攻关。此次，欧总监为我们分享--开源技术在视频平台海量存储系统中的应用。

　　欧总监首先为我们介绍了保利威视平台的现状，保利威视（以下简称POLYV）是专注于在线教育的视频云平台，为在线教育培训机构提供视频上传、存储、转码、管理、内容版权保护、多终端播放、数据统计与分析等”一站式“服务。现在服务的客户机构超过13000家、视频存储总量超过了1100TB、日均上传量大约为16000个，平均每天上传的量大约为4TB，是国内视频平台海量存储系统中的佼佼者。

　　面对如此大的数据存储，POLYV是如何进行优化处理，保证视频服务的快速、稳定访问的呢？欧总监首先为我们列举了开源的分布式系统，例如：HDFS、Ceph、MooseFS、FastDFS等，其中，重点介绍了FastDFS和MooseFS两个系统，也是现阶段POLYV主要在用的两套系统。

　　FastDFS系统是一款开源的轻量级分布式文件系统，没有FUSE，只能通过专有的API对文件进行访问，FastDFS提供了两种服务端角色：跟踪器（Tracker）和存储节点（Storage）。Tracker主要做调度工作，在访问上起负载均衡的作用。Storage存储文件，提供文件管理的所有功能：存储、同步和提供存取接口。

　　另一个文件系统是MooseFS，它是一个具有高容错性的分布式文件系统，它可以把文件以块的形式分布存储在多台物理机器上，对外提供一个机遇POSIX的访问接口，值得注意的是客户端实现了FUSE，就可以对文件的操作像在Linux文件系统中操作一样，非常方便。Moose支持自定义存储文件的目录结构、存储容量动态拓容和类似于“回收站”的删除文件功能。

　　POLYV视频平台在大文件上的上传、转码、封装、管理使用了MooseFS系统，主要是利用其类似的通用文件系统的通性，而在关键帧的获取和切片文件则利用轻量级的FastDFS系统。结合两个系统的特性实现了保利威视视频平台的稳定和快速访问。当然，结合和利用各种开源系统能更好的为我们提供更好的技术和服务，开源中国一直不遗余力地推动国内开源软件的应用和发展，为本土开源能力的提高、开源生态环境的优化提供长期推进的平台。开源改变中国。

第三十六届CIO班招生
国际CIO认证培训
首席数据官（CDO）认证培训

责编：fanwei

免责声明：本网站（http://www.ciotimes.com/）内容主要来自原创、合作媒体供稿和第三方投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。
本网站刊载的所有内容（包括但不仅限文字、图片、LOGO、音频、视频、软件、程序等）版权归原作者所有。任何单位或个人认为本网站中的内容可能涉嫌侵犯其知识产权或存在不实内容时，请及时通知本站，予以删除。