阿里云瞄准开源冷存储引擎
阿里云瞄准开源冷存储引擎
2015-12-23 14:45:39 来源：TechTarget中国
抢沙发
2015-12-23 14:45:39 来源：TechTarget中国
摘要：全球最大的在线企业的数据存储选择兴趣点，恐怕都是挑战更低的IT成本极限。上周Vault Linux Storage and Filesystems会议上，我们看到了阿里巴巴集团控股的开源冷存储引擎Lambert。
关键词：
阿里云
全球最大的在线企业的数据存储选择兴趣点，恐怕都是挑战更低的IT成本极限。上周Vault Linux Storage and Filesystems会议上，我们看到了阿里巴巴集团控股的开源冷存储引擎Lambert。
Lambert是一种持久且低成本的存储，采用开源Sheepdog分布式对象存储系统开发，低速硬盘和低功耗的商用服务器可以扩展成处理那些极少访问的艾字节数据。
中国电子商务巨人阿里巴巴去年九月份以250亿美元在美国上市（IPO），其企业业务包括类似eBay的淘宝、天猫购物网站，阿里巴巴B2B业务，在线支付业务支付宝以及阿里云云服务。
阿里巴巴基础架构服务（AIS）存储工程师负责人Coly Li表示，阿里巴巴将用Lambert（以世界最大的冰川命名）作为阿里云（AliCloud）公有冷数据存储服务的基础技术。
谈及Lambert同亚马逊Glacier的对比，Coly Li介绍，他并不知道其成本是否比较便宜。他只知道Lambert的每GB成本“非常便宜”。亚马逊的存储广告价格为每GB每月一美分，额外的费用根据数据上载量、检索和传输来计算。
Sheepdog是Lambert的关键组成部分。像许多对象存储系统一样，Sheepdog可以运行在商业硬件上，并扩展成无数结点。软件管理结点和硬盘，线性聚合容量和性能，而且支持容量管理特性，比如快照、复制和自动精简配置。
Coly Li表示AIS团队从零开始设计Lambert，用来存储艾字节数据，预计未来两到三年时间数据会加速增长。Lambert目前在小范围上运行，他说十一月会投入生产。Coly Li解释道：“我们无法承受数据丢失，因此我们需要很长的时间将所有的冷数据从现有的存储系统迁移到Lambert，逐步实现，确保我们的数据高度持久。”
AIS团队开始设计Lambert硬件时，高度持久性、低成本和灵活性的是最优先考虑的。问题在于要让数据多年来能够稳定可靠的使用且还要一种价格便宜的存储介质。很明显的一种存储介质选择就是磁带，但是Coly Li解释道他的团队发现使用磁带自动机器，有时候在很小的空间里，却非常费钱。
阿里巴巴在中国的一个挑战就是数据中心。Coly Li表示必须租赁第三方的数据中心，根据地区和网站，电力供应、制冷和机架容量变化多样。Li说：“我们没法要求他们追随我们的唯一标准，因为基础架构就摆在那里。”
阿里巴巴考虑采用Facebook的方法是用蓝光碟进行冷存储。Li表示他的团队目前也没有证据证明蓝光碟会符合低成本和耐久性的需求。他说阿里巴巴列出了很多蓝光厂商，在这一点上也没有太大的改进。
因此AIS团队决定用便宜且低性能的HDD。阿里巴巴的硬件设计基于存储服务器Scorpio数据中心标准项目的一部分，需要18台3.5英寸的4TB或者8TB HDD，放在1U的服务器上，32个1U服务器放在单独的机架上。服务器采用英特尔Atom处理器，系统采用10GB的以太网。
Li表示他的团队希望尽快让系统上线，决定不构建大型的集群，相反AIS设计了四个“Scorpio”硬件机架的部署单元，通过软件定义、分布式子集群实现，可以在单元中跨越每一个机架。Li表示部署单元的规模可以扩展到更多的机架以及子集群，主要取决于数据中心的空间，但是关注的焦点仍旧是单独的子集群的质量。
“如果这种实施是正确的，大部分时间而言，简单意味着可靠和高性能，”他说道。
Li还表示前端的系统以各种形式收集数据，包括压缩的和加密的，从内部网络和公有源中收集，同时将这些数据传输到大型的对象中在Lambert中进行存储。Lambert中的平均对象规格目前是100GB，但是Li表示AIS团队将会按需改变规模。目前Sheepdog对象存储系统的数据对象规模最大为16PB。
一个数据对象存储在一个单一的具体的软件定义子集群中。当子集群填满了，传输一个密封状态，硬盘就会断电，内存和CPU进入空闲模式，以极低的功耗运作。数据对象随后进入下一个可用的软件定义子集群。
Li表示每一个封闭的子集群包含足够的空间，可以接受大约10%或者15%的硬盘失败。该团队只有在没有空间恢复时才会变更硬盘。
大规模部署中，Lambert系统由许多封闭的服务器组成，工作中的服务器存储数据，闲置服务器用来存储。活跃服务器的群组是最小的。只有一小部分子集群在任何时间都是工作状态。
阿里巴巴之所以选择开源项目Sheepdog是因为其建议性，AIS的冷数据存储首席软件工程师Robin Dong说道。Dong表示Sheepdog只有35,000行代码，阿里巴巴不需要文件系统或者POSIX接口，而且只关注系统层的分布式块存储。
第三十五届CIO班招生
国际CIO认证培训
首席数据官（CDO）认证培训
责编：pingxiaoli
免责声明：本网站（http://www.ciotimes.com/）内容主要来自原创、合作媒体供稿和第三方投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。
本网站刊载的所有内容（包括但不仅限文字、图片、LOGO、音频、视频、软件、程序等）版权归原作者所有。任何单位或个人认为本网站中的内容可能涉嫌侵犯其知识产权或存在不实内容时，请及时通知本站，予以删除。
