新闻中心

NEWS

SurFS™云存储技术

书生云2016-03-25

浏览:0

采用颠覆性架构将I/O传输路径压缩到极致,用降低成本的方法大幅提升云平台性能,秒杀Ceph/Gluster/Hadoop

SurFS技术颠覆式云存储技术惊艳问世

平台性能影响最大的部件是存储系统。书生自主研发的SurFS分布式存储系统率先采用下一代云存储技术架构,荣获美国《云计算》杂志评选的“云存储卓越奖”,以及美国《CIO Story》评选的"全球二十强云公司",是“中国智造”在国际IT前沿领域取得的重大突破。

 

基于TCP/IP”的分布式系统

分布式系统是现代互联网、云计算的主流架构。世界上的分布式系统分为两类,一类是书生云的,另一类是其它的,差别就在于“去TCP/IP”。

 

现有分布式系统存在的瓶颈

   现有的主流分布式系统(如下图1所示)是以太网和TCP/IP协议来连接各服务器的,由于TCP/IP协议是30多年前设计的,已经不适应几十年来经历摩尔定律现代高性能设备以太网协议二层不能保证数据包不丢包,可靠性需要靠低效的TCP(三次握手、四次关闭)来保证,不管是建立连接还是确认机制、重传机制、拥塞控制机制等都会消耗大量的时间。而且历经30多年打了很多补丁,性能低下,延时常常达到毫秒级,成为系统的性能瓶颈。

有些高端系统基于InfiniBand连接,但不管是软件上还是硬件上都缺乏足够规模的生态,不仅成本高昂,而且在功能上和软件应用上都难以跟主流基于TCP/IP的分布式系统相比。

图片1.png 

1:现有的主流分布式系统

新一代基于内部总线连接的分布式系统

为了打破TCP/IP的性能瓶颈,书生云发明了基于SAS等内部总线连接分布式系统(如下图2所示)大大提升了系统性能。

SAS同样具备二层和三层协议,有SAS域,有SAS交换芯片,可以组网。与传统以太网和TCP/IP相比,SAS带宽高、延时低即传输速度快,与InfiniBand一样二层不丢包,而且协议简单,在功耗、开销等方面都具备很多优势。SAS的延时是微秒级,每一跳只增加几百纳秒的延时。

更重要的是,SAS生态规模大(凡是有硬盘的地方都有SAS),足以与以太网抗衡,不管是接口卡还是交换芯片都成熟廉价。

不仅性能出众,价格低廉,SAS也有可以热拔插的外部连接器,从而满足分布式系统所需要的随时增加或移除一个节点的要求。

经书生云多年实践验证,基于SAS存储网络的分布式存储系统性能高、成本低,而且成熟可靠。

图片2.png 

2:书生云基于SAS存储网络的分布式存储系统

  

高性价比的分布式共享存储系统——SurFS

SurFS分布式共享存储系统是基于不断发展的分布式存储系统的一大技术创新,具有成本低、密度高、I/O路径短、耗电省、瞬间再平衡等显著优点。

SurFS分布式共享存储系统基于SAS存储网络实现后端存储池共享,每一个存储控制节点都可以直接读取所有的盘,不需要依赖其它存储控制节点,存储控制节点和存储池都可以分别横向扩展,通过冗余链路设计消除单点故障。

传统的分布式系统,因为服务器存在单点故障的问题,不能将数据放在同一台服务器上,需要通过多副本方式将数据放在多台服务器上来解决单点故障的问题,数据冗余率通常是300%。SurFS分布式共享存储系统不存在这个问题,可以采用RAID/EC码来保证数据可靠性,在相同的数据可靠性下,冗余率降低到150%以下,无论是建设成本、占用空间还是耗电都大幅度下降,具有明显的成本优势。

 

核心优势:性能低成本

书生的SurFS分布式存储技术,颠覆了分布式存储系统的基础架构,突破了传统架构的局限,具备如下特点:

超大带宽,高达48G,比主流千兆网几十倍;

超低延时,比现有以太网延时低几十倍

超短数据路径,从计算节点到存储介质的数据路径非常接近于读写本地硬盘的路径

超低购置成本(CapEx),新型存储网络成本仅与千兆网相当,压缩数据路径时还砍掉了中间多余的设备使得总体成本逼近于硬盘成本

超低运维费用(OpEx),一个半机柜就能部署3PB以上可用空间的存储系统,机柜费用和耗电费用都大幅降低

个基于全局存储池的分布式存储系统,在系统架构上具有先天优势

兼具高性能和高可靠性成倍提升性能的同时还具有99.999999999%的可靠性

提供块存储、NAS存储和对象存储服务,可直接与OpenStack集成

 

产品价值:价值出众,随心所用

在同样配置下,SurFS性能远超当前主流HDFS/Ceph/GFS等分布式存储系统,使云平台综合性能提升50%

在同样采购规模下,SurFS使购置成本降低20%,运维费用降低50%。


SurFS

Gluster FS

对比

4K随机读

30MB/s

6.5MB/s

461%

4K随机写

32.9MB/s

2.1MB/s

1565%

64K顺序读

364MB/s

38MB/s

957%

64K顺序写

323MB/s

33MB/s

977%

磁盘数

9

18

200%

备注:对比数据来源于OpenStack官方网站http://www.openstack.cn/wp-content/uploads/2014/07/XinLiXun-GlusterFS-VS-Ceph-v3.pdf

SurFS数据系采用相同配置自行测试,唯一差别是用EC码使得仅用一半的磁盘就获得同样的可靠度,代价是更高的计算复杂度影响性能,同时磁盘越少对性能也越不利。尽管如此性能上依然有压倒性优势

 

 

合作案例:  捷足先登,占得先机

目前基于创新的安全及SurFS存储技术,书生云已帮助东风汽车、中青宝等一批大中型企业搭建了私有云架构和整体解决方案,通过开源SurFS,书生云将获得进军全球市场的机会目标是成为全球云平台建设中的主要服务商之一。


返回顶部