BSSAN 超融合存储系统

BSSAN 超融合存储系统

添加时间:2016-08-17 19:35:45

    

   

一、        BSSAN 的技术发展背景

得益于芯片技术的飞速发展X86服务器、网络实现了几十倍的效能提升,SSD技术的成熟极大突破了传统机械磁盘的性能瓶颈,传统机械磁盘实现了近10倍的容量提升;虚拟化技术、分布式技术、对象存储技术、多核调度技术则实现了更为灵活、高效的资源调度,Server SAN的技术与产品应运而生。

     什么是Server SAN? 云计算时代,因为传统的IOE产品(IBM/ORACLE/EMC)无法适应虚拟化与云计算的弹性横向扩展。于是,计算与存储重新统一,出现了软件定义存储 SDS(Software Defined Storage)。著名研究机构Wikibon将其定义为Server SAN。

    Server SAN利用多个服务器的计算和存储能力,结合高性能、低延迟网络,构建分布式的存储系统,针对SSD介质特点进行充分优化,可提供高效的块存储服务和企业级的数据管理功能,并能与云计算、虚拟化等应用系统实现超融合部署。Server SAN具有高性能、高弹性、高可靠、高融合性、高开放性的特点。

    BSSANBJcsa Server SAN)是典型的Server SAN产品,遵循软件定义存储理念,基于高性能X86硬件优化设计。BSSAN采用去中心化的全对等share-nothing架构,融入Scale-out分布式块存储技术,闪存优化技术,超融合技术,安全加固技术,构建高效、可靠、智能、弹性的存储计算平台。

    BSSAN采用Scale-out横向扩展存储架构,可从单节点动态扩展到数千节点,实现EB级的海量存储架构;单节点带宽高达4GB/sIOPS10W,平均访问延迟保持在亚毫秒级。BSSAN支持动态的性能扩展,随着新存储节点的加入,整体性能持续线性增加。

     BSSAN可实现大规模、高可靠、高性能、超融合的存储应用,支持各类高性能存储应用场景,如数据库、虚拟化、云计算等。



               



        BSSAN 的系统设计

    BSSAN遵循SDS软件定义存储的设计理念,充分整合各类 IT硬件能力(CPU、内存、总线、磁盘、网络等),以存储软件的高度优化和硬件资源最大化利用为目标,构建高效,智能、可持续升级的开放型软件定义存储系统。

 

    BSSAN在存储对象管理、系统级存储服务,存储高性能、超融合及智能化、安全加固方面进行了精心设计和深度优化,可实现虚拟化存储管理、并行化存储调度、弹性化存储扩展和融合型存储应用。

   

1、高效智能对象存储系统

BSSAN存储资源组织的核心是分布式存储对象管理,每个磁盘是一个基本的OSD设备,上层存储逻辑会将数据按照固定大小的对象分片写入OSD设备,块存储是基于对象的卷级(Volume)抽象,多个对象组成一个虚拟Volume,通过软件机制,对客户端呈现为一个标准块设备。BSSAN采用了ESOS(弹性化智能对象管理系统)对象管理框架,可高效实现:

智能对象定位

 智能对象布局

智能对象修复

智能对象均衡

智能对象保护

                                               

 

 

1)      智能对象定位

 

ESOS摒弃了传统的元数据查表方式,改用更为高效的一致性Hash算法作为对象定位的策略。在BSSAN中所有的磁盘和节点都被抽象为一种虚拟资源,通过一致性Hash计算映射到一个64位的有限空间中,再按照Hash值由小到大形成有序的Hash Ring。当数据写入时,只需通过同样的Hash算法计算出每个对象的Hash值,就可以快速确定该对象在Hash Ring的分布,进而明确该对象需写入的具体

 

节点和磁盘。当新的集群节点或磁盘加入时,系统只需搬移少量的数据,就可以

快速实现对象的重新平衡分布。一致性Hash算法可支持超大规模对象的查询定位,并且具有良好的单调性、分散性和均衡性。

 

一致性Hash的实现算法可集成在NBD原生客户端中实现,可直接通过NBD原生客户端访问BSSAN存储系统,在应用主机端即可以完成对象的读写定位工作,并且可利用应用主机的多个链路并发访问多个BSSAN集群节点,这种模式具有极高的查询和访问效率。

 

 

2)      智能对象布局

 

ESOS采用虚拟化的对象管理,可将多个存储节点的对象资源组成分布式资源池,并支持自动精简配置的对象分配。ESOS采用了一种高离散、高并发的数据对象分布模式,可保证将数据对象分布到所有磁盘上,从而实现全局的负载均衡。


 

 

ESOS支持2-N个对象副本,为避免多个对象副本Hash到同一个BSSAN节点上,

ESOS设计了智能的副本分区机制,可约束多个对象副本必须写入到不同的存储节点、不同的磁盘中,利用这一机制,还可实现机架感知的分布式对象副本部署,实现更高的冗余度。当集群规模较大,存储节点较多时,ESOS可配置故障域,通过该配置保证只将对象分布到有限的存储节点上,降低系统风险。

 

ESOS采用强数据一致性模型,即所有副本必须时刻保持一致,任意时刻从任意副本读取的都是相同的数据。为达到强数据一致性效果,ESOS采用同步副本模式,即写数据对象时同时并行发出多个写副本请求,所有写请求全部成功才返回成功,其中任意一个副本写入失败则写请求失败。这种副本模式实现简单,可以

实现副本的强数据一致性,读请求可以随机选择任意一个副本,多个副本能够实现读请求的负载均衡。

 

3)      智能对象修复

 

在分布式存储系统中,由于物理或逻辑故障,对象损坏或离线是无法避免的,在存储系统层面,需考虑合理的修复机制加以处理。为了保持强数据一致性,BSSAN提供了多种数据修复机制,包括读写同步修复、事件触发修复和Volume检查修复等机制。在BSSAN中,若某一磁盘发生故障,系统会利用资源池中剩余的空间直接进行故障磁盘中所有对象的修复,无需等待新磁盘加入再做修复,极大提升了修复效率,当发生大量磁盘损坏(如网络故障导致的某个存储节点完全离线)的极端情况时,可能会发生多个对象需要修复的情况,ESOS会自动平衡前端应用I/O和后台对象修复的工作负载,确保前端应用I/O不中断。管理员也可根据业务实际手工控制对象修复的时间和资源占用。对象的修复过程并发产生在多块磁盘上,因此修复的速度比传统RAID重建快10倍以上。

 

4)      智能对象均衡

 

弹性扩展是分布式存储系统设计的基本原则,在BSSAN中,可以在线增加或减少集群节点。以增加集群节点为例,新增的磁盘会在逻辑上表现为新增了多个OSD设备,ESOS会自动感知到系统增加了新OSD设备,默认会在集群内部触发一个对象动态均衡的作业,按照最新的OSD分布状况,将原有数据对象均衡分布到所有OSD上,实现集群中现有数据的重新平衡分布。对象均衡操作对应用透明,当业务系统访问某个对象时,会暂停该对象的移动,直到访问结束再重新启动迁移作业,最终实现均衡化和最优化的对象分布,实现数据访问更大范围的并发度。

 

5)      智能对象保护

 

ESOS支持多种对象保护机制,包括副本,纠删码,校验,智能修复。ESOS支持2-N个数据副本,并且支持灵活的副本配置,可针对每个Volume单独设置副本策略,副本策略可根据Volume实际使用情况在线动态调整;对于不活跃的冷数据,可采用纠删码实现容量损耗和容错能力更为均衡的保护效果。在下一版本的

 

 

BSSAN中,ESOS将实现根据Volume访问热度,自动进行副本卷和纠删卷的在线转换功能;BSSAN采用强数据一致性模型,BSSAN提供了多种数据修复机制,包括读写同步修复、事件触发修复和Volume检查修复等机制;对于数据块的静默损坏(silent data corruption),ESOS采用Checksum机制,定期扫描、比对校验值,如有数据块错误,则自动修复。

2、系统级存储服务

BSSAN支持完善的企业级存储功能,包括存储虚拟化、自动精简配置、快照、克隆、去重、压缩、灾备、QoS、多租户等,可实现完整的存储系统服务。BSSAN

用高效的ROW快照和链接克隆机制,其核心是内存级指针复制技术,速度非常

快,可实现毫秒级的卷快照和回滚,高效支持虚拟化、云计算业务中的模板克隆、

虚拟机批量创建等应用场景。

 

BSSAN是一套高度灵活的软件定义存储系统,对于期望实现存储整合,数据可靠性要求不高的应用,BSSAN可以利用存储虚拟化功能,直接继承和利用RAID卡或外置DAS存储的数据保护能力。

3、面向高IOPS和低延迟的高性能设计

数据库、虚拟化等高性能业务场景要求高IOPS,低latency,对于传统存储,同时实现这两点面临极大的挑战;对于分布式存储,需要尽量降低数据的跨节点交换,避免网络延时。BSSAN面向高性能应用场景,在缓存管理、SSD性能最大化利用、编程模型及系统配置方面进行了深度设计和优化。

 

1)      全局化的缓存管理

 

BSSAN采用了全局化的缓存管理设计思路,将RAMNVDIMMSSD在逻辑上虚拟为整体的Big Cache池,并充分考虑闪存、NVDIMM等高性能介质的特点,深入优化,保证数据访问的本地优先和缓存优先,实现极致的高性能。

 

  QLog

QLogBSSAN中写优化的重要机制。其核心原理是将来自RAM的随机I/O高速顺序写入NVDIMMPCI-ESSD组成的Log区中,由于这两类介质都是非易失性高速存储,不存在掉电数据丢失的风险,当数据写入Log区域时,BSSAN会立即给应用系统写入完成的反馈,并开始准备接受下一个I/O,多个I/OLog区中进行合并、重组,最终以最佳的I/O尺寸写入到HDD中。由于将随机写转变成了顺序写,将IOPS问题转换成了带宽问题,吞吐和并发性能实现了数十倍的提升。出于安全性考虑,每个BSSAN节点的QLog会通过网络同步写入到另外两个BSSAN节点。

 

  读写分离

BSSAN采用了读写分离的I/O路径控制,即NVDIMMPCIe SSD只用于QLog,实现写加速,SAS/SATA SSD作为Cache使用时只用于热点数据的智能读缓存,这种设计模式的优势是简单,高效,能够快速响应读写请求。

 

  缓存分区

BSSAN可实现VolumeCache的绑定,保证特定Volume具有稳定的高性能,缓存分区也是实现整体QoS的基础技术手段之一。

 

  热缓存自动同步

某些应用会频繁调用同一数据,如云计算中的虚拟化模板,数据库中热表等,热缓存自动机制可监控数据对象的访问次数和频度,达到一定阈值时,会自动将数据对象同步至其他存储节点的缓存中去,实现内存级的高速读取。


 

 

2)      面向SSD的优化设计

 

BSSANSSD的部署和使用作为常态考虑,因此针对SSD的特性进行优化设计。

  基于SSD的自动分层

BSSAN中,BSSAN可配置为分层模式和缓存模式两种工作状态。在分层模式中,SSD可转储QLog刷新下来的数据,并根据分层策略动态迁移数据至HDD。这种I/O模型保证了写数据始终先进入高速的SSD层,保障了存储系统整体的写性能。

 

  最优化SSD性能利用率

传统FC-SAN也可配置SSD,但受限制于系统结构、固件算法、I/O路径设计,SSD性能发挥不超过15%,在BSSAN中,采用最简化的对象-Volume层次模型,消除了复杂的LUN管理,并对I/O调度相关的进程、线程、协议栈、内核参数进行充分优化,结合一致性Hash的高速对象定位机制,可将SSD的性能发挥到70%

 

  压缩和去重

BSSAN支持对象级的压缩和去重机制,可有效降低实际存储数据量,延缓SSD的寿命老化问题,提升整个系统的可靠性和可用性。

 

  全闪存支持

BSSAN支持全SSD配置,在此配置中,数据全部持久化在SSD磁盘上,不需要和HDD磁盘进行数据交换,可实现数十倍于SSD+HDD混合配置的性能;BSSAN通过智能存储软件对SSD进行全局的调度控制,如延迟及合并写SSD、智能优选均衡或反均衡磨损算法、Trim管理、智能GC等,实现闪存介质的性能、寿命、持久力的深度优化。

 

3)      系统级优化

 

BSSAN采用了多项系统级的全局优化机制,保证在系统设计层面的高效率。

²  异步处理模型,采用读写分离异步I/O机制;

²  采用全并发访问的客户端-服务端访问模型,充分发挥多链路和多节点并发处理的性能优势;

²  采用Polling机制保障实时性;

²  采用线程池保证高并发性,限制资源过度消耗;

²  线程池和任务动态绑定,多核CPU资源最大化利用;

²  处理线程及中断绑定到具体CPU核心,保障高效率和低延迟;

²  采用NamespaceCgroup机制进行资源的隔离和绑定。

4、超融合应用架构,智能化存储

BSSAN是基于X86硬件的软件定义存储系统,采用开放式设计,支持超融合部署模式,在该部署方式中,BSSAN可实现存储和计算资源的逻辑隔离,保障存储应用和计算应用之间分别拥有独享的资源,避免资源争用。

BSSAN支持虚拟机化部署,可将BSSAN软件以虚拟机的形式直接部署在虚拟化或云

架构中。虚拟化的BSSAN存储可以作为一个特殊的虚拟化应用,借助虚拟化Hypervisor及管理工具,实现HAFTDRS等高级容错或负载优化功能。针对KVMOpenStack环境,BSSAN可以实现智能化的存储应用。

²  高效接口:虚拟化应用可直接通过VM专用接口或NBD协议调用存储资源,具有最高的I/O效率;

²  智能offload:虚拟机的快照、克隆、清零等工作可通过指令offloadBSSAN存储系统,以数十倍的效率快速完成;

²  本地优先策略:虚拟机的数据访问优先在超融合节点内部完成,节点内部无所需数据,则从网络读取其他节点的数据;

²  QoS:可设定存储容量、性能(带宽、IOPS、延时)的使用限额,保障虚拟化和云计算应用中的资源按需分配和SLA服务等级;

²  多租户隔离:可实现存储的逻辑分区,完成以用户为单位的存储资源分配和隔离;

²  策略驱动的存储管理:针对每个虚拟机单独设定副本策略、QoS策略、快照策略等。

5、安全加固存储

军工、军队、政府等行业客户安全等级要求严格,数据敏感度较高,要求存储系统能够提供安全的配置管理和数据访问,BSSAN融入多种安全技术元素,实现存储的安全加固。

²  存储OS安全加固:增强的用户及密码管理、远程访问控制、配置策略管理、内核安全参数设置等;

²  数据加密:支持国密SM4算法,实现数据的加密访问,也可以和第三方加密算法进行集成应用;

²  组合权限管理:支持系统管理员、安全保密管理员和安全审计员的用户分立设计,不同用户对应不同的系统资源视图和操作权限;

²  增强型访问控制:基于角色和认证的集中化访问控制,类似AD认证,通过认证的用户才能获得后续的操作权限;

²  操作行为审计:可对用户的所有操作进行详细的记录,包括操作人、时间、事件、结果,以便追溯和查验;

²  数据自动销毁:提供一键销毁功能,可实现数据的逻辑层销毁。


        BSSAN 的产品亮点

1、企业级数据服务

BSSAN遵循软件定义存储的设计理念,充分利用各类高性能硬件资源,构建高效

的分布式块存储架构,可通过高性能的VM专用接口,NBD接口和iSCSI接口供业务主机访问,可完整支持虚拟化、云计算、数据库等各类企业级应用。BSSAN具备丰富的企业级数据服务功能。

²  高效的容量优化:自动精简配置、去重、压缩功能,使得数据减少10-50倍;

²  零开销的快照和克隆:业务数据即时备份和恢复,无需外部备份设备;

²  数据保护:多副本、纠删码,保证业务数据的高可用性;

²  自动分层:可将数据分层保存于SSD和HDD硬盘,以最优的成本结构提供最佳的容量和性能;

²  SLA保障:面向服务的QoS保障机制;

²  安全存储:数据加密、多租户设计、权限及访问控制增强

2、弹性化存储管理

灵活性和弹性是BSSAN重要的特性之一,BSSAN在部署、配置、扩容、管理方面均有充分的弹性考虑,包括:

²  采用完全横向的扩展模式,可实现真正不停机的动态扩容,按需配置,随需扩展;

²  非对称扩容,扩容节点与原有存储节点可采用不同的硬件配置,以便新旧硬件共同组建更大规模的集群,既实现投资保护,又能充分各类资源的效能;

²  对于不同的Volume,可以按照性能和容量的整体需求,平衡考虑,配置不同的副本策略,并且随着业务的变更,Volume的副本策略也可以在线变更;

²  每个Volume可单独设置QoS策略,包括容量、性能(IOPS、带宽、延时),以便面向不同的应用场景单独设置SLA。

3、业务连续性

BSSAN设计了一系列自动化机制保障系统的可扩展型、可靠性、可用性,最终保证资源的持续交付和业务连续性。

²  自动化的资源扩展,可在线增加或减少存储节点或磁盘,无需任何停机时间;

²  自动化的负载均衡,系统自动完成数据的重新平衡分布,实现最优化的资源布局;

²  自动化的数据修复,完善的副本或纠删码修复机制,多种机制触发对象的修复,修复过程不中断前端业务访问,对于数据静默错误采用Checksum机制自动修复;

 

²  自动化的容错实现,分布式系统先天支持多节点多活,无需增加任何第三方容错或双活网关;

²  客户端自动重连及并发多路径;

²  支持VM的热迁移、维护模式等操作,实现虚拟机层面的负载均衡。

4、高性能

基于Scale-out分布式块存储架构,BSSAN可实现高达数千节点的存储集群,每个业务主机可并发访问所有的存储节点,发挥最佳的并行化性能,存储集群内部的存储对象管理同样采用并行化的分布和调度技术,通过双层的并行化机制保障了集群的规模优势得到最大的发挥,实现了大规模、高带宽、高IOPS、低延时的高效存储;BSSAN融入了对象化的存储资源管理、基于Hash算法的对象快速检索、深度路径优化、全局缓存优化、自动负载均衡、动态QoS保障等多种性能优化机制,可构建一个高带宽、高并发、低延时的高效存储平台。

5、TCO成本

BSSAN采用了Scale-out的分布式存储架构,可从1个节点起步,并按性能和容量按需动态扩展,有效降低了用户的TCO成本。基于软件定义存储的设计理念,BSSAN可整合用户既有的各类硬件资源,实现最大的投资保护,其灵活的超融合部署模式可极大降低用户在采购、部署、运维、能耗等多方面的综合成本。

 

        BSSAN 的典型应用场景

BSSAN采用弹性的分布式存储架构,具备完整的存储服务功能、出色的可靠性及可用性、卓越的存储性能和灵活的超融合能力,能够轻松应对各类高性能工作负载,包括数据库、虚拟化等。

1.      数据库应用

    应用需求

 

IOPS、低延时

以在企业IT系统广泛使用的Oracle RAC数据库为例,其常用的Block Size4K-8K,读写比例通常为75%/25%,要求存储系统在这一I/O模型下,能够提供一致的高性能IOPS和亚毫秒级的低延时。

 

存储高可用

Oracle数据库承载企业的核心业务和核心数据,需提供持续的服务能力,对存储

系统可靠性和数据可用性提出了极高的要求。存储系统应提供系统级的容错能力,以防止各类部件、磁盘、节点的故障,同时具有完善的数据副本和数据自修复能力,能够快速隔离和修复故障。

 

不停机的容量和性能扩展

业务增长或新业务上线要求Oracle数据库系统能够灵活的扩展容量和性能,并

 

 

要求降低或消除对现有业务服务的影响,实现极短时间停机或0停机。


    

2.      虚拟化应用

1)      应用需求

 

虚拟化应用广泛存在于各类VSIVDI、云计算场景中,其主要应用需求为:

动态工作负载,不断变化的容量和性能需求。

企业采用虚拟化的出发点主要是提高资源利用率,适应动态变化的业务需求,并通过灵活的IT能力加以适应因此,在虚拟化应用场景中,存储需求存在明显的动态变更特点,每个新业务虚拟机的创建,都对应着存储容量和性能的增加。批量化的虚拟机创建、VDI启动或病毒扫描等操作,则对存储系统提出了极高的并发IOPS需求。

 

存储高可用

虚拟化应用实现资源的集中化管理和统一分配,极大的提升了资源效率。资源的集中化对系统级可用性提出了更高的要求,存储系统应提供完备的容错能力,以防止各类部件、磁盘、节点的故障,同时具有完善的数据副本和数据自修复能力,能够快速隔离和修复故障。

 

不停机的容量和性能扩展

在虚拟化应用场景中,创建新虚拟工作负载是常态,随着需要创建的虚拟机和虚拟桌面数量不端增加,存储系统需动态扩容以适应激增的容量和性能需求。原有的虚拟化工作负载类型众多,服务于多个应用,要求持续服务,因此要求存储系

统实现不停机扩容。

 

 高效的快照机制

虚拟化应用中的虚拟机创建,备份克隆等操作依赖快照机制实现,要求存储系统能够提供高效的快照实现能力,如连续快照,多卷并发快照等。

 

QoS、租户管理

在虚拟化应用场景中,基于物理集中的资源池,实现面向服务的资源预留、保障、隔离是非常必要的功能,要求存储系统实现存储级的QoS和多租户管理。


 

  超融合部署

提高效率、降低成本和进一步简化基础设施,实现有效的空间和能耗节约是现代数据中心的重要需求,计算和存储超融合已经成为虚拟化、云计算架构中首选的部署形态。存储系统需在提供高性能数据处理的基础上,支持应用的超融合部署,以实现数据中心效率和成本的整体优化。

 

2)      BSSAN部署模式

拓扑及说明

                                               

采用超融合的部署模式,每个BSSAN存储节点同时也是计算节点,节点内部通过Qemu接口实现高效的I/O数据访问。在BSSAN中可配置PCI-E FlashSSDSATA HDD实现存储自动分层部署。BSSAN支持高效的ROW快照机制,可支持无限数量的并发快照,非常适合虚拟化场景中的快照管理需求。

 

部署优势

Ø  高效的分布式块存储和超融合架构,实现高并发和低延迟的存储I/O

Ø  分布式存储、多数据副本,智能的数据修复机制,极高的系统级可用性;

Ø  弹性的存储扩容,可不停机增加存储节点,实现性能和容量的二维扩展;

Ø  ROW快照及克隆机制,高效支持虚拟机的创建和备份;

Ø  内嵌的数据压缩和去重功能,实现虚拟机镜像的精简和去冗管理;

Ø  存储智能化:支持QoS、多租户功能,满足业务SLA需求。






 



     







上一个:分布式共享存储文件系统

本网站由阿里云提供云计算及安全服务