GS-7200云存储用于海量数据集中式存储

需求分析

1、项目背景

随着科技的发展,信息系统正在从以计算为核心转向以数据为核心,海量存储将成为国家信息化的核心组成部分。目前,信息资源呈几何级数的速度增长,涉及的不仅包括文本、图像,还有语音、视频等多媒体信息。因此,众多部门和单位都开始部署自己的数据中心,实现海量数据的集中式存储、分析和共享。

特别是如今倡导的“智慧城市”、“平安城市”的提出,数据中心的建设日益迫切,在安防领域存在着大量的卡口相机、高清视频监控探头等,必然导致大量的视频、图像需要存储,云存储技术非常适合海量信息的存储,因此能为信息中心提供很方便的解决方案,实现数据的集中式存储和共享。

2、 项目挑战

2.1数据量大

视频监控系统一般具有摄像头数量多,视频图像存储时间长,因此存储容量需求很大,随着视频图像存储时间的增加,存储容量需求呈线性、爆炸式的增长。因此视频监控系统存储必须支持大容量,且容量具有高可扩展性,满足长时间大容量视频图像存储的需求。

2.2长时间稳定可靠要求

由于摄像头一般都是7 × 24小时工作的,即使流媒体文件采用分段保存的方式,写入操作的持续时间也有可能长达多个个小时,而且,后期回放要保证一天24小时提供服务。数据读写操作的持续时间长。另外,对于安全性要求很高的数据,要防止出现异常情况,及时的实现数据容错备灾。同时,自动的进行设备的故障检测,防范突发情况发生。因此,要求存储系统具有超强的长时间工作能力,保证长期稳定可靠的要求。

2.3高集成度要求

在项目中,目前数据中心要实现总容量400T的要求,并且为方便以后扩展,要预留几个机架。需要在3个标准42U机架内包含主控节点、备用主控节点、分布存储节点,集成度高。

2.4易于使用和维护要求

要求使用者无需学习即可使用,不需经过专业培训和专门人员来维护。同时要求提供对存储系统的网络管理,操作简便。

2.5动态扩展要求

由于监控数据的增长很快,且带有一定的不确定性,所以对于视频监控系统来说,扩展性是很重要的方面。该项目数据庞大,要求在可以在不停止服务的情况下,根据项目进展情况,动态加入新的存储节点或者摘除原存储节点,在此过程中保证数据不丢失。

解决方案

3.1存储系统设计方案

n 结构设计

存储系统采用主备2个元数据服务器和19个存储节点构成,使用3U×6、2U×13标准上架机器,安装在3个标准42U机柜内。整个系统的结构如下图所示:

 

图1-1  GS-7200存储系统结构

双管理节点即主元数据服务器节点和备份元数据服务器节点,支持主备双机热切换。元数据管理节点负责管理GS-7200云存储系统的卷,存储各文件的元数据信息,调度各数据存储服务器。

每个3U的存储节点包含16块2T硬盘,每个2U的存储节点包含8块2T的硬盘,总容量共计6×32 + 13×16=400T。

n 可靠性设计

在GS-7200云存储系统中采用了下面两种可靠性保障机制,保证数据的安全可靠。

1)冗余备份

在该项目中GS-7200采取的容错机制是通过1:1的冗余备份的方式实现云存储系统的可靠保证。备份因子可以根据服务的可靠性需求做动态的调整。服务启动后,自动为每个数据块做了一个备份副本。系统自动将源文件与副本存在不同的存储节点,实现了冗余备份。对于每一个Storage,必须将所有的副本全部写入成功,才视为成功写入。在其后的过程中,如果相关的副本出现丢失或不可恢复等状况,Master Server会自动将副本复制到其他Storage Server上,从而满足高度可靠的需求。

2)分级动态存储方式

GS-7200存储系统,采用了分级技术,把存储信息根据信息的重要性、访问频率等对信息进行了分级存储,将文件的元数据等访问频繁的重要信息时刻保持在线存储,开机后保存在内存中,可以随时读取和修改,以满足前端应用服务器或数据库对数据访问的速度要求。将其它备份数据、冗余容错的数据等访问量小的数据等采用廉价的SATA硬盘存储。对于访问量小的数据采用离线存储,一旦需要访问这些数据可以使用相应的唤醒策略来实现将离线转为在线。 

3.2网络部署方案

按照总容量400T可用的用户要求,使用其他节点的2U-Storage Server填充机柜,最终设计状态如下图所示: 

 

图1-2 GS-7200现场部署示意图

具体说明如下:

J11机柜包含2台Master Server,6台3U-Storage Server,一个24口Cisco千兆交换机;

J12机柜包含8台2U- Storage Server,一个24口Cisco千兆交换机;

J13机柜包含8台2U- Storage Server,一个24口Cisco千兆交换机;

每个千兆交换机连接本机柜内服务器,同时一个千兆接口连接到单位提供的万兆交换机,其中万兆交换机通过光口与单位的专网连接;

支持传统的冗余技术,副本个数可以采用1:1, 1:2, 1:3等冗余技术,且用户可以自行配置。

J14、J15 、J16暂未使用(供数据中心扩容使用)。总的存储硬盘可扩展的数量为:16×6+38×8=400块。

3.3客户端方案

客户端通过FTP服务器对外提供服务,其中FTP采用LVS负载均衡技术实现负载均衡。

LVS不仅能实现负载均衡,而且能使每个服务节点的故障不会影响整个系统的正常使用。LVS结合多台FTP服务器可以充分利用所有的资源,使应用具有超高负荷的服务能力,可支持上百万个并发连接请求,它提供给客户一个统一的接口,方便用户使用。 LVS部署在GS-7200云存储系统上,具体的框图如下所示:

 

图1-3 LVS服务部署示意图

2、 客户受益

通过对客户需求的深入分析和反复研究,宝德结合长时间在云存储上研究积累的经验,以其优异的设计方案和产品特性,在短时间内成功部署了海量数据存储数据中心,很好的满足的客户的需求,具体体现在:

1) 短时间内实现了在3个42U机柜内400T存储空间部署,并且可以根据使用情况方便的扩展容量。

2) 通过网络管理可以监控和管理整个存储网络,包括每个节点的状态、网络可用性、系统性能等。使得客户管理和维护方便。

3) 5000人并发使用GS-7200存储系统情况下,客户仍能保持快速的访问数据中心。

4) 系统稳定可靠运行,未出现任何异常情况。

5) 以数据中心为依托,建立客户关注的价值资源池。


 
Copyright 2017 Powerleader All Rights Reserved 宝德科技版权所有
网站备案许可证号:粤ICP备17097175号-1