http://www.c4dcn.com

暴力测试DXN数据保护功能:数据不丢失、应用无

暴力测试DXN数据保护功能:数据不丢失、应用无感知

在介绍了联想凌拓ThinkSystemDXN系列的方案特点和安装部署环节后,E企研究院进入实际应用场景,实测了DXN的多项有用功能。本期E企研究院将验证当硬盘、节点甚至交换机出现故障时,如何继续运行,保证数据不丢失。

一直以来,文件存储,包括半结构化和非结构化数据,是NAS存储最重要的应用场景。这种文件存储需求遍及整个行业。其中,与普通消费者接触最多、范围最广的应用就是视频。越来越多的人在各种短视频平台上以视频的方式展示自己的才艺、生活和娱乐。

虽然我们每个人都可以拿出手机录一段视频,但是要拍出一段好的视频并不容易。

一个1分钟的视频可能只有MB大小,但是这个视频的制作可能需要经过3D建模、特效合成和剪辑,使用的源文件可能需要几十GB甚至几百GB。制作过程通常由多人团队完成。那么在视频制作中,你认为哪些因素对制作效率影响最大?

性能,很多人可能会首先想到这个因素。诚然,无论是建模、合成还是编辑,渲染、编码和导出都会消耗大量的计算和存储性能。然而,在这个硬件技术飞速发展的时代,性能恰恰是你最不需要关注的因素,因为性能瓶颈通常是最容易被突破的,尤其是在当今的分布式世界。

暴力测试DXN数据保护功能:数据不丢失、应用无感知

以存储为例,导致存储性能不足的通常有三大因素:硬盘、处理器或网络。性能不够的硬盘可以换成固态硬盘,计算性能不够的可以升级到更高的配置,10GbE不够的可以升级到25GbE甚至100GbE。您甚至不需要更改节点配置。只需向现有集群添加更多节点,您就可以获得性能和容量的双重提升。如果您使用像DXN这样的分布式存储,在大多数分布式存储场景中,性能通常是足够的。

故障导致的服务中断或系统停机是影响业务正常运行的最大因素,也是最需要关注的因素,尤其是在大型集群中,硬件故障最为常见。无论是软件故障还是硬件损坏,其故障修复通常以小时计算,甚至长达数天。对于存储系统来说,软硬件故障最大的担心就是数据丢失。如果没有良好的数据保护策略,数据丢失将直接意味着企业的经济损失。

分布式存储无缘无故地流行起来。分布式体系结构的一个主要特征是分布式控制器和多拷贝机制。即使一个或多个控制器或一个或多个节点出现故障,只要不超过限定的数量,它们的服务也可以正常运行,不影响业务连续性。

因此,在本次测试中,E企研究院设计的应用场景并没有直接测试DXN2000的性能,更多的是评估DXN2000在应用场景中的可用性,即在多种硬件故障下,DXN2000能否为前端应用提供正常服务。这些硬件故障包括一个或多个硬盘的故障、群集中一个或多个节点的整体故障,以及通常容易被忽略的网络故障。

e企研搭建了一个基于视频后期制作应用场景的测试环境,架构如下:

暴力测试DXN数据保护功能:数据不丢失、应用无感知

在此测试环境中,DXN2000集群由8个节点组成,提供近150TB的实际可用存储。在DXN2000提供的命名为空的房间中构建一个名为DXN项目的共享目录。这个共享目录下的所有文件都可以被四个应用软件不同的客户端读取,但不能写入(蓝色单向箭头表示只能读取)。

在共享目录DXN项目下,有四个子目录,都是共享目录,分别是PR组、AE组、C4D组、OBS组。这四个共享目录以相同的名称装载在客户机上,每个客户机对其共享目录都有完全的读写权限(绿色双箭头)。简单来说,所有客户端都可以查看或复制共享目录DXN项目中的所有文件,但客户端对同名共享文件夹只有完全的读写权限,即新建文件、修改或删除文件。

四个客户端上分别安装了AdobePremierePro2020(PR)、AdobeAfterEffects2020(AE)、4D影院(C4D)和OBSStudio(OBS)。其中C4D导出文件由AE使用,AE合成文件由PR使用,PR导出的视频由OBS模拟直播。

从上面的架构描述可以看出,这是一个非常典型的影视后期制作中团队协作的应用场景。不同角色的员工操作安装了不同软件的电脑,以不同的权限访问共享文件目录,共同完成视频的处理和制作。如果没有好的数据保护策略,数据的损坏或丢失会影响一个或多个环节,任何一个环节的停顿都会影响整个项目进度。

就应用而言,PR、AE、C4D、OBS正常运行,对存储性能的稳定性要求很高。如果性能不稳定,会出现视频素材加载缓慢、停滞甚至视频导出不正常等现象。尤其是在OBS直播视频应用中,不稳定的存储性能会导致直播视频图像卡顿甚至中断等严重事故。

在上述四个应用正常运行的同时,E企研还增加了一个共享目录,挂载到Linux客户端,运行软件VDbench,这是一个文件存储测试软件。它可以通过VDbench在共享目录下创建数千个自定义大小的文件,并测试读写性能。e企研通过VDbench软件向DXN2000发布存储压力,更直观的评估DXN2000在硬件故障下的性能。

测试中的故障都是人为造成的,层层递进。无需任何系统操作,硬件直接由人类实现:

随机拔出一块HDD(HDD存储应用产生的数据)在测试1的基础上,拔出第二块硬盘在测试2的基础上,直接关闭所在节点在测试3的基础上,直接关闭另一个节点在测试4的基础上,直接拔掉交换机电源

以上五个应用(PR、AE、C4D、OBS、VDbench)运行稳定后,执行以上操作。通过对应用客户端和DXN2000管理界面的观察,表明无论一个或多个硬盘出现故障,一个或多个节点无法停止,还是直接拔掉交换机,DXN2000都能持续提供存储服务。从PR等应用软件的使用画面来看,无论视频渲染还是导出都是受影响的。尤其是OBS直播客户端,即使经过5步测试,其6个视频直播窗口依然正常稳定运行,屏幕完全不卡顿。这些都表明DXN2000具有优秀的可用性,即使在多个硬件故障的情况下,仍然能够保证存储服务的持续,实现数据丢失、应用不停机、无感知的目标。

e企业研究所的结论


e企研认为,作为联想凌拓自主研发的高性能、高可靠、高可扩展性、符合软件定义的分布式存储系统,ThinkSystemDXN分布式存储系统可以提供海量存储空机房和大型IO,持续IO的极致数据响应可以满足客户需求。

ThinkSystemDXN系列通过其分布式存储架构实现企业用户所需的可用性。即使某些节点因多重故障而停机,它仍然可以稳定、持续地提供存储服务,并保证足够的QoS(服务质量),以确保生产数据不丢失,应用程序不会暂停和不知情。

ThinkSystemDXN分布式存储系统具有软件定义、横向扩展、高可用、高性能的能力,可满足广电、公安、金融、医疗、电信互联网、5G8K等行业场景下海量文件存储应用和云数据管理的需求。,帮助企业更加智能、安全、经济地存储和管理数据。

郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。