大数据存储技术介绍（从大数据到快数据）

每经记者：安宇飞 每经编辑：文多

当下正处于“数据大爆炸”的时代，全球数据量规模飞速增长，对存储能力的要求也不断提高。

6月15日，在深圳市泛联信息科技有限公司（以下简称“泛联信息”）新一代存储产品发布会上，公司总经理经宁表示，目前全球存储系统迎来新一轮变革机遇，正在从“Big Data”（大数据）发展到“Fsat Data”（快数据）。

经宁展示的数据显示，2021年全球实时数据量规模为16ZB（1ZB约等于1万亿GB），占全球数据总量的19.6%，2025年实时数据量将达到51ZB，占数据总量的比重会跃升至29%，“需要快速处理的数据比重在迅速上升”。

同时，经宁还认为，目前全球存储行业已经发生过三次变革，围绕新的技术点和需求，存储系统的变化将有很大概率实现，出现第四次变革的机会。

图片来源：主办方提供

数据爆发时代，存储行业面临哪些变化？

疫情以来，线上办公和线上教学等需求不断扩大，再加上5G、AI等新技术的应用和发展，使得全球数据总量步入了一个新的台阶。根据IDC预测，从2018年到2025年，全球数据总量将由33ZB增长至175ZB，年复合增长率达26.9%。

许多数据都需要存储，全球数据量的激增将会极大地带动存储行业的发展。

不过，存储市场蓬勃发展的背景下，一些变革也在悄然发生。泛联信息董事长韩凌认为，目前存储行业面临三大变化：环境之变、业态之变、技术之变。

其中，环境之变指的是“国产自主可控”的重要性日益提升。业态之变则催生了“快数据”的需求。

韩凌表示，云计算、人工智能、超算等技术的发展，都对IT基础架构提出了越来越多的需求，而这个变化的表现就在数据规模上体现出来。

“首先是数据越来越大：10年前T级数据（TB）对我们来说就已经很大，但今天，几十TB上百TB的数据比比皆是。其次是数据的结构、类型更加丰富和多元，早已经超出了桌面和移动端的应用范畴，更加深入地进入了千行百业，成为生产要素。第三个是快数据，数据要越来越快地进入算力，将来有可能是T级数据在10微秒内进入算力系统。”韩凌说。

如何应对“快数据”挑战？新介质催生变革机遇

如何让数据“跑得更快”？这就涉及韩凌提到的“技术之变”了。据了解，目前的存储器主要分NAND Flash和DRAM两种。其中NAND Flash被称为“闪存”，是外存的一种，断电不会丢失数据，可长期保存数据。而DRAM属于内存，速度比NAND Flash更快，但断电会丢失数据，主要用于存储程序运行时的临时数据。

以“8 256GB”的手机为例，这里的“8”指的就是内存为8GB，“256”指的是外存为256GB，人们经常把内存和外存误称。简单来说，外存就像一个仓库，当CPU工作的时候需要从“仓库”读取数据，但这个“仓库”又大，离CPU又远，运输效率低、速度慢。所以在CPU和仓库之间会建立一条“过道”，这就是内存。“过道”离仓库近，读取数据的速度也快，但不会保留数据，一断电就会被“清扫”得干干净净，啥也不剩。

目前，无论是内存还是外存都已发展到了比较成熟的阶段，特别是NAND Flash和DRAM这两种介质。但面对与日俱增的“快数据”需求，市场上也需要其他介质的技术发展来加速。

持久性内存Persistent Memory（以下简称“PM”）就是其中之一，它是介于外存和内存之间的一种新介质，既有“仓库”的容量和保存信息的能力，也有“过道”的速度。据了解，PM既能实现断电不丢失数据，也有超越SSD（固态硬盘）等外存的速度，兼具了内存和外存的各自优势。

目前，随着技术的突破，PM产品已经进入市场，成为解决“快数据”需求的重要力量。6月15日，泛联信息就发布了分布式全闪存存储UbiPower 18000和分布式海量存储UbiScale 12000两款创新型存储产品。

一边是全球数据量激增，快速处理数据的能力日渐重要，另一边则是PM等新介质进入市场。经宁认为，“需求 技术”将催化存储系统新一轮变革机遇，存储行业将发生“第四次变革”。

不过，深圳大数据研究与应用协会会长赵春雷也表示，目前行业发展也面临着“人才问题”的挑战。比起应届生，大数据相关企业更需要有经验的人才，但是“人从哪来”的问题仍难以解决。

对于PM产品这一方兴未艾的领域而言，“人才瓶颈”或成为它在国内进一步发展面临的主要挑战之一。

每日经济新闻

每日经济新闻