2021年国家电网招聘考试计算机专业知识：海量数据存储技术

海量数据存储技术
为了支持大规模数据的存储、传输与处理，针对海量数据存储目前主要开展如下三个方向的研究：
1. 虚拟存储技术  
存储虚拟化的核心工作是物理存储设备到单一逻辑资源池的映射，通过虚拟化技术，为用户和应用程序提供了虚拟磁盘或虚拟卷，并且用户可以根据需求对它进行任意分割、合并、重新组合等操作，并分配给特定的主机或应用程序，为用户隐藏或屏蔽了具体的物理设备的各种物理特性。存储虚拟化可以提高存储利用率，降低成本，简化存储管理，而基于网络的虚拟存储技术已成为一种趋势，它的开放性、扩展性、管理性等方面的优势将在数据大集中、异地容灾等应用中充分体现出来。
    2. 高性能I/O
集群由于其很高的性价比和良好的可扩展性，近年来在HPC领域得到了广泛的应用。数据共享是集群系统中的一个基本需求。当前经常使用的是网络文件系统NFS或者CIFS。当一个计算任务在Linux集群上运行时，计算节点首先通过NFS协议从存储系统中获取数据，然后进行计算处理，最后将计算结果写入存储系统。在这个过程中，计算任务的开始和结束阶段数据读写的I/O负载非常大，而在计算过程中几乎没有任何负载。当今的Linux集群系统处理能力越来越强，动辄达到几十甚至上百个TFLOPS，于是用于计算处理的时间越来越短。但传统存储技术架构对带宽和I/O能力的提高却非常困难且成本高昂。这造成了当原始数据量较大时，I/O读写所占的整体时间就相当可观，成为HPC集群系统的性能瓶颈。I/O效率的改进，已经成为今天大多数Linux并行集群系统提高效率的首要任务。
3. 网格存储系统
高能物理的数据需求除了容量特别大之外，还要求广泛的共享。比如运行于BECPII上的新一代北京谱仪实验BESIII，未来五年内将累积数据5PB，分布在全球20多个研究单位将对其进行访问和分析。因此，网格存储系统应该能够满足海量存储、全球分布、快速访问、统一命名的需求。主要研究的内容包括：网格文件名字服务、存储资源管理、高性能的广域网数据传输、数据复制、透明的网格文件访问协议等。