2021年国家电网招聘考试计算机专业知识：海量数据存储的处理方法

海量数据存储的处理方法
1. 选用优秀的数据库工具 2. 编写优良的程序代码 3. 对海量数据进行分区操作 4. 建立广泛的索引 5. 建立缓存机制 6. 加大虚拟内存7. 分批处理 8. 使用临时表和中间表 9. 优化查询SQL语句 10. 使用文本格式进行处理 11. 定制强大的清洗规则和出错处理机制 12. 建立视图或者物化视图 13. 避免使用32位机子（极端情况） 14. 考虑操作系统问题 15. 使用数据仓库和多维数据库存储 16. 使用采样数据，进行数据挖掘 17. 海量数据关联存储
海量数据是发展前景
海量数据存储技术的发展前展，可以归结为以下几个方面：
高容量光存储技术的到来可以说改变了目前的存储格局，为原本暗淡的光存储带来了一线生机。虽然光存储器的支持者们一直宣传该技术将成为下一代伟大的存储技术，但是即便在它得到广泛推广之后，其企业客户基础在整个市场上的份额仍然很小。
分布式存储与P2P存储：分布式存储概念提出较早，目前再次成为热点。P2P存储可以看作分布式存储的一种，是一个用于对等网络的数据存储系统，它的目标是提供高效率的、鲁棒和负载平衡的文件存取功能。
数据网格：为了满足人们对高性能、大容量分布存储能力的要求所提出的概念，类似于计算网格，是有机的智能单元的组合。
智能存储系统：包括主动的信息采集，主动信息分、主动调整等。 存储服务质量QoS：应用环境越来越复杂，存储需求区别也越来越明显，这就需要为应用提供区分服务。目前的研究以基于网络存储的QoS为主。
存储容灾：通过特定的容灾机制，能够在各种灾难损害发生后，最大限度地保障计算机信息系统不间断提供正常应用服务。