重复数据删除与归档技术

　重复数据删除与归档技术

　　存储最终的目的是有效利用数据，不论是虚拟存储还是云存储，都需要结合很好的数据应用技术，有效的处理数据使其可以达到满足企业用户要求的效果。而存储上最大的工作是需要后期的备份，而数据重复情况不断扩大，如何通过这些数据进一步产生价值，提升企业业务能力增加效益是关键。

　　重复数据删除（Data Deduplication）就是一种数据缩减技术，旨在减少存储系统中使用的存储容量。依据数据处理方式的不同，重复数据删除技术可分成两种：其一是在线处理（In-line），这一方式中，数据在读进来之后，当存到磁盘之前就已经进行了重复数据删除；其二是后处理（Post-Processing），采用这一方式的话，数据在存到磁盘上后才会进行重复数据删除，在存到磁盘前，数据没有减少。

　　这两种方式各有优缺点：In-line的优势是节省了磁盘空间，同时重复数据删除一步到位，特别简单。但缺点是对CPU的损耗非常大，会占用大量CPU资源，导致性能下降。相比之下，Post-Processing对CPU的占用会小很多，但缺陷在于重复数据删除的环节会比较复杂。

　　然而数据量的爆炸性增长，所说的存储非简单的存和储的含义，而是涉及到备份、数据归档、数据保护、数据挖掘等等，而在这些存储范围之中，数据归档是最为常提及技术。

　　如何理解数据归档

　　对于数据归档，是指数据集合的一致性拷贝，通常用以长期持久地保存事务或者应用状态记录。一般情况下，数据归档通常用以审计和分析的目的，而不是用于应用恢复的目的，数据归档与备份都是数据存储的应用形式，只是应用目的不同。

　　备份是对数据进行复制，是为了确保在出现数据丢失或系统灾难时将复制的数据恢复回来，那么根据备份的解释再来看数据归档就很好理解了。数据归档是针对海量数据的应用，是对数据进行有计划的迁移。当数据停止改变或不被频繁使用时，通过数据归档把它们转移到别的地方，让出主存储空间，并且使之处于日常的备份窗口之外，既节约了空间，又提升了备份的效率。

　　那么根据上面的解释，如果再简化来说，那就是Ctrl+C和Ctrl+X的区别，备份是复制，数据归档是剪切。对企业而言，备份和数据归档具有两种不同但互补的功能：备份用于快速复制和恢复，以减少故障、人员错误或灾难带来的影响；数据归档则用于对数据进行有效的管理、保留和长期的访问与检索。