摘要: 在现代数据中心中各种大规模应用的海量数据处理中，键值存储扮演着越来越重要的角色，日益增长的数据量也催生了对高存储密度的键值存储的需求。瓦记录技术作为最为方便提升磁盘存储容量的技术，同时也存在随机写性能缺陷和严重写放大问题。虽然基于... 展开 在现代数据中心中各种大规模应用的海量数据处理中，键值存储扮演着越来越重要的角色，日益增长的数据量也催生了对高存储密度的键值存储的需求。瓦记录技术作为最为方便提升磁盘存储容量的技术，同时也存在随机写性能缺陷和严重写放大问题。虽然基于日志结构合并树的键值存储能将随机写转化为顺序写，具有较高的写性能，但是简单地将键值存储应用到瓦记录磁盘上，会带来额外的随机读写和写放大问题，传统的键值存储并不能完美适配瓦记录磁盘。 为了改善瓦记录磁盘随机写性能缺陷和写放大问题，本文提出了一种针对瓦记录磁盘优化的键值存储数据库系统 SEALDB，以提升基于瓦记录磁盘上的键值存储数据库的性能。首先，对于日志结构合并树，SEALDB 将每次合并操作中涉及的SSTable聚集起来组织为Set，将Set作为基本存储单元，减少随机读写来提高合并效率。其次，SEALDB设计了一种瓦记录磁盘的动态Band技术，尽量将多个Set连续存储到一个Band中，一方面减少了Band间隔的空间浪费，另一方面也降低了瓦记录磁盘空间管理的垃圾回收开销。最后，针对动态Band的特点，进一步设计了两个轻量级垃圾回收策略，降低了垃圾回收的磁盘开销，进而减少了垃圾回收对系统性能的影响。 本文基于开源的LevelDB实现了SEALDB系统原型，并将SELADB与LevelDB和SMRDB进行对比测试。各项测试结果表明，SEALDB能有效提高系统性能。其中随机写性能是LevelDB的3.42倍，是SMRDB的1.67倍，随机读性能是LevelDB和 SMRDB 的 1.73 倍。SELADB 的顺序读和顺序写性能与 SMRDB 相近，分别是LevelDB的1.75倍和3.96倍。 收起