摘要: 云以及移动互联网在近几年内飞速发展，各类应用对存储的读写性能与容量表现出更高的需求。非易失内存具有堪比内存的延迟与带宽，满足很多低延迟应用的需求。而非关系型数据库之中的键值系统(Key-Value，K-V)，凭借高性能，强扩展性，使用灵活等诸多... 展开 云以及移动互联网在近几年内飞速发展，各类应用对存储的读写性能与容量表现出更高的需求。非易失内存具有堪比内存的延迟与带宽，满足很多低延迟应用的需求。而非关系型数据库之中的键值系统(Key-Value，K-V)，凭借高性能，强扩展性，使用灵活等诸多优势，在业界受到研究者的青睐。 日志结构合并树(Log-Structuremergetree,LSM-Tree)是KV存储系统普遍采用的索引结构，通过将随机写入过程转化为顺序写入，大幅提高了写入的带宽。然而，多层数据的合并引入了大量额外的读写，阻碍正常写入过程的同时，增加了闪存介质损坏的风险，因而研究基于非易失内存的键值存储系统具有重要的意义。基于LSM的分层思想，应用非必要元数据分离的策略，提出了混合索引结构。通过前缀划分范围，降低数据重复概率，提高设备空间利用率。内存与NVM(Non-volatilememory)索引数据独立管理，降低了写入过程中，元数据的更新对写入速度的影响。另外，针对NVM设计了一套粗粒度空间管理算法。此算法在降低外部碎片数量和保证申请效率的同时，考虑了写入负载不均衡的问题。通过自定义的负载指数，粗略估计某段空间被写入的频繁程度。申请空间参考负载指数进行，释放空间如果触发块合并，则更新这个指数，逐渐平衡各个块和文件的使用负载。 基于开源KV数据库LevelDB，对本文实现了HyKV系统，并对HyKV存储系统在读写性能，负载分布等方面进行了若干测试。结果表明，相对于其他常见的基于LSM的键值系统，HyKV系统有效的提高了性能，并且空间利用率高，写入负载分布基本均衡。顺序写入性能是基于SSD(Solid-statedisk)的RocksDB的1.7倍，读性能是基于NVM的RocksDB的1.2倍，空间利用率超过90%，映射文件负载极差小于10%。 收起