科学研究

基于Cuckoo哈希计算的海量存储系统中实时数据查询方法

来源:武汉光电国家研究中心   作者:信息存储与光显示功能实验室  发布时间:2016年11月02日  点击量:

海量存储系统需要维护和存储大量的数据,并进行有效的数据分析及支持高效实时的查询服务。实时性和精确性是衡量存储系统查询服务质量的重要标准,也是当前海量存储系统领域研究的关键问题。

信息存储与光显示功能实验室博士生孙园园在华宇教授指导下提出了基于哈希冲突缓解机制的实时数据查询方法,称为MinCounter。这种方法主要是考虑到在写入数据时对哈希表每个位置访问频率具有不均衡性,提出了一种哈希冲突缓解机制。给每个位置分配一个counter来记录在整个数据集插入操作过程中在每个位置发生哈希冲突并执行踢出操作的次数。MinCounter的基本原理是选择unbusy的选择路径,能够尽快寻找到空闲位置,来避免或减少哈希冲突并减少时延。通过大量实验测试和分析表明,相关研究方法在空间利用率和时间开销等方面显著优于目前已有的设计方法。

2016年,该研究成果以论文“A Collision-Mitigation Cuckoo Hashing Scheme for Large-scale Storage Systems (大规模存储系统中基于缓解冲突的Cuckoo哈希机制)”发表在并行与分布式系统领域的重要国际期刊IEEE Transactions on Parallel and Distributed Systems (TPDS)上。

该研究工作得到了国家重点研发计划项目(2016YFB1000202)的支持。

1


系统架构图和主要测试结果


全文链接:http://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=7523403