Skip to content

Latest commit

 

History

History
15 lines (12 loc) · 637 Bytes

readme.md

File metadata and controls

15 lines (12 loc) · 637 Bytes

基于虚拟内存映射的布隆过滤器

  • 基于硬盘的位数组
  • 使用murmurhash作为hash函数,高效&碰撞率低
  • 使用硬盘进行去重,相对于内存型过滤器可扩容千倍
  • 自定义容纳元素个数与误差率
  • 百亿去重约使用33g硬盘空间(误差率百万分之一情况)
  • 支持多进程,多个程序可持有同一文件句柄
  • 性能及空间高于数据库去重,单条数据最多占用hash函数个数*1bit空间(误差率百万分之一情况下为19bit)

###测试

京东京造 SATA3 西部数据SN550 NVME
8k op/s 5w op/s