跳转到主要内容

检测基准

安全声明应该是可检查的。 我们不断针对标准化数据集测试我们的开源检测引擎,以衡量准确性、精确度和召回率。

假名可以减少曝光。 它不会使数据匿名。 对于隐私产品来说,“召回”非常重要,因为误报会将数据泄露到外部 API。

当前基准测试结果

  • 引擎版本: 1.0.0
  • 提交 SHA: f8387dc
  • 日期: 2026 年 9 月 6 日
  • 数据集: Enron / Presidio 标准集(合成和真实)
  • 样本量: 10,000 个句子
  • 语言: 英语、意大利语
实体 精密 回忆 F1 分数
电子邮件 0.99 0.99 0.99 0.99 0.99
人 0.94 0.94 0.88 0.88 0.91
位置 0.91 0.91 0.85 0.85 0.88
组织 0.90 0.90 0.82 0.82 0.86
电话 0.98 0.98 0.95 0.95 0.96
IP 地址 1.00 1.00 1.00

方法论

  1. 精度: 在引擎标记为“人”的所有实体中,有多少实际上是人? (低精度意味着高误报,破坏有用的非敏感文本)。
  2. 回想一下: 在文本中的所有实际人物中,引擎成功标记了多少人? (召回率低意味着误报率高,敏感数据泄露)。
  3. F1 分数: 精确率和召回率的调和平均值。

复制

您可以使用我们的开源软件包自行重现这些基准。

pip install "pseudonymize[ml]"
python -m pseudonymize.benchmarks --benchmark-only