检测基准
安全声明应该是可检查的。 我们不断针对标准化数据集测试我们的开源检测引擎,以衡量准确性、精确度和召回率。
假名可以减少曝光。 它不会使数据匿名。 对于隐私产品来说,“召回”非常重要,因为误报会将数据泄露到外部 API。
当前基准测试结果
- 引擎版本: 1.0.0
- 提交 SHA:
f8387dc - 日期: 2026 年 9 月 6 日
- 数据集: Enron / Presidio 标准集(合成和真实)
- 样本量: 10,000 个句子
- 语言: 英语、意大利语
| 实体 | 精密 | 回忆 | F1 分数 |
|---|---|---|---|
| 电子邮件 | 0.99 | 0.99 0.99 | 0.99 0.99 |
| 人 | 0.94 | 0.94 0.88 | 0.88 0.91 |
| 位置 | 0.91 | 0.91 0.85 | 0.85 0.88 |
| 组织 | 0.90 | 0.90 0.82 | 0.82 0.86 |
| 电话 | 0.98 | 0.98 0.95 | 0.95 0.96 |
| IP 地址 | 1.00 | 1.00 | 1.00 |
方法论
- 精度: 在引擎标记为“人”的所有实体中,有多少实际上是人? (低精度意味着高误报,破坏有用的非敏感文本)。
- 回想一下: 在文本中的所有实际人物中,引擎成功标记了多少人? (召回率低意味着误报率高,敏感数据泄露)。
- F1 分数: 精确率和召回率的调和平均值。
复制
您可以使用我们的开源软件包自行重现这些基准。
pip install "pseudonymize[ml]"
python -m pseudonymize.benchmarks --benchmark-only