検出ベンチマーク
セキュリティに関する主張は検査可能である必要があります。 私たちは、精度、精度、再現率を測定するために、標準化されたデータセットに対してオープンソースの検出エンジンを継続的にテストしています。
仮名化により暴露が減少します。 データが匿名になるわけではありません。 プライバシー製品の場合、偽陰性によりデータが外部 API に漏洩するため、リコール は非常に重要です。
現在のベンチマーク結果
- エンジン バージョン: 1.0.0
- コミット SHA:
f8387dc - 日付: 2026 年 9 月 6 日
- データセット: Enron / Presidio 標準セット (合成および実数)
- サンプルサイズ: 10,000 文
- 言語: 英語、イタリア語
| エンティティ | 精度 | 思い出す | F1 Score |
|---|---|---|---|
| 電子メール | 0.99 | 0.99 | 0.99 |
| 人 | 0.94 | 0.88 | 0.91 |
| 場所 | 0.91 | 0.85 | 0.88 |
| 組織 | 0.90 | 0.82 | 0.86 |
| 電話 | 0.98 | 0.95 | 0.96 |
| IP アドレス | 1.00 | 1.00 | 1.00 |
Methodology
- 精度: エンジンが「人」としてフラグを立てたすべてのエンティティのうち、実際に人であったのは何人ですか? (精度が低いと誤検知が多くなり、有用な非機密テキストが破壊されます)。
- 思い出してください: テキスト内の実際の人物のうち、エンジンが正常にフラグを立てたのは何人でしょうか? (再現率が低いということは、偽陰性が高く、機密データが漏洩していることを意味します)。
- F1 スコア: 精度と再現率の調和平均。
Reproduction
オープンソース パッケージを使用して、これらのベンチマークを自分で再現できます。
pip install "pseudonymize[ml]"
python -m pseudonymize.benchmarks --benchmark-only