Erkennungs-Benchmarks
Sicherheitsansprüche sollten einsehbar sein. Wir testen unsere Open-Source-Erkennungs-Engine kontinuierlich anhand standardisierter Datensätze, um Genauigkeit, Präzision und Rückruf zu messen.
Pseudonymisierung reduziert die Exposition. Die Anonymisierung der Daten erfolgt nicht. Für ein Datenschutzprodukt ist Rückruf von enormer Bedeutung, da falsch-negative Ergebnisse Daten an externe APIs weitergeben.
Aktuelle Benchmark-Ergebnisse
- Engine-Version: 1.0.0
- SHA festschreiben:
f8387dc - Datum: 6. September 2026
- Datensatz: Enron/Presidio-Standardsätze (synthetisch und real)
- Stichprobengröße: 10.000 Sätze
- Sprachen: Englisch, Italienisch
| Entität | Präzision | Rückruf | F1-Ergebnis |
|---|---|---|---|
| 0,99 | 0,99 | 0,99 | |
| Person | 0,94 | 0,88 | 0,91 |
| Standort | 0,91 | 0,85 | 0,88 |
| Organisation | 0,90 | 0,82 | 0,86 |
| Telefon | 0,98 | 0,95 | 0,96 |
| IP-Adresse | 1,00 | 1,00 | 1,00 |
Methodik
- Präzision: Von allen Entitäten, die die Engine als „Person“ gekennzeichnet hat, wie viele waren tatsächlich Menschen? (Eine niedrige Genauigkeit bedeutet viele Fehlalarme, wodurch nützlicher, nicht sensibler Text zerstört wird.)
- Zur Erinnerung: Wie viele von allen tatsächlichen Personen im Text hat die Engine erfolgreich markiert? (Ein niedriger Recall bedeutet viele falsch-negative Ergebnisse und den Verlust sensibler Daten.)
- F1-Score: Das harmonische Mittel aus Präzision und Erinnerung.
Reproduktion
Sie können diese Benchmarks mithilfe unseres Open-Source-Pakets selbst reproduzieren.
pip install "pseudonymize[ml]"
python -m pseudonymize.benchmarks --benchmark-only