Detectiebenchmarks
Beveiligingsclaims moeten controleerbaar zijn. We testen onze open-source detectie-engine voortdurend met gestandaardiseerde datasets om de nauwkeurigheid, precisie en herinnering te meten.
Pseudonimisering vermindert de blootstelling. Het maakt gegevens niet anoniem. Voor een privacyproduct is recall enorm belangrijk, omdat valse negatieven gegevens naar externe API's lekken.
Huidige benchmarkresultaten
- Motorversie: 1.0.0
- SHA invoeren:
f8387dc - Datum: 6 september 2026
- Dataset: Enron / Presidio standaardsets (synthetisch en echt)
- Steekproefgrootte: 10.000 zinnen
- Talen: Engels, Italiaans
| Entiteit | Precisie | Terugroepen | F1-score |
|---|---|---|---|
| 0,99 | 0,99 | 0,99 | |
| Persoon | 0,94 | 0,88 | 0,91 |
| Locatie | 0,91 | 0,85 | 0,88 |
| Organisatie | 0,90 | 0,82 | 0,86 |
| Telefoon | 0,98 | 0,95 | 0,96 |
| IP-adres | 1,00 | 1,00 | 1,00 |
Methodologie
- Precisie: Van alle entiteiten die door de engine zijn gemarkeerd als 'Persoon', hoeveel waren er daadwerkelijk mensen? (Een lage precisie betekent veel valse positieven, waardoor nuttige, niet-gevoelige tekst wordt vernietigd).
- Herinner je je: Hoeveel van alle daadwerkelijke mensen in de tekst hebben de engine met succes gemarkeerd? (Een lage terugroepactie betekent veel fout-negatieven, waardoor gevoelige gegevens lekken).
- F1-score: Het harmonische gemiddelde van precisie en herinnering.
Reproductie
U kunt deze benchmarks zelf reproduceren met behulp van ons open-source pakket.
pip install "pseudonymize[ml]"
python -m pseudonymize.benchmarks --benchmark-only