Detektionsriktmärken
Säkerhetsanspråk bör kunna inspekteras. Vi testar kontinuerligt vår detekteringsmotor med öppen källkod mot standardiserade datauppsättningar för att mäta noggrannhet, precision och återkallelse.
Pseudonymisering minskar exponeringen. Det gör inte data anonym. För en sekretessprodukt är återkallelse enormt viktig eftersom falska negativ läcker data till externa API:er.
Aktuella benchmark-resultat
- Motorversion: 1.0.0
- Bekräfta SHA:
f8387dcDatum: 6 september 2026 - Datauppsättning: Enron / Presidio standarduppsättningar (syntetiska och riktiga)
- Samplestorlek: 10 000 meningar
- Språk: engelska, italienska
| Entitet | Precision | Minns | F1 Poäng |
|---|---|---|---|
| E-post | 0,99 | 0,99 | 0,99 |
| Person | 0,94 | 0,88 | 0,91 |
| Plats | 0,91 | 0,85 | 0,88 |
| Organisation | 0,90 | 0,82 | 0,86 |
| Telefon | 0,98 | 0,95 | 0,96 |
| IP-adress | 1.00 | 1.00 | 1.00 |
Metodik
- Precision: Av alla enheter som motorn flaggade som "Person", hur många var egentligen människor? (Låg precision innebär höga falska positiva resultat, vilket förstör användbar icke-känslig text).
- Kom ihåg: Hur många av alla faktiska personer i texten, hur många lyckades motorn flagga? (En låg återkallelse betyder höga falska negativ, läckande känslig data).
- F1-poäng: Det harmoniska medelvärdet av precision och återkallelse.
Reproduktion
Du kan reproducera dessa riktmärken själv med vårt arkiv med öppen källkod.
pip install "pseudonymize[ml]"
python -m pseudonymize.benchmarks --benchmark-only