Тесты обнаружения
Заявления о безопасности должны быть проверяемыми. Мы постоянно тестируем нашу систему обнаружения с открытым исходным кодом на стандартизированных наборах данных для измерения точности, точности и отзыва.
Псевдонимизация снижает риск заражения. Это не делает данные анонимными. Для продукта, обеспечивающего конфиденциальность, напоминание имеет огромное значение, поскольку ложноотрицательные результаты приводят к утечке данных во внешние API.
Текущие результаты тестов
- Версия движка: 1.0.0
- Коммит SHA:
f8387dc - Дата: 6 сентября 2026 г.
- Набор данных: Стандартные наборы Enron/Presidio (синтетические и настоящие)
- Объем выборки: 10 000 предложений.
- Языки: английский, итальянский
| Сущность | Точность | Напомним | Оценка F1 |
|---|---|---|---|
| Электронная почта | 0,99 | 0,99 | 0,99 |
| Человек | 0,94 | 0,88 | 0,91 |
| Местоположение | 0,91 | 0,85 | 0,88 |
| Организация | 0,90 | 0,82 | 0,86 |
| Телефон | 0,98 | 0,95 | 0,96 |
| IP-адрес | 1.00 | 1.00 | 1.00 |
Методология
- Точность. Сколько из всех объектов, которые движок пометил как «Человеки», на самом деле были людьми? (Низкая точность означает большое количество ложных срабатываний, уничтожающих полезный неконфиденциальный текст).
- Напомним: сколько человек из всех людей, упомянутых в тексте, были успешно обнаружены системой? (Низкий уровень отзыва означает высокий уровень ложноотрицательных результатов и утечку конфиденциальных данных).
- Оценка F1: Гармоническое среднее значение точности и полноты.
Воспроизведение
Вы можете воспроизвести эти тесты самостоятельно, используя наш репозиторий с открытым исходным кодом.
pip install "pseudonymize[ml]"
python -m pseudonymize.benchmarks --benchmark-only