탐지 벤치마크

보안 주장은 검사 가능해야 합니다. 우리는 정확성, 정밀도 및 재현율을 측정하기 위해 표준화된 데이터 세트에 대해 오픈 소스 탐지 엔진을 지속적으로 테스트합니다.

가명을 사용하면 노출이 줄어듭니다. 데이터를 익명으로 만들지 않습니다. 개인 정보 보호 제품의 경우 거짓 부정으로 인해 데이터가 외부 API로 유출되기 때문에 리콜은 매우 중요합니다.

현재 벤치마크 결과

• 엔진 버전: 1.0.0
• SHA 커밋: f8387dc
• 날짜: 2026년 9월 6일
• 데이터 세트: Enron/Presidio 표준 세트(합성 및 실제)
• 샘플 크기: 10,000문장
• 언어: 영어, 이탈리아어

엔터티	정밀	리콜	F1 점수
이메일	0.99	0.99	0.99
사람	0.94	0.88	0.91
위치	0.91	0.85	0.88
조직 ​​	0.90	0.82	0.86
전화	0.98	0.95	0.96
IP 주소	1.00	1.00	1.00

방법론

1. 정밀도: 엔진이 "사람"으로 플래그를 지정한 모든 개체 중에서 실제로 사람은 몇 개입니까? (정밀도가 낮다는 것은 거짓양성이 높고 유용하고 중요하지 않은 텍스트를 파괴함을 의미합니다.)
2. 기억: 텍스트에 등장하는 실제 인물 중 엔진에 플래그를 성공적으로 적용한 사람은 몇 명입니까? (낮은 재현율은 높은 위음성, 민감한 데이터 유출을 의미합니다).
3. F1 점수: 정밀도와 재현율의 조화 평균입니다.

재생산

오픈 소스 저장소를 사용하여 이러한 벤치마크를 직접 재현할 수 있습니다.

pip install "pseudonymize[ml]"
python -m pseudonymize.benchmarks --benchmark-only