डिटेक्शन बेंचमार्क
सुरक्षा दावों का निरीक्षण किया जाना चाहिए. हम सटीकता, परिशुद्धता और रिकॉल को मापने के लिए मानकीकृत डेटासेट के विरुद्ध अपने ओपन-सोर्स डिटेक्शन इंजन का लगातार परीक्षण करते हैं।
छद्म नामकरण से एक्सपोज़र कम हो जाता है। यह डेटा को गुमनाम नहीं बनाता है। गोपनीयता उत्पाद के लिए, रिकॉल बहुत मायने रखता है क्योंकि गलत नकारात्मक डेटा बाहरी एपीआई में लीक हो जाता है।
वर्तमान बेंचमार्क परिणाम
- इंजन संस्करण: 1.0.0
- SHA प्रतिबद्ध करें:
f8387dc - तिथि: 6 सितंबर, 2026
- डेटासेट: एनरॉन / प्रेसिडियो मानक सेट (सिंथेटिक और वास्तविक)
- नमूना आकार: 10,000 वाक्य
- भाषाएँ: अंग्रेजी, इतालवी
| इकाई | परिशुद्धता | स्मरण करो | F1 स्कोर |
|---|---|---|---|
| ईमेल | 0.99 | 0.99 | 0.99 |
| व्यक्ति | 0.94 | 0.88 | 0.91 |
| स्थान | 0.91 | 0.85 | 0.88 |
| संगठन | 0.90 | 0.82 | 0.86 |
| फ़ोन | 0.98 | 0.95 | 0.96 |
| आईपी पता | 1.00 | 1.00 | 1.00 |
पद्धति
- परिशुद्धता: इंजन द्वारा "व्यक्ति" के रूप में चिह्नित सभी संस्थाओं में से वास्तव में कितने लोग थे? (कम परिशुद्धता का अर्थ है उच्च झूठी सकारात्मकता, उपयोगी गैर-संवेदनशील पाठ को नष्ट करना)।
- याद करें: पाठ में सभी वास्तविक लोगों में से, इंजन ने कितने लोगों को सफलतापूर्वक फ़्लैग किया था? (कम रिकॉल का अर्थ है उच्च झूठी नकारात्मकता, संवेदनशील डेटा का लीक होना)।
- F1 स्कोर: परिशुद्धता और स्मरण का हार्मोनिक माध्य।
प्रजनन
आप हमारे ओपन-सोर्स पैकेज का उपयोग करके इन बेंचमार्क को स्वयं पुन: पेश कर सकते हैं।
pip install "pseudonymize[ml]"
python -m pseudonymize.benchmarks --benchmark-only