diff --git a/conf/default.yaml b/conf/default.yaml index b7e33a1..d3a8559 100644 --- a/conf/default.yaml +++ b/conf/default.yaml @@ -1,104 +1,50 @@ # ===================================================================== -# CONFIGURATION PRESIDIO - v27-BE (CORRIGÉE ET FINALE) +# CONFIGURATION PRESIDIO - v24 (COMPLÈTE, AVEC VOTRE REGEX TÉLÉPHONE) # ===================================================================== -supported_languages: [fr, en] +supported_languages: [en, fr] # 1. CONFIGURATION DU MOTEUR NLP # ===================================================================== nlp_configuration: nlp_engine_name: spacy models: + - lang_code: en + model_name: en_core_web_lg - lang_code: fr - model_name: fr_core_news_lg - ner_model_configuration: - # --- [CORRECTION] : AJOUT DU BLOC POUR IGNORER LES ENTITÉS NLP NON PERTINENTES --- - # C'est cette section qui va supprimer les warnings "Entity MISC is not mapped..." - labels_to_ignore: - - MISC - - CARDINAL - - EVENT - - LANGUAGE - - LAW - - ORDINAL - - PERCENT - - PRODUCT - - QUANTITY - - WORK_OF_ART - # --------------------------------------------------------------------------------- - confidence_thresholds: - PERSON: 0.85 - LOCATION: 0.8 - ORGANIZATION: 0.7 + model_name: fr_core_news_lg + ner_model_configuration: + labels_to_ignore: + - MISC + - CARDINAL + - EVENT + - LANGUAGE + - LAW + - ORDINAL + - PERCENT + - PRODUCT + - QUANTITY + - WORK_OF_ART + confidence_thresholds: + DEFAULT_CONFIDENCE: 0.65 + PERSON: 0.85 + LOCATION: 0.4 + ORGANIZATION: 0.55 -# 2. CONFIGURATION DU REGISTRE DES DÉTECTEURS (Inchangé, la version précédente était bonne) +# 2. CONFIGURATION DU REGISTRE DES DÉTECTEURS # ===================================================================== recognizer_registry: load_predefined_recognizers: true recognizers: - - name: FlexibleDateRecognizer + # --- DÉTECTEURS FIABLES ET PRÉCIS --- + - name: CustomDateRecognizer supported_language: fr - supported_entity: FLEXIBLE_DATE + supported_entity: CUSTOM_DATE patterns: - - name: Date format JJ mois AAAA (ex: 15 mars 2025) - regex: "\\b(0?[1-9]|[12][0-9]|3[01])\\s+(janvier|février|mars|avril|mai|juin|juillet|août|septembre|octobre|novembre|décembre)\\s+(19|20)\\d{2}\\b" - score: 1.0 - - name: Date format JJ/MM/AAAA (ex: 12/08/1978) + - name: Date JJ/MM/AAAA regex: "\\b(0[1-9]|[12][0-9]|3[01])[-/.](0[1-9]|1[012])[-/.](19|20)\\d{2}\\b" score: 1.0 - context: ["date", "né le", "signé le", "incident du"] - - - name: BelgianAddressRecognizer - supported_language: fr - supported_entity: BE_ADDRESS - patterns: - - name: Adresse Belge complète - regex: "\\b(?:\\d{1,4}[A-Za-z]?(?:\\s*,)?\\s+)?(?:Avenue|Rue|Boulevard|Chaussée|Place|Quai|Impasse|Drève)(?:\\s+(?:de|la|le|d'|des))?(?:\\s+[A-Z][a-zà-ÿ'-]+)+,?(?:\\s+\\d{1,4}[A-Za-z]?)?,\\s*\\d{4}\\s+[A-Za-zà-ÿ'-]+" - score: 1.0 - context: ["demeurant", "adresse", "siège social", "bureaux situés"] - - - name: BelgianPhoneRecognizer - supported_language: fr - supported_entity: BE_PHONE_NUMBER - patterns: - - name: Numéro téléphone Belge avec séparateurs - regex: "\\b0[1-9](?:[./\\s]?\\d{2,3}){3}\\b" - score: 0.95 - context: ["Tel", "Tél", "téléphone"] - - - name: BelgianBankAccountRecognizer - supported_language: fr - supported_entity: BE_BANK_ACCOUNT - patterns: - - name: IBAN Belge - regex: "\\bBE\\d{2}[\\s]?\\d{4}[\\s]?\\d{4}[\\s]?\\d{4}\\b" - score: 1.0 - context: ["IBAN", "compte", "bancaires"] - - - name: BankOrganizationRecognizer - supported_language: fr - supported_entity: ORGANIZATION - deny_list: ["Banque Nationale de Belgique"] - supported_tokens: ["BNP Paribas Fortis", "CBC Banque", "KBC", "ING", "Belfius"] - score: 0.9 - - - name: BelgianEnterpriseVatRecognizer - supported_language: fr - supported_entity: BE_ENTERPRISE_VAT_NUMBER - patterns: - - name: Numéro BCE/TVA Belge - regex: "\\b(BE)?\\s?0?\\d{3}[\\.\\s]?\\d{3}[\\.\\s]?\\d{3}\\b" - score: 1.0 - context: ["BCE", "TVA", "intracommunautaire"] - - - name: SpecificIdRecognizer - supported_language: fr - supported_entity: SPECIFIC_ID - patterns: - - name: Numéro IEC - regex: "(n°\\sIEC:?|IEC:?)\\s*\\d{6}" - score: 1.0 - context: ["expert-comptable"] + context: ["date de naissance", "né le"] - name: EmailRecognizer supported_language: fr @@ -106,41 +52,144 @@ recognizer_registry: patterns: [{name: Email Pattern, regex: "\\b[A-Za-z0-9._%+-]+@[A-Za-z0-9.-]+\\.[A-Z|a-z]{2,}\\b", score: 1.0}] context: ["email", "courriel", "mail"] + # --- VOTRE REGEX TÉLÉPHONE, ADAPTÉE POUR PRESIDIO --- + - name: CustomBelgianPhoneRecognizer + supported_language: fr + supported_entity: BE_PHONE_NUMBER + patterns: + - name: Belgian Phone Pattern (votre regex adaptée) + # J'ai doublé les backslashes et remplacé ^/$ par \b + regex: "\\b(((\\+|00)32[ ]?(?:\\(0\\)[ ]?)?)|0)?4\\d{2}(\\s?\\d{2}[\\s\\.]?){3}\\b" + score: 1.0 + context: ["téléphone", "tel", "gsm", "mobile"] + + - name: CustomCreditCardRecognizer + supported_language: fr + supported_entity: CREDIT_CARD_NUMBER + patterns: + - name: Credit Card with spaces (Visa, Mastercard) + regex: "\\b(?:4[0-9]{3}(?:[ -]?[0-9]{4}){3}|5[1-5][0-9]{2}(?:[ -]?[0-9]{4}){3})\\b" + score: 0.95 + context: ["carte", "visa", "mastercard"] + + - name: IbanRecognizer + supported_language: fr + supported_entity: IBAN + patterns: [{name: IBAN Pattern, regex: "\\b[A-Z]{2}[0-9]{2}\\s?(?:[A-Z0-9]{4}\\s?){2,7}[A-Z0-9]{1,4}\\b", score: 0.95}] + context: ["iban", "compte"] + + + - name: SmartOrganizationRecognizer + supported_language: fr + supported_entity: ORGANIZATION + patterns: + - name: Company Name with Legal Form + regex: "\\b([A-Z][a-zà-ÿ]+(?:\\s[A-Z][a-zà-ÿ]+)*)\\s+(SPRL|SARL|SA|SCS|SNC)\\b" + score: 1.0 + context: ["société", "entreprise"] + + # --- NUMÉROS D'IDENTIFICATION --- + - name: BelgianEnterpriseRecognizer + supported_language: fr + supported_entity: BE_ENTERPRISE_NUMBER + patterns: [{name: BE Enterprise Number, regex: "\\bBE\\s?0\\d{3}[\\.\\s]?\\d{3}[\\.\\s]?\\d{3}\\b", score: 0.95}] + context: ["numéro d'entreprise", "BCE"] + + - name: BelgianNRNRecognizer + supported_language: fr + supported_entity: BE_NATIONAL_REGISTER_NUMBER + patterns: [{name: NRN Pattern, regex: "\\b[0-9]{2}\\.[0-9]{2}\\.[0-9]{2}-[0-9]{3}\\.[0-9]{2}\\b", score: 1.0}] + context: ["registre national"] + + - name: FrenchINSEERecognizer + supported_language: fr + supported_entity: FR_SOCIAL_SECURITY_NUMBER + patterns: + - name: INSEE Pattern with flexible spaces + regex: "\\b[12]\\s*[0-9]{2}\\s*(?:0[1-9]|1[0-2])\\s*(?:2[ABab]|[0-9]{2})\\s*[0-9]{3}\\s*[0-9]{3}[\\s]?[0-9]{2}\\b" + score: 0.95 + context: ["sécurité sociale", "insee", "nir"] + # 3. LISTE D'EXCLUSION (ALLOW LIST) # ===================================================================== allow_list: + - Adresse + - ADRESSE - Contrat + - Document + - Société + - Investisseur + - Montant + - Prêt + - Intérêt + - Partie + - Parties + - Annexe + - Remboursement + - Conversion + - Financement + - Sortie + - "Juste Valeur Marchande" + - Échéance + - Clause + - Clauses + - Principe + - Coûts + - Notifications + - Article + - Paragraphe + - Directeur + - Gérant + - Président + - DocuSign - SPRL + - SA - Loi + - Code + - Règlement + - Décret + - Arrêté - Euro + - EUR + - Euros + - Taux + - Valeur + - Prix # 4. CONFIGURATION DES TRANSFORMATIONS D'ANONYMISATION # ===================================================================== anonymizer_config: default_anonymizers: + # Entités détectées par l'IA (Spacy) et les règles de base de Presidio PERSON: replace LOCATION: replace ORGANIZATION: replace - IP_ADDRESS: replace + DATE_TIME: replace MONEY: replace - FLEXIBLE_DATE: replace - BE_ADDRESS: replace - BE_PHONE_NUMBER: replace - BE_BANK_ACCOUNT: replace - BE_ENTERPRISE_VAT_NUMBER: replace - SPECIFIC_ID: replace + + # Entités détectées par nos règles personnalisées + CUSTOM_DATE: replace + CREDIT_CARD_NUMBER: replace EMAIL_ADDRESS: replace + IBAN: replace + BE_ENTERPRISE_NUMBER: replace + BE_NATIONAL_REGISTER_NUMBER: replace + FR_SOCIAL_SECURITY_NUMBER: replace + SWIFT_CODE: replace + BE_PHONE_NUMBER: replace replacements: PERSON: "" LOCATION: "" ORGANIZATION: "" - IP_ADDRESS: "" + DATE_TIME: "" + CUSTOM_DATE: "" + CREDIT_CARD_NUMBER: "" MONEY: "" - FLEXIBLE_DATE: "" - BE_ADDRESS: "" - BE_PHONE_NUMBER: "" - BE_BANK_ACCOUNT: "" - BE_ENTERPRISE_VAT_NUMBER: "" - SPECIFIC_ID: "" - EMAIL_ADDRESS: "" \ No newline at end of file + EMAIL_ADDRESS: "" + IBAN: "" + BE_ENTERPRISE_NUMBER: "" + BE_NATIONAL_REGISTER_NUMBER: "" + FR_SOCIAL_SECURITY_NUMBER: "" + SWIFT_CODE: "" + BE_PHONE_NUMBER: ""