Actualiser conf/default.yaml
This commit is contained in:
@@ -1,195 +1,152 @@
|
||||
# =====================================================================
|
||||
# CONFIGURATION PRESIDIO - v24 (COMPLÈTE, AVEC VOTRE REGEX TÉLÉPHONE)
|
||||
# CONFIGURATION PRESIDIO - v26-BE (VERSION HAUTE-PRÉCISION)
|
||||
# =====================================================================
|
||||
supported_languages: [en, fr]
|
||||
supported_languages: [fr, en]
|
||||
|
||||
# 1. CONFIGURATION DU MOTEUR NLP
|
||||
# =====================================================================
|
||||
nlp_configuration:
|
||||
nlp_engine_name: spacy
|
||||
models:
|
||||
- lang_code: en
|
||||
model_name: en_core_web_lg
|
||||
- lang_code: fr
|
||||
model_name: fr_core_news_lg
|
||||
# On ajuste les seuils pour être un peu plus confiant
|
||||
ner_model_configuration:
|
||||
labels_to_ignore:
|
||||
- MISC
|
||||
- CARDINAL
|
||||
- EVENT
|
||||
- LANGUAGE
|
||||
- LAW
|
||||
- ORDINAL
|
||||
- PERCENT
|
||||
- PRODUCT
|
||||
- QUANTITY
|
||||
- WORK_OF_ART
|
||||
confidence_thresholds:
|
||||
DEFAULT_CONFIDENCE: 0.65
|
||||
PERSON: 0.85
|
||||
LOCATION: 0.4
|
||||
ORGANIZATION: 0.55
|
||||
LOCATION: 0.8 # Augmenté pour éviter les faux positifs
|
||||
ORGANIZATION: 0.7
|
||||
|
||||
# 2. CONFIGURATION DU REGISTRE DES DÉTECTEURS
|
||||
# 2. CONFIGURATION DU REGISTRE DES DÉTECTEURS (ENTIÈREMENT REVU)
|
||||
# =====================================================================
|
||||
recognizer_registry:
|
||||
load_predefined_recognizers: true
|
||||
|
||||
recognizers:
|
||||
# --- DÉTECTEURS FIABLES ET PRÉCIS ---
|
||||
- name: CustomDateRecognizer
|
||||
# --- [AMÉLIORÉ] Détecteur de dates beaucoup plus flexible ---
|
||||
- name: FlexibleDateRecognizer
|
||||
supported_language: fr
|
||||
supported_entity: CUSTOM_DATE
|
||||
supported_entity: FLEXIBLE_DATE
|
||||
patterns:
|
||||
- name: Date JJ/MM/AAAA
|
||||
- name: Date format JJ mois AAAA (ex: 15 mars 2025)
|
||||
regex: "\\b(0?[1-9]|[12][0-9]|3[01])\\s+(janvier|février|mars|avril|mai|juin|juillet|août|septembre|octobre|novembre|décembre)\\s+(19|20)\\d{2}\\b"
|
||||
score: 1.0
|
||||
- name: Date format JJ/MM/AAAA (ex: 12/08/1978)
|
||||
regex: "\\b(0[1-9]|[12][0-9]|3[01])[-/.](0[1-9]|1[012])[-/.](19|20)\\d{2}\\b"
|
||||
score: 1.0
|
||||
context: ["date de naissance", "né le"]
|
||||
context: ["date", "né le", "signé le", "incident du"]
|
||||
|
||||
# --- [AMÉLIORÉ] Détecteur d'adresses belges plus robuste ---
|
||||
- name: BelgianAddressRecognizer
|
||||
supported_language: fr
|
||||
supported_entity: BE_ADDRESS
|
||||
patterns:
|
||||
# Capture "45 Avenue Louise, 1050 Ixelles" et "Rue de la Loi 200, 1040 Etterbeek"
|
||||
- name: Adresse Belge complète
|
||||
regex: "\\b(?:\\d{1,4}[A-Za-z]?(?:\\s*,)?\\s+)?(?:Avenue|Rue|Boulevard|Chaussée|Place|Quai|Impasse|Drève)(?:\\s+(?:de|la|le|d'|des))?(?:\\s+[A-Z][a-zà-ÿ'-]+)+,?(?:\\s+\\d{1,4}[A-Za-z]?)?,\\s*\\d{4}\\s+[A-Za-zà-ÿ'-]+"
|
||||
score: 1.0
|
||||
context: ["demeurant", "adresse", "siège social", "bureaux situés"]
|
||||
|
||||
# --- [AMÉLIORÉ] Détecteur de téléphone belge (fixe/mobile) ---
|
||||
- name: BelgianPhoneRecognizer
|
||||
supported_language: fr
|
||||
supported_entity: BE_PHONE_NUMBER
|
||||
patterns:
|
||||
# Capture "02/456.78.90" avec n'importe quel séparateur
|
||||
- name: Numéro téléphone Belge avec séparateurs
|
||||
regex: "\\b0[1-9](?:[./\\s]?\\d{2,3}){3}\\b"
|
||||
score: 0.95
|
||||
context: ["Tel", "Tél", "téléphone"]
|
||||
|
||||
# --- [NOUVEAU ET CRUCIAL] Détecteur générique pour les coordonnées bancaires ---
|
||||
- name: BelgianBankAccountRecognizer
|
||||
supported_language: fr
|
||||
supported_entity: BE_BANK_ACCOUNT
|
||||
patterns:
|
||||
# Capture tous les formats IBAN belges, avec ou sans espaces
|
||||
- name: IBAN Belge
|
||||
regex: "\\bBE\\d{2}[\\s]?\\d{4}[\\s]?\\d{4}[\\s]?\\d{4}\\b"
|
||||
score: 1.0
|
||||
context: ["IBAN", "compte", "bancaires"]
|
||||
|
||||
# --- [NOUVEAU] Détecteur pour les ORGANISATIONS bancaires ---
|
||||
- name: BankOrganizationRecognizer
|
||||
supported_language: fr
|
||||
supported_entity: ORGANIZATION
|
||||
# Utilise des mots-clés plutôt que des regex pour identifier les banques
|
||||
deny_list: ["Banque Nationale de Belgique"] # Pour éviter les faux positifs sur les institutions publiques
|
||||
supported_tokens: ["BNP Paribas Fortis", "CBC Banque", "KBC", "ING", "Belfius"]
|
||||
# Le score élevé assure que ce détecteur prime sur le détecteur SpaCy par défaut
|
||||
score: 0.9
|
||||
|
||||
# --- [AMÉLIORÉ] Détecteur de numéros d'entreprise et TVA ---
|
||||
- name: BelgianEnterpriseVatRecognizer
|
||||
supported_language: fr
|
||||
supported_entity: BE_ENTERPRISE_VAT_NUMBER
|
||||
patterns:
|
||||
# Capture "BCE: 0123.456.789" et "BE0987.654.321"
|
||||
- name: Numéro BCE/TVA Belge
|
||||
regex: "\\b(BE)?\\s?0?\\d{3}[\\.\\s]?\\d{3}[\\.\\s]?\\d{3}\\b"
|
||||
score: 1.0
|
||||
context: ["BCE", "TVA", "intracommunautaire"]
|
||||
|
||||
# --- [NOUVEAU] Détecteur pour les identifiants spécifiques ---
|
||||
- name: SpecificIdRecognizer
|
||||
supported_language: fr
|
||||
supported_entity: SPECIFIC_ID
|
||||
patterns:
|
||||
- name: Numéro IEC
|
||||
regex: "(n°\\sIEC:?|IEC:?)\\s*\\d{6}"
|
||||
score: 1.0
|
||||
context: ["expert-comptable"]
|
||||
|
||||
# --- Détecteurs standards mais essentiels ---
|
||||
- name: EmailRecognizer
|
||||
supported_language: fr
|
||||
supported_entity: EMAIL_ADDRESS
|
||||
patterns: [{name: Email Pattern, regex: "\\b[A-Za-z0-9._%+-]+@[A-Za-z0-9.-]+\\.[A-Z|a-z]{2,}\\b", score: 1.0}]
|
||||
context: ["email", "courriel", "mail"]
|
||||
|
||||
# --- VOTRE REGEX TÉLÉPHONE, ADAPTÉE POUR PRESIDIO ---
|
||||
- name: CustomBelgianPhoneRecognizer
|
||||
supported_language: fr
|
||||
supported_entity: BE_PHONE_NUMBER
|
||||
patterns:
|
||||
- name: Belgian Phone Pattern (votre regex adaptée)
|
||||
# J'ai doublé les backslashes et remplacé ^/$ par \b
|
||||
regex: "\\b(((\\+|00)32[ ]?(?:\\(0\\)[ ]?)?)|0)?4\\d{2}(\\s?\\d{2}[\\s\\.]?){3}\\b"
|
||||
score: 1.0
|
||||
context: ["téléphone", "tel", "gsm", "mobile"]
|
||||
|
||||
- name: CustomCreditCardRecognizer
|
||||
supported_language: fr
|
||||
supported_entity: CREDIT_CARD_NUMBER
|
||||
patterns:
|
||||
- name: Credit Card with spaces (Visa, Mastercard)
|
||||
regex: "\\b(?:4[0-9]{3}(?:[ -]?[0-9]{4}){3}|5[1-5][0-9]{2}(?:[ -]?[0-9]{4}){3})\\b"
|
||||
score: 0.95
|
||||
context: ["carte", "visa", "mastercard"]
|
||||
|
||||
- name: IbanRecognizer
|
||||
supported_language: fr
|
||||
supported_entity: IBAN
|
||||
patterns: [{name: IBAN Pattern, regex: "\\b[A-Z]{2}[0-9]{2}\\s?(?:[A-Z0-9]{4}\\s?){2,7}[A-Z0-9]{1,4}\\b", score: 0.95}]
|
||||
context: ["iban", "compte"]
|
||||
|
||||
|
||||
- name: SmartOrganizationRecognizer
|
||||
supported_language: fr
|
||||
supported_entity: ORGANIZATION
|
||||
patterns:
|
||||
- name: Company Name with Legal Form
|
||||
regex: "\\b([A-Z][a-zà-ÿ]+(?:\\s[A-Z][a-zà-ÿ]+)*)\\s+(SPRL|SARL|SA|SCS|SNC)\\b"
|
||||
score: 1.0
|
||||
context: ["société", "entreprise"]
|
||||
|
||||
# --- NUMÉROS D'IDENTIFICATION ---
|
||||
- name: BelgianEnterpriseRecognizer
|
||||
supported_language: fr
|
||||
supported_entity: BE_ENTERPRISE_NUMBER
|
||||
patterns: [{name: BE Enterprise Number, regex: "\\bBE\\s?0\\d{3}[\\.\\s]?\\d{3}[\\.\\s]?\\d{3}\\b", score: 0.95}]
|
||||
context: ["numéro d'entreprise", "BCE"]
|
||||
|
||||
- name: BelgianNRNRecognizer
|
||||
supported_language: fr
|
||||
supported_entity: BE_NATIONAL_REGISTER_NUMBER
|
||||
patterns: [{name: NRN Pattern, regex: "\\b[0-9]{2}\\.[0-9]{2}\\.[0-9]{2}-[0-9]{3}\\.[0-9]{2}\\b", score: 1.0}]
|
||||
context: ["registre national"]
|
||||
|
||||
- name: FrenchINSEERecognizer
|
||||
supported_language: fr
|
||||
supported_entity: FR_SOCIAL_SECURITY_NUMBER
|
||||
patterns:
|
||||
- name: INSEE Pattern with flexible spaces
|
||||
regex: "\\b[12]\\s*[0-9]{2}\\s*(?:0[1-9]|1[0-2])\\s*(?:2[ABab]|[0-9]{2})\\s*[0-9]{3}\\s*[0-9]{3}[\\s]?[0-9]{2}\\b"
|
||||
score: 0.95
|
||||
context: ["sécurité sociale", "insee", "nir"]
|
||||
|
||||
# 3. LISTE D'EXCLUSION (ALLOW LIST)
|
||||
# =====================================================================
|
||||
allow_list:
|
||||
- Adresse
|
||||
- ADRESSE
|
||||
# On garde une liste minimale pour ne pas interférer
|
||||
- Contrat
|
||||
- Document
|
||||
- Société
|
||||
- Investisseur
|
||||
- Montant
|
||||
- Prêt
|
||||
- Intérêt
|
||||
- Partie
|
||||
- Parties
|
||||
- Annexe
|
||||
- Remboursement
|
||||
- Conversion
|
||||
- Financement
|
||||
- Sortie
|
||||
- "Juste Valeur Marchande"
|
||||
- Échéance
|
||||
- Clause
|
||||
- Clauses
|
||||
- Principe
|
||||
- Coûts
|
||||
- Notifications
|
||||
- Article
|
||||
- Paragraphe
|
||||
- Directeur
|
||||
- Gérant
|
||||
- Président
|
||||
- DocuSign
|
||||
- SPRL
|
||||
- SA
|
||||
- Loi
|
||||
- Code
|
||||
- Règlement
|
||||
- Décret
|
||||
- Arrêté
|
||||
- Euro
|
||||
- EUR
|
||||
- Euros
|
||||
- Taux
|
||||
- Valeur
|
||||
- Prix
|
||||
|
||||
# 4. CONFIGURATION DES TRANSFORMATIONS D'ANONYMISATION
|
||||
# =====================================================================
|
||||
anonymizer_config:
|
||||
default_anonymizers:
|
||||
# Entités détectées par l'IA (Spacy) et les règles de base de Presidio
|
||||
# Entités SpaCy et Presidio par défaut
|
||||
PERSON: replace
|
||||
LOCATION: replace
|
||||
ORGANIZATION: replace
|
||||
DATE_TIME: replace
|
||||
IP_ADDRESS: replace # Important ! Il manquait dans la config précédente
|
||||
MONEY: replace
|
||||
|
||||
# Entités détectées par nos règles personnalisées
|
||||
CUSTOM_DATE: replace
|
||||
CREDIT_CARD_NUMBER: replace
|
||||
EMAIL_ADDRESS: replace
|
||||
IBAN: replace
|
||||
BE_ENTERPRISE_NUMBER: replace
|
||||
BE_NATIONAL_REGISTER_NUMBER: replace
|
||||
FR_SOCIAL_SECURITY_NUMBER: replace
|
||||
SWIFT_CODE: replace
|
||||
# Nos entités personnalisées (avec les nouveaux noms)
|
||||
FLEXIBLE_DATE: replace
|
||||
BE_ADDRESS: replace
|
||||
BE_PHONE_NUMBER: replace
|
||||
BE_BANK_ACCOUNT: replace
|
||||
BE_ENTERPRISE_VAT_NUMBER: replace
|
||||
SPECIFIC_ID: replace
|
||||
EMAIL_ADDRESS: replace
|
||||
|
||||
replacements:
|
||||
PERSON: "<PERSONNE>"
|
||||
LOCATION: "<LIEU>"
|
||||
ORGANIZATION: "<ORGANISATION>"
|
||||
DATE_TIME: "<DATE>"
|
||||
CUSTOM_DATE: "<DATE>"
|
||||
CREDIT_CARD_NUMBER: "<NUMERO_CARTE_BANCAIRE>"
|
||||
IP_ADDRESS: "<ADRESSE_IP>"
|
||||
MONEY: "<MONTANT>"
|
||||
|
||||
FLEXIBLE_DATE: "<DATE>"
|
||||
BE_ADDRESS: "<ADRESSE_BELGE>"
|
||||
BE_PHONE_NUMBER: "<TELEPHONE_BE>"
|
||||
BE_BANK_ACCOUNT: "<COMPTE_BANCAIRE_BE>"
|
||||
BE_ENTERPRISE_VAT_NUMBER: "<NUM_BCE_TVA_BE>"
|
||||
SPECIFIC_ID: "<ID_SPECIFIQUE>"
|
||||
EMAIL_ADDRESS: "<EMAIL>"
|
||||
IBAN: "<IBAN>"
|
||||
BE_ENTERPRISE_NUMBER: "<NUM_ENTREPRISE_BE>"
|
||||
BE_NATIONAL_REGISTER_NUMBER: "<NRN_BELGE>"
|
||||
FR_SOCIAL_SECURITY_NUMBER: "<NUM_SECU_FR>"
|
||||
SWIFT_CODE: "<CODE_SWIFT>"
|
||||
BE_PHONE_NUMBER: "<BE_PHONE_NUMBER>"
|
||||
|
||||
Reference in New Issue
Block a user