distilbert-ner-masquener

English summary. A DistilBERT NER model (PER, ORG, LOC) fine-tuned to recognise names of people, places and organisations in Ivorian and French documents, so that personal data can be masked in the browser before a text is sent to an AI assistant. Trained only on synthetic sentences (no real personal data). Same size, format and labels as the base model. Version 5; version 1 remains available at revision 17efe1a7.


Modèle de reconnaissance de noms (personnes, lieux, organisations) adapté aux documents de Côte d'Ivoire et de France. Il sert à masquer les données personnelles directement dans le navigateur, avant qu'un texte soit envoyé à une IA.

C'est un affinage complet de Davlan/distilbert-base-multilingual-cased-ner-hrl (révision d421f57d), livré au même format que sa version ONNX Xenova/distilbert-base-multilingual-cased-ner-hrl : mêmes étiquettes, même tokenizer, ONNX quantifié en entiers 8 bits (135 Mo).

Versions

  • v5 (actuelle) : Côte d'Ivoire et France ; documents sur plusieurs lignes, formulaires, textes en capitales, initiales, formes juridiques ; exemples sans aucun nom en six langues. ONNX seulement.
  • v1 (révision 17efe1a7ee07d7074923c63f5a1280606f6b02e5) : Côte d'Ivoire seule ; ONNX et poids PyTorch.

Résultats

« Référence » = le modèle de départ, mesuré avec le même code, sur la version ONNX quantifiée (celle du navigateur).

Jeu Référence v5
Documents administratifs ivoiriens réels (25) · part des noms entièrement masqués 67,8 % 83,9 %
· précision du masquage (masquages qui tombent sur une valeur attendue) 73,4 % 81,9 %
· F1 strict, personnes / lieux 0,40 / 0,60 0,57 / 0,70
Phrases synthétiques ivoiriennes (modèles et noms jamais vus à l'entraînement), F1 0,470 0,705
Phrases synthétiques françaises, F1 0,668 0,883
Phrases sans aucun nom (six langues), laissées intactes 53 % 67 %
CoNLL 2002/2003 (en, es, nl), F1 moyen 0,896 0,896
MasakhaNER 2.0 (20 langues africaines), F1 moyen 0,439 0,436
WikiANN (10 langues, étiquettes automatiques, indicatif), F1 moyen 0,560 0,563

Cas difficiles écrits à la main (21 familles de 50 phrases, part des noms masqués) :

Famille Référence v5
Prénoms qui sont aussi des mots (Prudence, Bienvenu…) 82 % 98 %
NOM Prénom, initiales (K. Brou, M.-L. Kassi) 58 % 89 %
Documents en capitales 25 % 53 %
Formes juridiques (SARL, GmbH, S.p.A.…) 67 % 89 %
Services internes, phrases laissées intactes 15 / 50 34 / 50

Contrôle d'acceptation. 62 mesures bloquantes (jeux publics, phrases synthétiques par pays, familles, corpus réels). Une mesure bloque si elle recule de plus de 0,5 point et si ce recul est significatif : comparaison appariée des deux modèles sur les mêmes phrases (bootstrap, par modèle de phrase pour les phrases synthétiques), corrigée du nombre de mesures (Holm). Résultat : aucun échec ; deux alertes non bloquantes (précision sur les adresses avec repères, −6 points, et sur les rues portant un nom de personne, −4 points).

Données d'entraînement

60 000 phrases :

  • 20 000 phrases inventées (Côte d'Ivoire, France, et exemples sans nom en six langues). Environ 230 modèles de phrases (courriers, fiches, tableaux, courriels, messages, demandes à un assistant) dont les cases sont remplies au hasard à partir de listes publiques : villes, quartiers, villages, écoles, établissements, entreprises (data.gouv.ci, OpenStreetMap, Insee, Code officiel géographique, Wikidata), institutions (listes écrites à la main). Les personnes sont composées de prénoms et noms de famille isolés, recombinés au hasard : aucun nom complet réel. Une part des phrases est écrite en capitales, ou remise en majuscules mot par mot.
  • 40 000 phrases de révision (CoNLL 2002/2003 en, es, nl ; WikiANN, 10 langues), dont les étiquettes d'origine sont remplacées par les prédictions du modèle de départ (distillation), pour qu'il n'oublie pas ce qu'il savait.

Aucune donnée personnelle réelle n'a servi à l'entraînement. Les documents réels servent seulement d'examen ; ils ne sont pas publiés. Modèles de phrases, listes et jeux de test séparés : aucun modèle de phrase ni aucun nom n'est commun à l'entraînement et à l'examen.

Entraînement : 3 époques, pas d'apprentissage 2e-5, lots de 32, GPU T4 (Kaggle) ; la meilleure passe (perte de validation) est gardée.

Utilisation

JavaScript, dans le navigateur (transformers.js) :

import { pipeline } from "@huggingface/transformers";

const ner = await pipeline("token-classification", "JPMSA1212/distilbert-ner-masquener", { dtype: "q8" });
// une entrée par sous-mot (B-PER, I-PER…) ; à regrouper en entités comme dans le dépôt
const tokens = await ner("Monsieur YAO Exemple, domicilié à Koumassi, est convoqué à Sinfra.");

Python : la v5 n'existe qu'en ONNX ; voir masquener/onnx_ner.py dans le dépôt MasqueNER (onnxruntime et tokenizers). Les poids PyTorch de la v1 restent disponibles à sa révision.

Les noms des exemples sont fictifs.

Étiquettes : O, B-/I-PER, B-/I-ORG, B-/I-LOC, B-/I-DATE. Le modèle ne prédit pas les dates (le modèle de départ non plus) : elles relèvent de règles à part.

Limites

  • Mots ordinaires masqués à tort dans certaines tournures : « arrive à échéance », titres en capitales comme « FICHE DE SUIVI », repères d'adresse (« près des halles »).
  • Noms écrits en minuscules (« sophie », « ford ») : encore souvent manqués.
  • Erreurs de type : un nom peut être masqué avec le mauvais type (une ville prise pour une personne). Pour le masquage, le nom est caché quand même.
  • Petit corpus réel : 25 documents, 120 noms de personnes, 165 lieux. Les organisations y sont peu annotées.
  • Langues africaines : la moyenne MasakhaNER recule de 0,3 point (non significatif) ; 12 langues sur 20 reculent un peu, jusqu'à −3,1 points (ewe), −2,2 (yoruba), −2,0 (fon).
  • Français seulement pour la Côte d'Ivoire : rien n'a été fait pour le dioula, le baoulé ou les autres langues locales.
  • Comme tout modèle de détection, il peut laisser passer des noms : il réduit le risque de fuite, il ne le supprime pas.

Licence et attribution

  • Modèle : AFL-3.0, comme le modèle de départ de David Adelani (Davlan).
  • Listes de lieux, de personnes et d'organisations : Licence Ouverte 2.0 (data.gouv.ci, Insee, Code officiel géographique), ODbL 1.0 (© contributeurs OpenStreetMap), CC0 (Wikidata). Détail dans countries/LICENSE-DATA.md du dépôt.
  • Jeux d'évaluation : CoNLL 2002/2003, MasakhaNER 2.0, WikiANN, à révisions figées.
Downloads last month
56
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for JPMSA1212/distilbert-ner-masquener

Quantized
(3)
this model