Instructions to use JPMSA1212/distilbert-ner-masquener with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Transformers.js
How to use JPMSA1212/distilbert-ner-masquener with Transformers.js:
// npm i @huggingface/transformers import { pipeline } from '@huggingface/transformers'; // Allocate pipeline const pipe = await pipeline('token-classification', 'JPMSA1212/distilbert-ner-masquener');
distilbert-ner-masquener
English summary. A DistilBERT NER model (PER, ORG, LOC) fine-tuned to recognise names of people, places and
organisations in Ivorian and French documents, so that personal data can be masked in the browser before a text is
sent to an AI assistant. Trained only on synthetic sentences (no real personal data). Same size, format and labels as
the base model. Version 5; version 1 remains available at revision 17efe1a7.
Modèle de reconnaissance de noms (personnes, lieux, organisations) adapté aux documents de Côte d'Ivoire et de France. Il sert à masquer les données personnelles directement dans le navigateur, avant qu'un texte soit envoyé à une IA.
C'est un affinage complet de Davlan/distilbert-base-multilingual-cased-ner-hrl
(révision d421f57d), livré au même format que sa version ONNX
Xenova/distilbert-base-multilingual-cased-ner-hrl :
mêmes étiquettes, même tokenizer, ONNX quantifié en entiers 8 bits (135 Mo).
Versions
- v5 (actuelle) : Côte d'Ivoire et France ; documents sur plusieurs lignes, formulaires, textes en capitales, initiales, formes juridiques ; exemples sans aucun nom en six langues. ONNX seulement.
- v1 (révision
17efe1a7ee07d7074923c63f5a1280606f6b02e5) : Côte d'Ivoire seule ; ONNX et poids PyTorch.
Résultats
« Référence » = le modèle de départ, mesuré avec le même code, sur la version ONNX quantifiée (celle du navigateur).
| Jeu | Référence | v5 |
|---|---|---|
| Documents administratifs ivoiriens réels (25) · part des noms entièrement masqués | 67,8 % | 83,9 % |
| · précision du masquage (masquages qui tombent sur une valeur attendue) | 73,4 % | 81,9 % |
| · F1 strict, personnes / lieux | 0,40 / 0,60 | 0,57 / 0,70 |
| Phrases synthétiques ivoiriennes (modèles et noms jamais vus à l'entraînement), F1 | 0,470 | 0,705 |
| Phrases synthétiques françaises, F1 | 0,668 | 0,883 |
| Phrases sans aucun nom (six langues), laissées intactes | 53 % | 67 % |
| CoNLL 2002/2003 (en, es, nl), F1 moyen | 0,896 | 0,896 |
| MasakhaNER 2.0 (20 langues africaines), F1 moyen | 0,439 | 0,436 |
| WikiANN (10 langues, étiquettes automatiques, indicatif), F1 moyen | 0,560 | 0,563 |
Cas difficiles écrits à la main (21 familles de 50 phrases, part des noms masqués) :
| Famille | Référence | v5 |
|---|---|---|
| Prénoms qui sont aussi des mots (Prudence, Bienvenu…) | 82 % | 98 % |
| NOM Prénom, initiales (K. Brou, M.-L. Kassi) | 58 % | 89 % |
| Documents en capitales | 25 % | 53 % |
| Formes juridiques (SARL, GmbH, S.p.A.…) | 67 % | 89 % |
| Services internes, phrases laissées intactes | 15 / 50 | 34 / 50 |
Contrôle d'acceptation. 62 mesures bloquantes (jeux publics, phrases synthétiques par pays, familles, corpus réels). Une mesure bloque si elle recule de plus de 0,5 point et si ce recul est significatif : comparaison appariée des deux modèles sur les mêmes phrases (bootstrap, par modèle de phrase pour les phrases synthétiques), corrigée du nombre de mesures (Holm). Résultat : aucun échec ; deux alertes non bloquantes (précision sur les adresses avec repères, −6 points, et sur les rues portant un nom de personne, −4 points).
Données d'entraînement
60 000 phrases :
- 20 000 phrases inventées (Côte d'Ivoire, France, et exemples sans nom en six langues). Environ 230 modèles de phrases (courriers, fiches, tableaux, courriels, messages, demandes à un assistant) dont les cases sont remplies au hasard à partir de listes publiques : villes, quartiers, villages, écoles, établissements, entreprises (data.gouv.ci, OpenStreetMap, Insee, Code officiel géographique, Wikidata), institutions (listes écrites à la main). Les personnes sont composées de prénoms et noms de famille isolés, recombinés au hasard : aucun nom complet réel. Une part des phrases est écrite en capitales, ou remise en majuscules mot par mot.
- 40 000 phrases de révision (CoNLL 2002/2003 en, es, nl ; WikiANN, 10 langues), dont les étiquettes d'origine sont remplacées par les prédictions du modèle de départ (distillation), pour qu'il n'oublie pas ce qu'il savait.
Aucune donnée personnelle réelle n'a servi à l'entraînement. Les documents réels servent seulement d'examen ; ils ne sont pas publiés. Modèles de phrases, listes et jeux de test séparés : aucun modèle de phrase ni aucun nom n'est commun à l'entraînement et à l'examen.
Entraînement : 3 époques, pas d'apprentissage 2e-5, lots de 32, GPU T4 (Kaggle) ; la meilleure passe (perte de validation) est gardée.
Utilisation
JavaScript, dans le navigateur (transformers.js) :
import { pipeline } from "@huggingface/transformers";
const ner = await pipeline("token-classification", "JPMSA1212/distilbert-ner-masquener", { dtype: "q8" });
// une entrée par sous-mot (B-PER, I-PER…) ; à regrouper en entités comme dans le dépôt
const tokens = await ner("Monsieur YAO Exemple, domicilié à Koumassi, est convoqué à Sinfra.");
Python : la v5 n'existe qu'en ONNX ; voir masquener/onnx_ner.py dans le
dépôt MasqueNER (onnxruntime et tokenizers). Les poids PyTorch de la v1
restent disponibles à sa révision.
Les noms des exemples sont fictifs.
Étiquettes : O, B-/I-PER, B-/I-ORG, B-/I-LOC, B-/I-DATE. Le modèle ne prédit pas les dates (le modèle de
départ non plus) : elles relèvent de règles à part.
Limites
- Mots ordinaires masqués à tort dans certaines tournures : « arrive à échéance », titres en capitales comme « FICHE DE SUIVI », repères d'adresse (« près des halles »).
- Noms écrits en minuscules (« sophie », « ford ») : encore souvent manqués.
- Erreurs de type : un nom peut être masqué avec le mauvais type (une ville prise pour une personne). Pour le masquage, le nom est caché quand même.
- Petit corpus réel : 25 documents, 120 noms de personnes, 165 lieux. Les organisations y sont peu annotées.
- Langues africaines : la moyenne MasakhaNER recule de 0,3 point (non significatif) ; 12 langues sur 20 reculent un peu, jusqu'à −3,1 points (ewe), −2,2 (yoruba), −2,0 (fon).
- Français seulement pour la Côte d'Ivoire : rien n'a été fait pour le dioula, le baoulé ou les autres langues locales.
- Comme tout modèle de détection, il peut laisser passer des noms : il réduit le risque de fuite, il ne le supprime pas.
Licence et attribution
- Modèle : AFL-3.0, comme le modèle de départ de David Adelani (Davlan).
- Listes de lieux, de personnes et d'organisations : Licence Ouverte 2.0 (data.gouv.ci, Insee, Code officiel
géographique), ODbL 1.0 (© contributeurs OpenStreetMap), CC0 (Wikidata). Détail dans
countries/LICENSE-DATA.mddu dépôt. - Jeux d'évaluation : CoNLL 2002/2003, MasakhaNER 2.0, WikiANN, à révisions figées.
- Downloads last month
- 56