Le projet WebSentiment propose un modèle qui note chaque phrase d’un texte de -3 à +3, et son créateur demande aux lecteurs de l’aider à l’améliorer. Le jeu de données et les deux modèles sont en accès libre, usage commercial compris. L’idée est née d’un billet de Dan Petrovic, publié début novembre, sur un classifieur de sentiment à sept niveaux.
Là où le modèle de Dan Petrovic s’appuie sur des textes synthétiques en anglais, WebSentiment remplace l’essentiel de ces données par du vrai texte du web, en six langues : anglais, français, espagnol, allemand, italien et portugais. Le modèle principal existe en deux versions, dont une « avec contexte », qui lit chaque phrase avec le texte entier sous les yeux.
Dans l’exemple d’un avis de restaurant, la deuxième phrase aligne quatre éloges du décor avant de critiquer la cuisine. Le modèle principal lui attribue +3, alors que le modèle avec contexte la classe à -2, plus près de la note de l’étiqueteur, le LLM qui a annoté le jeu de données.
Des usages pour le SEO
La source décrit plusieurs usages. On peut d’abord auditer le ton d’une page en notant chaque phrase, puis comparer les blocs entre eux. Sur une page du Télégramme, un article sur un atelier d’anglais obtient +2, mais le bloc « Articles à la une » qui suit, avec une grève SNCF et un « Dérapage en bourse », reçoit -2 du modèle et -3 de l’étiqueteur. Le modèle note le ton des mots, et un fait tragique rapporté sobrement peut donc sortir très négatif.
On peut aussi suivre les avis et les fils de forum en lisant d’abord les phrases à -2 et -3, ou comparer les mentions d’une marque d’un pays à l’autre, puisque les six langues partagent la même échelle. Le modèle ignore cependant à qui s’adresse une phrase, et l’ironie reste son point faible. Le score ne dit rien non plus des clics : pour savoir si un ton fonctionne mieux, il faut croiser avec ses propres statistiques.
Des notes humaines pour progresser
Les notes d’entraînement viennent toutes d’un LLM, ce qui signifie que le modèle en hérite les intuitions et les angles morts. Il manque donc des notes humaines sur de vraies phrases du web. Le projet compte sur 1 200 phrases, dans les six langues, affichées avec le passage d’où elles viennent. Il suffit de choisir une note pour chaque phrase, sans bonne réponse à trouver, sur le site où l’on peut noter quelques phrases. Une inscription avec un compte Hugging Face gratuit est nécessaire, et les contributeurs qui le souhaitent sont cités dans la fiche du jeu de référence.
Côté technique, le modèle est une petite couche de 119 Ko posée sur EmbeddingGemma-300m, un modèle d’embeddings ouvert de Google. Il tourne sur un ordinateur portable, et même dans le navigateur. EmbeddingGemma étant en accès contrôlé, il faut accepter ses conditions sur Hugging Face avant le premier appel. Le jeu de données est sous ODC-By 1.0, et les modèles sous CC BY 4.0.
Sur neuf jeux de test annotés par des humains, le modèle atteint 0,673 de macro-F1 en trois classes. Pour un long document, il faut le découper en phrases ou en paragraphes, puis faire la moyenne des notes.
Product offers are temporarily unavailable.
