1 - Introduction

La classification des phrases est une tâche qui semble relativement facile.

Après un certain temps, le modèle d’IA de votre xBot a été alimenté par de nombreuses nouvelles phrases que vous avez classées en Intentions, archivées ou supprimées.

Si vos nouvelles phrases classifiées ont une faible correspondance avec vos Intentions, sont trop similaires avec d’autres phrases d’autres Intentions, ont une faible variabilité avec les autres phrases classées dans la même Intention, vous pouvez au fil du temps déséquilibrer ou dégrader la capacité de votre xBot à reconnaître correctement les questions des utilisateurs et de fournir la bonne réponse.

Une fois qu’un modèle d’IA est déséquilibré, il n’est pas facile de le rééquilibrer. Pour y parvenir, nous avons créé un outil de diagnostic de classification, appelé Optimization (anciennement appelé Classification Helper), qui peut vous aider à optimiser le modèle IA actuel de votre xBot.

2 - L’outil Optimization*

Anciennement connu aussi sous le nom de Classification Helper

Vous pouvez accéder à cette page Optimization en cliquant sur l’icône dans le menu vertical bleu à gauche du portail my.satisfaction.AI.

Sur cette page, vous visualisez à gauche les Intentions qui n’ont pas assez de phrases.

Si vous voulez obtenir un diagnostic de la classification de vos phrases et détecter des erreurs potentiels vous pouvez cliquer à droite sur le bouton LAUNCH DIAGNOSTIC :

Une fois le diagnostic terminé (cela peut prendre quelques minutes), vous obtenez un nouvel onglet affichant les résultats .

- NB: Tous les diagnostics et optimisations sont appliqués à votre environnement de test _testing_. Pour que vos utilisateurs puissent bénéficier de ces optimisations, vous devez déployer le nouveau modèle dans votre environnement de production.

A - Potential errors page

1 - Détection d’erreurs potentielles de classification

Pour vous aider à identifier certaines erreurs potentielles dans votre classification, vous pouvez aller dans l’onglet Potential errors et découvrir si vous avez des phrases très similaires qui appartiennent à 2 intentions différentes. Si vous êtes dans le cas, cela signifie 2 choses:

Une des phrases n’est pas dans la bonne intention
Les 2 intentions sont trop similaires et peuvent causer une certaine confusion dans votre compréhension de xBot

2 - Correction des erreurs de classification

Pour chaque phrase vous pouvez :

modifier l’intention associée
ou supprimer la phrase de l’intention associée

Une fois que vous êtes satisfait de vos modifications, cliquez sur le bouton “Save” en haut à gauche.

B - High Similarity page

1 - Mesure de similarité entre phrases

Sur cette page, vous pouvez détecter dans votre classification s’il y a beaucoup de similarité entre les phrases classées dans une même intention.

Si votre modèle présente des problèmes de performance et que vous avez corrigé toutes les erreurs de classification, le problème pourrait être dû à un chevauchement (“overfitting”) de phrases .

Les informations fournies sur cette page vous aideront à améliorer la capacité de compréhension de votre xBot. Avec ce rapport, vous pourrez supprimer des phrases qui sont très similaires et n’ajoutent pas de valeur à votre modèle :

2 - Ajustement des phrases très similaires

Pour chaque phrase ayant au score élévé de similarité, vous pouvez la supprimer de l’Intention. Une fois que vous êtes satisfait de vos modifications, cliquez sur le bouton “Save” en haut à gauche.

C - Low variability page

1 - Mesure de variété de la classification

Pour qu’un modèle d’IA soit performant, chaque intention doit inclure des phrases variées afin que son noyau (cluster) de connaissances soit bien défini et délimité.

Ce rapport vous permet de voir en un coup d’œil le niveau de variabilité des intentions actuellement définies pour votre xBot.

Une barre horizontale de couleur :

grise (avec un indicateur “Variability level” à “GOOD”) signifie que la variabilité des phrases est assez bonne.
verte (avec un indicateur “Variability level” à “GREAT”) signifie que la variabilité des phrases est excellente et qu’aucune modification n’est nécessaire,
rouge (avec un indicateur “Variability level” à “LOW”) signifie que la variété des phrases est faible. Nous vous recommendons dans ce cas d’ajouter des phrases plus diversifiées à cette intention afin d’augmenter le niveau de variabilité pour cette intention,

D - Low match page

1 - Identification des phrases à faible score d’association à leur intention

Lorsqu’une phrase correspond à une intention avec un faible taux de correspondance, cela peut vouloir dire deux choses:

C’est une erreur et vous devez reclasser cette phrase

Ce n’est pas une erreur de classification humaine. Dans ce cas, le modèle d’IA de votre xBot sera amélioré si vous ajoutez quelques phrases similaires à cette intention.

2 - Ajustements des phrases à faible score de correspondance

Ce rapport liste les phrases qui match une intention avec un faible taux de correspondance. Pour chaque Intention listée, vous pouvez :

“Ajouter” (Add) plus de phrases similaires dans la même intention,

&/ou

“Supprimer” la phrase de l’intention

Une fois que vous êtes satisfait de vos modifications, cliquez sur le bouton “Save” (Sauvegarder). N’oubliez pas de ré-entraîner (Train) votre xBot (à partir de la page TRAINING du portail) afin de constater vos modification et améliorations.

Documented/reviewed 03/08/2018 17:12:55