Miss Client 2015 : qui sera l’agent virtuel de la relation client de l’année ?

Cette année a eu lieu la 6ème édition de Miss / Mister Client, l’élection du meilleur agent virtuel intelligent dans le domaine de la relation client en France. Dans le cadre de ce concours 28 candidats (dont 11 nouveaux) se sont affrontés sans le savoir, testés via de réelles expériences de dialogue et évalués par le jury suivant un protocole précis.

Ce jury, principalement constitué d’étudiants du Master 2 Marketing Opérationnel International de l’Université de Paris Ouest, a été supervisé tout au long du concours par le Professeur Pauline de Pechpeyrou et par une équipe d’étudiantes en charge de coordonner le projet.

Photo Miss Client 2015

 

Agent virtuel : simple machine ou véritable intelligence ?

Un agent virtuel, c’est un personnage qui propose une assistance aux visiteurs d’un site internet. Sa première vertu sur un site est de traiter les demandes basiques qui sont pour la moitié sans réponse, comme nous l’apprend Eptica dans son étude Les marques françaises et l’expérience client omnicanal en ligne (édition 2014) : « 49 % des questions des internautes sont restées sans réponse ». Il répond donc aux internautes 24 heures sur 24 et 7 jours sur 7 sur un certain nombre de questions (demande d’information, recherche sur le site, conseil pour un achat…) et de ce fait améliore, pour ce qui est des sites marchands, le taux de conversion des visiteur.

Au départ assez basiques, ils sont devenus de plus en plus sophistiqués : certains parlent, bougent et ont une apparence réelle. Nous pouvons alors légitimement nous demander : jusqu’où iront ces améliorations ? En 1950, Alan Turing propose un test permettant d’évaluer l’intelligence artificielle en déterminant si un logiciel est doué de pensée et capable de reproduire l’intelligence humaine. Il consiste à établir un dialogue entre un humain d’un côté, et un tiers de l’autre (soit un ordinateur, soit un humain). Si à la fin de la conversation l’humain n’est pas capable de savoir s’il dialoguait avec un humain ou une machine, on peut considérer que l’ordinateur a réussi le test et possède une apparence sémantique humaine. Pure science-fiction ou réalité proche ? Même s’il nous faudra attendre encore un peu pour être confrontés à des robots doués d’émotion comme dans Chappie), en 2014, un agent virtuel nommé Eugène Goostman a tout de même réussi le test de Turing…

Afin d’évaluer le niveau d’intelligence artificielle des agents virtuels en compétition pour Miss Client 2015, nous leur avons posé une question du test de Turing, à savoir « Aimez-vous le printemps ? » . Sur les 28 candidats, 15 ont échoués

 

 

Qui sont les candidats 2015 ?

 

Candidats_Miss Client 2015

Yoko – Toshiba, nouvelle candidate – Ecart type : 0,51

ü  « Graphisme très abouti »

ü  « Gestes fluides et voix agréable »

ü  « Amicale, polie et pertinente »

ü  « Bon agent »

 

Siri – Apple – Ecart type : 0,79

ü  « Réponses plutôt pertinentes »

ü  « Peut faire preuve d’humour/culture gé »

ü  « Très polyvalent »

ü  « Très humanisé »

ü  « Facile, ludique et confortable »

 

Olivier – Lyonnaise des eaux, nouveau candidat – Ecart type : 1,13

ü  « Chaleureux et sympathique »

ü  « Surprenant et très divertissant »

ü  « Souriant »

ü  « Au top »

ü  « Réponses vraiment pertinentes »

 

Laura – EDF – Ecart type : 1,17

ü  « Comprend bien les questions »

ü  « Simple, rapide »

ü  « Mérite d’être davantage humanisée »

 

Inès – Nespresso – Ecart type : 1,03

ü  « Chaleureuse, polie, sensible »

ü  « Pertinente »

ü  « Aide à préciser au maximum les questions posées »

 

Amélie – CNAM – Ecart type : 1,45

ü  “Ses réponses sont pertinentes”

ü  “L’agent est poli”

ü  “Très réceptive aux questions”

 

Zoé – Groupe IGS – Ecart type : 0,58

ü  « Ni très chaleureuse ni très humaine »

ü  «  Ne sourit pas »

 

Emilie – Numéricable, élue Miss Client 2014 – Ecart type : 1,17

ü  « Un peu mécanique »

ü  « Conversation est parfois laborieuse »

ü  « Souriante, chaleureuse, rapide, polie »

 

Sophie – CSF – Ecart type : 0,96

ü  « Pas très aboutie »

ü  « Pas très chaleureuse »

ü  « Renvoie sur des liens pas toujours en rapport avec la question»

 

OK Google – Google – Ecart type : 1,26

ü  « Relation fluide et intéressante »

ü  « Renvoie vers des liens pertinents »

ü  « Ouvre des pages Internet sans parler »

ü  « Comprend assez bien les questions »

ü  « Ne répond à aucune question personnelle »

ü  « Très faible degré d’anthropomorphisme »

ü  « Robotique, mécanique »

 

Alexandra – XL Airways, nouvelle candidate POSITIONNEMENT A REVOIR

ü  « Oriente vers d’autres pages du site »

ü  « Sympathique, souriante »

ü  « Fait des clins d’œil »

 

Théa – Citea – Ecart type : 0,33

ü  « Visible et pratique »

ü  « Aspect esthétique pas très engageant »

ü  « Dénuée d’humour »

ü  « Côté mécanique »

 

Emma – MyRungis, nouvelle candidate – Ecart type : 1,62

ü  « Dynamique, animée, enjouée, et polie »

ü  « Quelle fluidité »

ü  « Renvoie vers des listes de questions »

 

Ariane – CNRACL, nouvelle candidate – Ecart type : 1,77

ü  « A la fois professionnelle et malicieuse »

ü  « Dommage qu’elle soit dur à trouver »

ü  « Sans suggestion pertinente »

 

Claire – Ciel – Ecart type : 0,83

ü  « Très aimable »

ü  « Réponses mécaniques »

ü  « Renvois utiles »

 

Anna – IKEA – Ecart type : 1,84

ü  “Très rapide”

ü  “Rapide, efficace”

ü  “Répond rapidement”

 

Elsa – Energie Strasbourg – Ecart type : 1,50

ü  « Déficit d’humour/humanité »

ü  « Répond très rapidement »

ü  « Pratique et utile »

ü  « Dynamique et réactive »

 

Léa – Voyages SNCF – Ecart type : 2

ü  « Ne comprend pas toujours la question »

ü  « Pas du tout efficace »

ü  « Amusante et simple »

ü  « Très ludique »

 

Louise – VIDAL, nouvelle candidate – Ecart type : 1,28

ü  « Assez utile »

ü  « Ne répond que très brièvement »

ü  « Dénuée d’humour »

 

Tina – Online Trainers, nouvelle candidate – Ecart type : 1,91

ü  « Voix saccadée »

ü  « Les questions ne sont pas comprises »

 

Julie – Monalbumphoto.fr – Ecart type : 0,50

ü  « N’ai réussi à avoir aucune réponse »

ü  « Réponses automatiques »

 

Vicky – IMNET, nouvelle candidate – Ecart type : 1,14

ü  « Peu humaine »

ü  « Relativement figée »

ü  « Pas efficace »

ü  « Neutre et peu amusante »

 

Cécile – CARSAT – Ecart type : 1,37

ü  « Assez mécanique »

ü  « Simple, efficace »

 

Tom – Serre Chevalier – Ecart type : 1,29

ü  « Incompréhension »

ü  « Réponses très limitées »

ü  « Rapidité des réponses »

 

Emma – Géant de la Fête – Ecart type : 1,07

ü  « Rapidité de réponse »

ü  « Réponses très limitées »

ü  « Peu efficace »

 

Linxie – Linxea – Ecart type : 0,82

ü  « Esthétiquement originale »

ü  « Répond malicieusement »

ü  « Pas très pertinente »

 

Béa – Brand Alley – Ecart type : 0,79

ü  « Performante seulement sur les questions basiques »

ü  « Renvoie sur des liens FAQ’s »

ü  « Pas utile »

 

Zoé – GDF Suez Dolce Vita – Ecart type : 0

ü  « Agent introuvable »

ü  « Impossible de lui parler »

ü  « Agent sûrement désactivé »

 

 

Nouveauté 2015 : les assistants vocaux !

Pour cette 6ème édition, nous avons décidé d’intégrer une toute nouvelle catégorie dans l’élection de Miss Client : les applications Siri d’Apple et OK Google de Google. Bien qu’ils n’aient pas d’apparence physique, ces agents désincarnés ont pour rôle d’être des assistants personnels intelligent, au service des utilisateurs, et entrent donc parfaitement dans les critères d’éligibilité du meilleur agent virtuel. Les travaux sur le concept de synesthésie montrent d’ailleurs comment les perceptions par un sens peuvent influencer nos jugements sur un autre sens : de la même façon qu’un parfum mentholé sera perçu comme froid et qu’un parfum vanillé sera perçu comme chaud ; un agent désincarné ayant une voix chaleureuse et enjouée sera perçu comme plus esthétique qu’un agent à la voix robotique et hachée.

 

Nouveaux agents VS. Anciens : une bataille perdue d’avance ?

Le turn-over des agents virtuels est très important, il suffit de reprendre la liste des candidats de la première édition et de la comparer à celle de cette année pour s’en rendre compte : seuls 4 agents sont toujours présents, preuve que les agents ne trouvent pas toujours leur place dans le dispositif de relation client.

Certaines entreprises développent un FAQ dynamique, d’autres améliorent leur moteur de recherche ou mettent en place un Chat et enterrent leur agent. Souvent, les entreprises sous-estiment le soin qu’il faut apporter à un agent virtuel (mise à jour des bases de connaissance, utilisation de l’historique des conversations, etc.), alors qu’il peut être une source d’information complémentaire très utile à la connaissance du client et de son comportement en ligne.

Les agents virtuels, pour rester dans la course, doivent en permanence améliorer leur performance en faisant appel à une technologie toujours plus poussée. Cette année, la moyenne globale des anciens agents est de 2.77/5, ce qui est un point relativement neutre. Mais lorsqu’on ne s’intéresse qu’aux nouveaux agents, on constate que la moyenne passe à 3.37/5… Les nouveaux agents sont donc globalement plus performants. Preuve en est : le podium est entièrement occupé par de nouveaux agents (Yoko / Siri / Olivier) ! Attention tout de même à ne pas généraliser, puisque certains nouveaux agents ne sont pas assez performants pour déloger des agents plus anciens (Vicky se classe 21ème, par exemple).