Ces dernières semaines, nous avons beaucoup entendu parler de l'IA générative qui va complètement changer le paysage du marketing numérique. Lancé sur la scène en novembre 2022, ChatGPT a explosé, atteignant 1 million d'utilisateurs en seulement 5 jours. Depuis lors, elle s'est imposée dans l'usage quotidien, de la relecture d'e-mails au formatage de code, en passant par l'écriture de paroles de rap.
À fifty-five, où nous consultons les marques sur l'utilisation de la technologie pour alimenter de nouveaux cas d'utilisation marketing de pointe, il ne nous a pas fallu longtemps pour commencer à tester les capacités du nouveau chatbot le plus en vogue de la ville. En particulier, après avoir collaboré avec un grand nombre de marques connues pour migrer vers Google Analytics 4 (GA4) bien avant la disparition d'Universal Analytics, nous avons décidé de le mettre à l'épreuve sur une activité que nos consultants pratiquent régulièrement. Répondre aux questions posées par nos clients utilisant GA4. Voici les résultats :
Sur les 42 questions que nous avons posées, ChatGPT n'a fourni que 12 réponses acceptables que nous avons envoyées à nos clients, soit un taux de réussite de 29 %. Huit autres réponses (19 %) ont été jugées "semi-correctes". Elles ont soit mal interprété la question et fourni une réponse différente de celle demandée (bien que correcte sur le plan factuel), soit présenté une petite quantité d'informations erronées dans une réponse par ailleurs correcte. Par exemple, ChatGPT nous a dit que la ligne "Autres" que l'on trouve dans certains rapports GA4 est un regroupement de nombreuses lignes de données à faible volume (correct) mais que les cas où cela se produit sont définis par les "algorithmes de Google machine learning " (incorrect - il y a des règles standard en place).
Les 52 % de réponses restantes étaient factuellement incorrectes et, dans certains cas, activement trompeuses. La raison la plus fréquente est que ChatGPT n'utilise pas de données de formation au-delà de 2021, de sorte que de nombreuses mises à jour récentes ne sont pas prises en compte dans ses réponses. Par exemple, Google n'a officiellement annoncé la suppression d'Universal Analytics qu'en 2022, de sorte que ChatGPT ne pouvait pas dire quand cela se produirait. Dans ce cas, le robot a au moins mis en garde sa réponse contre ce contexte, en commençant par "À ma connaissance, la suppression aura lieu en 2021...".
Cependant, certaines des réponses restantes étaient erronées et affichaient un niveau de confiance inquiétant, comme le bot qui nous a dit que "GA4 utilise une approche basée sur machine learning pour suivre les événements et peut automatiquement identifier les événements d'achat sur la base des données qu'il recueille ".
Bienque le GA4 dispose d'événements de "mesure améliorée" suivis automatiquement, ceux-ci sont généralement définis par l'écoute d'un simple code dans les métadonnées d'une page web, plutôt que par le biais d'un modèle statistique ou de machine learning . En outre, les événements liés à l'achat n'entrent certainement pas dans le champ d'application des mesures améliorées.
Le deuxième type de réponse incorrecte s'explique par une autre limitation des données de formation du ChatGPT. Il y a beaucoup de fausses informations sur le web, ce qui, dans l'ensemble, est ce qui a été utilisé pour former le chatbot, et il est formé à l'aide de modèles. De nombreux articles d'assistance de Google sur GA4 sont parsemés du terme "machine learning", qui a ensuite été repris dans des articles externes sur la plateforme. Il n'est donc pas surprenant qu'il ait été mentionné dans les réponses à 17 questions, y compris dans la réponse incorrecte ci-dessus.
Enfin, il convient de mentionner que l'utilisation de ChatGPT comporte une part d'aléatoire : vous pouvez donner deux fois la même question au robot et obtenir des réponses légèrement différentes.
En résumé, il y a de nombreuses raisons pour lesquelles ChatGPT n'est pas tout à fait au même niveau que les consultants de fifty-fivepour ce qui est de donner des réponses équilibrées à des questions complexes sur la technologie du marketing. Cependant, il constitue un excellent point de départ pour discuter de ses réponses sur un sujet donné et poursuivre la recherche. Cela correspond à la façon dont nous voyons l'IA soutenir le lieu de travail aujourd'hui. La plupart des emplois ne risquent pas d'être complètement pris en charge par l'IA, mais des outils comme ChatGPT font un travail fantastique pour améliorer la productivité, stimuler la créativité et lancer une conversation. Comme l'écrit le BCS, "l'IA ne va pas remplacer votre emploi - mais quelqu'un qui utilise l'IA le fera".
Découvrez les dernières actualités, articles, replays de webinars et événements fifty-five dans notre newsletter mensuelle Tea O’Clock.
