L’IA Generative aurait-elle tout compris à l’effet Barnum ?

🔎 C'est le sentiment qu'on peut avoir en faisant une petite expérience de prédiction réalisée sur BARD IA de Google. Cela nous rappelle que l'usage raisonné de modèles prédictifs et d'aides à la prise de décision doit s'appuyer sur la pensée critique... 

l’ IA Generative ne cesse de se déployer dans tous les domaines économiques et industriels. Chaque jour déroule son lot d’annonces en matière d’innovation, de développement de nouveaux services ou d’une nouvelle licorne sur le sujet. Récemment, Schneider Electric annonce le déploiement de l’IA Generative auprès de ses techniciens et commerciaux pour gagner en efficacité et en pertinence auprès de ses clients.

De nombreux acteurs de la tech promettent un saut quantique dans le domaine de la prédiction… mais attention à bien faire preuve d’esprit critique en s’en servant !

Petit rappel sur l’effet Forer (ou effet Barnum)

L’effet Barnum, « effet Forer » (du nom du psychologue américain qui a mis en évidence ce phénomène, je vous renvoie à l’expérience qu’il a fait avec des étudiants en 1948 : https://fr.wikipedia.org/wiki/Effet_Barnum) , « effet de validation subjective », désigne un biais cognitif induisant toute personne à accepter une vague description de la personnalité comme s'appliquant spécifiquement à elle-même. L’astrologie, ou la cartomancie, s’appuie beaucoup sur ce biais pour faire des prédictions dans lesquelles tout le monde se reconnaîtra.

C’est beaucoup employé quand on vous prédit un événement négatif (accident, maladie, échec…). Vous avez 4 possibilités de réactions :

Prédiction astrologique et IA Generative

Avec quelques amis, nous avons demandé à BARD IA quel était mon horoscope pour 2024 (CHAT GPT a été plus prudent et n'a rien voulu répondre, il a prétexté que ses données s’arrêtaient en janvier 2022 !). La réponse a été très exhaustive :

2024, une année de changement et de transformation… Vous serez confronté.e à de nouveaux défis et opportunités, et vous devrez faire preuve d'adaptabilité et de résilience pour les relever… Vous devrez faire preuve de leadership et d'initiative pour réussir. Voici quelques conseils pour tirer le meilleur parti de l'année 2024 : Soyez ouvert.e aux changements et aux opportunités | Ne laissez pas la peur vous empêcher de prendre des risques | Faites confiance à votre intuition.

On a même le droit à des conseils en amour, santé et argent :

Amour : Si vous êtes célibataire, vous rencontrerez quelqu'un de spécial en 2024…Santé : En 2024, vous devrez faire attention à votre santé. Vous êtes susceptible d'être stressée ou fatiguée. Argent : En 2024, vous aurez des opportunités de gagner plus d'argent. Cependant, vous devrez également faire attention à vos dépenses.

En général, l'année 2024 sera une année de défis et de changements pour vous…Cependant, si vous êtes prête à relever ces défis, vous pourrez réaliser de grandes choses.”

Cela raisonne pas mal et certains peuvent s’y retrouver facilement. Le problème, c’est que BARD IA a sorti les mêmes prédictions, quasiment mot pour mot, pour toutes les personnes autour de la table et je peux vous garantir que nous n’avions pas le même signe astrologique !

J’ai fini par poser la question “pourquoi nous avons tous le même horoscope ?”. La réponse a été sans appel : “En effet, les prévisions pour les Balances, les Lions et les Capricornes sont assez similaires pour l'année 2024. Tous ces signes du zodiaque seront confrontés à des changements et des opportunités, et ils devront faire preuve d'adaptabilité et de résilience pour les relever.” L’IA generative a tout de même voulu me sortir des conseils “qui sont spécifiques pour moi et qui vont aider à tirer le meilleur parti de l'année 2024 :

Sur le plan professionnel, faites des recherches et préparez-vous à votre changement de carrière ou de poste. Soyez prêt à travailler dur et à faire des sacrifices.

Sur le plan personnel, prenez le temps de réfléchir à ce que vous voulez dans votre vie amoureuse ou familiale. Soyez prêt à faire des changements pour obtenir ce que vous voulez.

Sur le plan de la santé, faites de l'exercice régulièrement et mangez une alimentation saine. Prenez le temps de vous détendre et de vous reposer.

Moralité : tout le monde pourrait appliquer ces conseils.

Prévision et pensée critique

Au-delà du test ludique qui n’a rien de scientifique, il convient de rappeler que toute processus de décision ou validation de prédiction doit s’appuyer sur la pensée critique, c’est-à-dire une activité principale rationnelle, basée sur le questionnement et la remise en cause de préjugés ou opinions préconçues. L’IA générative peut apporter un éclairage, mais ne doit être en aucun cas le seule voie pour deux raisons majeures :

Les données sur lesquelles l'IA générative est entraînée peuvent refléter les biais présents dans la société. Cela signifie que l'IA générative peut produire des résultats qui sont eux-mêmes biaisés.

l'IA générative est souvent considérée comme une boîte noire. Cela signifie qu'il peut être difficile de comprendre comment elle arrive à ses résultats.

En entreprise, il est intéressant de définir et mettre en place une grille de scoring, basée sur un corpus de questions factuelles, pour aider à prendre du recul sur la pertinence ou maturité d’un projet d'investissement.

Pour maximiser la controverse et faire les bons choix, nous pouvons imaginer par exemple trois groupes distincts dans une entité :

L’équipe 1 fait appel à l’IA Generative pour produire la prédiction A

L’équipe 2 fait une analyse sans IA Generative pour produire la prédiction B (basé entre autre sur la grille de scoring)

Une troisième personne présente la comparaison des 2 scénarii, fait une synthèse et recommandation

L’usage couplé de l’IA avec des outils de scoring et une bonne gouvernance permet un choix éclairé et d’accélérer la prise de décision. L’IA Generative seule risque d’introduire des biais … A quand les formations en biais cognitif et pensée critique en entreprise ?