Séminaire Axe 1/CoCoLab : The illusion of knowing: How fluent AI changes human judgment and how we see ourselves

Résumé de l'intervention 

Large language models increasingly produce answers that resemble human responses. Yet similarity in output can conceal profound differences in how those answers are produced. This talk asks what happens when output similarity is mistaken for process similarity. I first compare human and LLM epistemic pipelines. Human judgment is grounded in embodied perception, lived experience, motivation, causal reasoning, metacognitive monitoring, and value. LLM outputs, by contrast, emerge as stochastic trajectories through learned linguistic patterns. This comparison reveals seven epistemological fault lines: grounding, parsing, experience, motivation, causality, metacognition, and value. Together, they motivate the concept of Epistemia: a condition in which linguistic plausibility substitutes for epistemic evaluation, giving users the feeling of possessing an answer without having undertaken the work of judgment. I then examine two consequences of this mismatch. First, I present evidence from five experiments that the availability of predominantly incorrect AI advice nearly eliminates people's willingness to say "I don't know" and act on the limits of their knowledge. Participants answered more questions but were correct about one-third as often, while becoming roughly two and a half times as confident. Monetary incentives improved accuracy and reduced reliance on AI, but did not restore judgment suspension and accuracy to its baseline level. Second, I introduce LLMorphism: the biased belief that human cognition works like a language model. This projection may make people appear more replaceable, weaken conceptions of agency and responsibility, and privilege fluent language over embodied experience. The talk concludes by outlining three interventions: process-sensitive AI evaluation, governance of how generative outputs enter epistemic workflows, and a new epistemic literacy designed to preserve human responsibility for knowing.

Les grands modèles linguistiques (LLM) produisent de plus en plus souvent des réponses qui ressemblent à celles d’un être humain. Pourtant, la similitude des résultats peut masquer de profondes différences dans la manière dont ces réponses sont générées. Cette intervention s’interroge sur ce qui se passe lorsque la similitude des résultats est confondue avec la similitude des processus. Je commence par comparer les processus épistémiques humains et ceux des LLM. Le jugement humain repose sur la perception incarnée, l’expérience vécue, la motivation, le raisonnement causal, le contrôle métacognitif et les valeurs. Les résultats des LLM, en revanche, émergent sous forme de trajectoires stochastiques à travers des schémas linguistiques appris. Cette comparaison met en évidence sept lignes de fracture épistémologiques : l’ancrage, l’analyse syntaxique, l’expérience, la motivation, la causalité, la métacognition et les valeurs. Ensemble, elles sont à l’origine du concept d’« Epistemia » : une condition dans laquelle la plausibilité linguistique se substitue à l’évaluation épistémique, donnant aux utilisateurs le sentiment de posséder une réponse sans avoir effectué le travail de jugement nécessaire. J’examine ensuite deux conséquences de ce décalage. Premièrement, je présente des résultats issus de cinq expériences montrant que la disponibilité de conseils d’IA majoritairement erronés élimine presque totalement la disposition des personnes à dire « je ne sais pas » et à agir en fonction des limites de leurs connaissances. Les participants ont répondu à davantage de questions mais n’ont eu raison qu’environ un tiers du temps, tout en devenant environ deux fois et demie plus confiants. Des incitations financières ont amélioré la précision et réduit la dépendance à l’IA, mais n’ont pas rétabli la suspension du jugement ni la précision à leur niveau de référence. Deuxièmement, je présente le concept de « LLMorphism » : la croyance erronée selon laquelle la cognition humaine fonctionne comme un modèle linguistique. Cette projection peut donner l’impression que les personnes sont plus facilement remplaçables, affaiblir les notions d’autonomie et de responsabilité, et privilégier la maîtrise de la langue au détriment de l’expérience incarnée. L’intervention se termine par la présentation de trois pistes d’action : une évaluation de l’IA sensible aux processus, une gouvernance régissant la manière dont les résultats génératifs s’intègrent dans les flux de travail épistémiques, et une nouvelle culture épistémique conçue pour préserver la responsabilité humaine en matière de connaissance.

Intervenant

Valerio Capraro is an Associate Professor and the at the University of Milan-Bicocca, Italy.

He uses human experiments, mathematical modelling and numerical simulations to understand human behaviour. He has published over 80 research papers in leading peer-reviewed journals, including Nature, Nature Human Behaviour, and PNAS. His research has been featured by several news outlets, including the New York Times, the Economist, the Washington Post, and the Guardian. He is the author of The Economics of Language: How Large Language Models Can Reshape Behavioural Economics (Cambridge University Press, 2026).

His book