#22399 - AI Mistakes Are Different, And That’s A Problem | Hackaday
https://hackaday.com/2025/01/25/ai-mistakes-are-different-and-thats-a-problem/Humans tend to make mistakes at the edges of our knowledge, our mistakes tend to clump around the same things, we make more of them when bored or tired, and so on. We have as a result developed controls and systems of checks and balances to help reduce the frequency and limit the harm of our mistakes.
But these controls don’t carry over to AI systems, because AI mistakes are pretty strange.
The mistakes of AI models (particularly Large Language Models) happen seemingly randomly and aren’t limited to particular topics or areas of knowledge. Models may unpredictably appear to lack common sense.
Oui : les humains font des erreurs là où s’arrête leurs connaissances ou leur expérience. Faire des erreurs et surtout les corriger, ça permet de repousser constamment cette limite, et donc aussi d’étendre nos connaissances.
L’IA, elle, ses erreurs, surviennent n’importe où, n’importe comment et de façon totalement aléatoire. C’est très étrange et ça rend l’ensemble des productions d’une IA particulièrement fragiles et impossible à utiliser tel qu’elle. Il doit y avoir une équipe humaine intelligente pour vérifier le travail de la machine, ligne par ligne, mot par mot.
Ça rejoint ce que j’ai dit dans mon post sur ChatGPT : c’est pratique pour les choses simples car les erreurs sont peu nombreuses et faciles à corriger. Mais ça interdit l’usage d’une IA pour quelque chose d’aussi fondamental que la recherche, c’est à dire de mettre un pied dans l’inconnu dont on ne connaît pas encore la véracité. Le travail de vérification serait alors au moins aussi important qu’une équipe de chercheurs humains : autrement dit, pour ça, l’IA est inutile (en gros).
Et comme simple exemple d’erreurs à la con d’une IA, on peut citer les freinages fantômes d’une voiture (semi-)autonome. Et encore : le freinage est sans vrai danger pour les occupants (éventuellement la voiture derrière, mais c’est son problème). Un coup de volant fantôme serait en revanche bien plus dramatique.
L’effet ne serait pas différent que d’avoir un singe schizophrène et dément sur les genoux avec une main sur le volant.
Avoir une IA qui se ne trompe pas dans 99 % des cas n’est pas compliquée. Ce qui est compliqué, c’est de passer les 1 % restants. Or ce 1 % restant, c’est ce qui consommera alors 99 % des ressources.
Pour écrire une dissertation de Français au collège 99 % d’exactitude suffisent. Mais pour piloter une voiture, un train ou un avion, une IA ne peut convenir.
Et si les pilotes automatiques existent pour les voitures (niveau 1 ou 2) ou encore les trains (métros) et les avions (AP), ces systèmes sont redondants avec plusieurs calculateurs et capteurs en même temps afin de ne pas faire quelque chose sans être totalement sûr ; ils se désactivent quand ils ne sont pas sûr en redonnant la main à l’humain (voitures ou avions), et surtout sont utilisés sans apprentissage, mais avec des ordres très précis. Les rames de métro totalement autonomes ne réfléchissent pas pour savoir s’ils doivent rouler ou non : tant qu’ils n’ont pas le signal direct qui va bien ils ne bougent pas. Et par signal direct je parle de « tu roules », pas une image qu’ils doivent interpréter comme le font les autopilotes 100 % autonomes des voitures expérimentales (le métro n’interprète pas le signal).
Les bagnoles semi-autonomes de niveau 1 ou 2 n’ont pas d’apprentissage continu. Ils ne savent pas mieux détecter une voiture après 50 000 km qu’au début. Heureusement, car si ça peut s’améliorer, ça peut aussi se dégrader. Ils apprennent des choses, mais pas pour ça.
Les bagnoles avec auto-pilote niveau 3 ou plus surveillent leur environnement et apprennent et c’est une autre histoire, et c’est aussi pour ça qu’ils sont bien plus rares.