Les limites et problèmes de l’IA actuelle
Pourquoi il est difficile d’utiliser l’IA pour des usages sérieux
- Du point de vue de l’ingénierie logicielle, les systèmes d’IA actuels manquent de fiabilité, car ils gèrent difficilement la complexité et le passage à l’échelle de manière efficace
- Les logiciels à fort impact doivent offrir transparence, pilotabilité et responsabilité, mais l’IA actuelle ne répond pas à ces exigences
- La responsabilité concernant l’origine des données est insuffisante, et celle liée aux résultats produits par les algorithmes d’IA reste ambiguë
- Il y a eu des tentatives d’« IA explicable » et de réduction des biais, mais le problème fondamental de la responsabilité des données et la difficulté d’ingénierie ne sont toujours pas résolus
Comment fonctionne l’IA fondée sur les réseaux neuronaux
- L’IA actuelle repose sur de grands réseaux neuronaux (LLM, Generative AI, etc.), dans lesquels des millions de neurones sont interconnectés
- L’apprentissage se fait principalement par apprentissage non supervisé ou auto-supervisé, avec une intervention humaine minimale
- Les capacités du système sont déterminées au cours de l’entraînement, où il apprend à partir des données fournies afin de satisfaire des objectifs de sortie
- Cela nécessite d’immenses ressources de calcul, avec des coûts et une consommation énergétique très élevés
Le caractère non structuré des réseaux neuronaux et le « comportement émergent »
- Les systèmes d’IA actuels présentent un comportement émergent, et la définition mathématique de chaque neurone ne suffit pas à expliquer le fonctionnement du système dans son ensemble
- La structure interne du système n’a pas de lien significatif avec ses fonctions, ce qui empêche la réutilisation et le développement modulaire
- Il n’existe ni modèles intermédiaires ni méthode de développement par étapes, et il est difficile d’expliquer les raisons et la logique du système
- Même une « intervention humaine » n’aide pas concrètement à expliquer les résultats du système
L’approche compositionnelle en ingénierie logicielle et les problèmes de l’IA
- L’approche compositionnelle (compositionality) consiste à expliquer l’ensemble d’un système en comprenant le sens de ses composants individuels et la manière dont ils se combinent
- L’IA actuelle ne prend pas en charge cette approche, ce qui entraîne les problèmes suivants :
- la structure interne n’ayant pas de signification, la réutilisation fonctionnelle est impossible
- le développement ou la vérification par étapes est impossible
- en l’absence de modèle de connaissance explicite, le système ne peut pas expliquer le « pourquoi »
Les limites de la vérification
- Les systèmes d’IA actuels ont des espaces d’entrée et d’état tellement vastes qu’un test exhaustif est impossible
- Dans un système probabiliste, une sortie correcte ne fait qu’indiquer une possibilité pour une entrée donnée, sans garantir un résultat toujours fiable
- Une vérification partielle, comme les tests unitaires ou les tests d’intégration, est impossible ; seule une vérification du système dans son ensemble est envisageable
- Même en testant l’ensemble du système, la couverture reste insuffisante, ce qui rend difficile d’en garantir la fiabilité
Les problèmes liés aux erreurs et à leur correction
- Des erreurs peuvent survenir en raison d’un manque de données d’entraînement ou de l’imperfection des données d’entrée
- Même en réentraînant le modèle pour corriger une erreur, une correction localisée est impossible, et les tests de régression sont également difficiles
- Le risque d’introduire de nouvelles erreurs est élevé, et celles-ci sont difficiles à détecter
Conclusion et propositions
- Les systèmes d’IA actuels manquent de fiabilité et de sûreté, ce qui les rend inadaptés à des applications critiques
- La technologie actuelle ne permet qu’une amélioration limitée via l’augmentation des données d’entraînement et des ressources de calcul, sans progrès fondamental en matière de fiabilité
- Propositions :
- développer des systèmes hybrides combinant réseaux neuronaux et IA symbolique
- générer des modèles de connaissance explicites et des niveaux de confiance, ou les combiner avec des techniques existantes de recherche de données et de preuve
- les utiliser dans des domaines restreints où les erreurs peuvent être gérées de manière fiable
- les appliquer à certains domaines spécifiques, comme la prévision météorologique, où la prédiction probabiliste est adaptée
13 commentaires
L’essentiel, c’est que l’IA actuelle repose sur une validation inductive du type : elle était sûre jusqu’à hier, elle l’est encore aujourd’hui, donc elle le sera demain, sans aucune vérification déductive.
Comme avec la théorie du cygne noir, la possibilité qu’une anomalie critique survienne un jour existe toujours, et d’une certaine manière notre sécurité dépend de la chance.
Dans l’ingénierie logicielle classique, il était possible de traiter ce problème en identifiant et en analysant les éléments individuels, puis en les vérifiant de manière déductive unité par unité à travers l’élaboration de scénarios et de tests. Mais avec l’IA, cela reste encore totalement impossible.
Un problème déjà en cours de résolution par la conduite autonome de Tesla..
Le principal problème semble être que, comme le modèle ne peut pas faire l’objet d’une vérification système, son niveau de fiabilité ne peut jamais atteindre 100 %. Comment cela est-il résolu dans le cas de la conduite autonome ?
Tesla montre un exemple concret d’application réelle de l’IA dans le monde physique.
Rien ne peut atteindre 100 %. Le 100 %, c’est soit une arnaque, soit une illusion.
Comme toute startup, on avance step by step, de manière agile.
On peut aussi prendre le contrôle à distance en cas de problème, et pour l’instant, ça tourne en mode supervisé.
Le problème n’est pas vraiment le chiffre de 100 % de fiabilité en soi, mais plutôt le fait que l’architecture du modèle ne soit pas explicable, non ?
Le point essentiel semble être que, pour les résultats d’inférence des modèles, il est aujourd’hui difficile d’expliquer beaucoup d’approches de deep learning, en particulier celles basées sur des réseaux de neurones, simplement en présentant leur structure interne.
Cela dit, comme plusieurs recherches récentes et des entreprises comme Anthropic commencent à proposer des méthodes pour résoudre le problème de la boîte noire, on a l’impression que ce sera peut-être encore un problème réglé assez bientôt.
Je pense que le 100 % comme l’explicabilité sont des illusions.
Comme dans l’argument de la « chambre chinoise », l’important, au final, c’est que la conduite autonome de Tesla soit statistiquement plus sûre que la conduite humaine. Et l’IA va continuer à s’étendre et à bien fonctionner dans « presque » tous les cas, en se rapprochant des 100 %.
Si beaucoup de gourous (Elon Musk, Eric Schmidt, etc.) disent que l’IA a besoin de garde-fous, c’est justement parce qu’ils savent qu’elle est inexplicable.
Ceci figure dans le commentaire Hacker News ci-dessous.
Si l’on ne juge pas l’explicabilité du modèle et qu’on ne regarde que l’exactitude du résultat, comment pouvons-nous faire confiance à ces produits et les utiliser ?
Vous restez trop vague, donc j’ai du mal à bien comprendre, mais n’est-il pas important que le fonctionnement interne du modèle doive aussi être « explicable » pour qu’une vérification soit possible à un certain niveau ?
Selon l’avis de kandik, la raison d’être de la Functional Safety disparaît.
L’esprit humain est-il explicable ? Si l’esprit humain n’est pas explicable, alors comment choisit-on les nouveaux employés ?
La mécanique quantique est un modèle statistique à 100 %, et pourtant elle explique très bien le monde.
La notion de « confiance » pourrait elle aussi évoluer dans sa définition avec les progrès de la technologie.
Quoi qu’il en soit, du point de vue des développeurs, c’est forcément une situation épuisante. On utilise l’IA justement pour se simplifier la vie, mais comme on ne sait pas à quel point il faut renforcer les tests pour garantir la fiabilité, c’est compliqué.
Quand on crée un produit, le fait qu’il soit explicable est une bonne chose. Au final, comme les humains ne sont pas des produits, on peut engager la responsabilité de la personne elle-même dans certains problèmes, mais pour un produit, s’il présente un défaut, la responsabilité incombe à son créateur.
C’est aussi pour cela qu’il est d’autant plus nécessaire de rendre l’environnement de test aussi proche que possible de la réalité. Comme on ne connaît pas le principe de fonctionnement, il n’y a finalement pas d’autre choix que de l’entraîner de façon à réduire au maximum les situations exceptionnelles.
Avis sur Hacker News
J’observe l’évolution des réseaux neuronaux depuis le milieu des années 1990, et j’ai constaté qu’à chaque étape, ils finissent par atteindre une impasse. Cela viendrait du fait qu’une approche mathématique gêne la compréhension intuitive. Les LLM sont intéressants parce qu’ils facilitent la recherche sémantique.
Il est impossible de prédire la capacité d’extension des systèmes d’IA actuels. Comparé au cerveau humain, leur nombre de connexions neuronales est très faible.
L’IA basée sur les LLM est défaillante du point de vue du développement logiciel et ne convient pas aux applications critiques.
Les humains commettent aussi des erreurs, même dans les tâches importantes, et il en va de même pour les systèmes d’IA.
J’utilise activement l’IA, et elle m’aide beaucoup dans mes projets personnels.
L’augmentation des données n’apporte plus de gains majeurs. Les LLM ne sont pas la voie vers l’AGI.
Le débat est vif sur le fait de savoir si l’IA représente l’intelligence. Le cerveau humain lui-même n’est pas fiable, et la pertinence des LLM en cybersécurité est également discutée.