Les hallucinations de l'IA menacent la crédibilité de l'industrie manufacturière : les leçons de CiteSentinel

Quand l’IA « ment avec aplomb » : la nouvelle crise de confiance dans l’industrie manufacturière

En avril 2025, la start-up LegalTech BrentWorks a lancé CiteSentinel, une plateforme spécialisée dans la détection et la prévention des hallucinations liées à l’IA dans les citations juridiques. Cet outil scanne les documents juridiques pour signaler les précédents, réglementations et autorités légales potentiellement fictifs ou mal cités. Brent Britton, cofondateur de BrentWorks, souligne que les tribunaux sanctionnent de plus en plus fréquemment les avocats qui soumettent des résumés contenant des affaires fictives, une conséquence typique des outils d’IA générative qui « produisent des autorités juridiques parfaitement plausibles mais totalement inventées ».

Bien que CiteSentinel se concentre actuellement sur le domaine juridique, le problème sous-jacent — les hallucinations de l’IA — infiltre l’industrie manufacturière d’une manière similaire. Des contrats de chaîne d’approvisionnement aux spécifications techniques en passant par les documents de conformité réglementaire, l’utilisation de contenu généré par l’IA se répand, et les risques liés aux « hallucinations » pourraient être bien plus profonds que dans le domaine juridique.

Hallucinations de l’IA dans l’industrie manufacturière : un « défaut de qualité » caché

Dans le processus de numérisation de l’industrie manufacturière, l’IA est utilisée pour générer automatiquement des bons de commande, des normes techniques, des plans d’aménagement d’usine, voire du code de programmation automatisé. Cependant, comme dans le domaine juridique, ces outils d’IA peuvent inventer des clauses d’achat inexistantes, falsifier des paramètres de performance de matériaux, ou citer incorrectement des normes internationales applicables. Britton décrit de manière imagée : « L’IA ment en toute confiance, en vous regardant droit dans les yeux. » Dans le contexte de l’industrie manufacturière, ces « mensonges » peuvent directement entraîner l’arrêt des chaînes de production, des accidents de qualité des produits, voire des violations des réglementations sur le contrôle des exportations.

Prenons l’exemple de la fabrication biotechnologique : le lancement même de CiteSentinel suggère la vulnérabilité de ce domaine. Britton souligne que les affaires de biotechnologie reposent souvent sur des preuves hautement techniques — revendications de brevets, données cliniques, historique réglementaire de la FDA, publications scientifiques, etc. Un système d’IA pourrait « inventer des références scientifiques qui n’existent pas, déformer les documents directeurs de la FDA, ou fabriquer des antécédents de brevets ». Dans les phases de R&D et d’audit de conformité de l’industrie manufacturière, des scénarios similaires ne sont pas rares : l’IA pourrait fabriquer des données de tests de fatigue de matériaux ou citer incorrectement des normes industrielles, et si un ingénieur ne vérifie pas ces informations, des conceptions erronées pourraient être mises en production en série.

Du juridique à l’industriel : les multiples facettes d’un même problème

Britton note que de nombreux avocats qui n’utilisent pas eux-mêmes l’IA pour rédiger des documents en sont également victimes — leurs confrères avocats, co-avocats, avocats contractuels, voire assistants juridiques, pourraient déjà utiliser l’IA sans le divulguer. La situation est similaire dans les chaînes d’approvisionnement manufacturières : un fournisseur peut utiliser l’IA pour générer des déclarations de conformité technique ou des documents d’assurance qualité contenant des hallucinations, tandis que l’acheteur, qui s’appuie sur ces documents pour prendre des décisions, voit le risque se propager.

La logique de conception de CiteSentinel fournit des pistes d’inspiration pour l’industrie manufacturière.La logique de conception de CiteSentinel offre une référence pour l'industrie manufacturière. Contrairement aux plateformes de recherche traditionnelles qui « se concentrent sur la recherche de plus d'informations », le concept central de CiteSentinel est de « vérifier l'authenticité du contenu cité ». Cela reflète un besoin urgent de l'industrie manufacturière vis-à-vis du contenu généré par l'IA : avant d'introduire des spécifications, des clauses contractuelles ou des rapports d'évaluation des risques générés par l'IA, il est nécessaire de disposer d'une couche de « vérification de l'authenticité ».

La bataille pour la crédibilité de l'IA industrielle

Brent Hunter, cofondateur de BrentWorks, qui appliquait déjà les réseaux neuronaux au secteur financier dès 1993, prévoit que CiteSentinel n'est que le début d'une série de produits. Pour l'industrie manufacturière, des outils similaires pourraient se concentrer sur la vérification des références numérotées dans les documents techniques (telles que les normes ISO, les méthodes de test ASTM), des données clés dans les rapports d'audit, voire de la légalité du code de production automatisé.

Britton prédit qu'à mesure que CiteSentinel passera de la vérification des citations de cas à des domaines plus larges, « il deviendra une couche de vérité qui maintiendra tous les participants honnêtes ». Alors que l'industrie manufacturière mondiale dépend de plus en plus de l'IA pour l'aide à la décision, l'établissement d'une telle « couche de vérité » n'est pas seulement une exigence de conformité légale, mais aussi la base pour maintenir la confiance dans la chaîne industrielle. Des paramètres de processus des usines de semi-conducteurs à la certification des batteries des véhicules à énergie nouvelle, chaque information générée par l'IA doit pouvoir être retracée jusqu'à des données sources fiables.

Conclusion : l'industrie manufacturière a besoin de son propre « CiteSentinel »

Le lancement de CiteSentinel avertit l'industrie manufacturière : les avantages en termes d'efficacité apportés par l'IA peuvent s'accompagner de risques systémiques de hallucinations. Pour les décideurs des entreprises industrielles, la priorité est d'établir un mécanisme de vérification croisée similaire au niveau juridique – que ce soit pour les clauses contractuelles rédigées par l'IA ou pour les rapports de processus générés par l'IA. Comme le dit Britton, « le droit a toujours été un jeu à enjeux élevés, et actuellement les machines jouent à ce jeu avec un jeu de cartes synthétique. » Il en va de même pour l'industrie manufacturière : ce n'est que lorsque le contenu généré par l'IA est strictement aligné sur les lois physiques, chimiques et d'ingénierie du monde réel que la vision de l'usine numérique pourra véritablement se réaliser.