Le sujet n’est pas encore divulgué au grand public, mais de nombreux chercheurs sur l’IA travaillent depuis deux ans sur une vulnérabilité inattendue au niveau de la reconnaissance visuelle. Il suffit de quelques pixels modifiés sur une image pour que les algorithmes produisent des résultats complètement erronés.
Andrew Ilyas, théoricien de l'apprentissage machine au MIT, avoue dans un article paru à Sciences et Vie, la déroute des experts IA pour expliquer le phénomène. Des algorithmes, considérés parmi les meilleurs au monde, sont victimes d’illusions optiques totalement aberrantes. Il suffit de quelques pixels modifiés sur une image, invisibles pour l’œil humain, pour que l’algorithme y voit un objet qui n’a rien à voir avec la photo originale. Là où nous continuons à voir une orange, l’IA va voir, avec les pixels modifiés, un hélicoptère. Devant l'image finement manipulée d'un panda, le robot croit ainsi voir un singe - avec un degré de confiance supérieur à 99 %. D’autres IA prennent un skieur pour un chien, un chat pour un bus ou encore une tortue pour une mitraillette.
Si ces expériences prêtent à sourire, elles soulèvent des dérives potentiellement hautement dangereuses. Une équipe américaine a montré qu'un panneau "stop" entièrement recouvert d'un autocollant reproduisant un "stop" habilement modifié pouvait tromper n'importe quelle voiture autonome sans éveiller la suspicion des automobilistes. Des chercheurs de l'Université Carnegie-Mellon aux États-Unis sont aussi parvenus, à l'aide de simples lunettes aux motifs imprimés, à duper totalement une IA de reconnaissance faciale. Imaginez que des IA prennent un feu rouge pour un feu vert, une tumeur cancéreuse pour un organe sain, une école pour une cible militaire, le visage d'un criminel pour celui d'un agent habilité, la preuve d'un meurtre pour un fait anodin ou inversement. De telles hallucinations pourraient même inspirer les attaques informatiques des décennies à venir. C’est dire l’importance de palier à ces failles et l’intérêt de conserver une modération humaine sur toutes ces technologies de rupture.