Quand Fourier éclaire l’IA

     Reconnaissance, analyse, fabrication d’images, aide au diagnostique, analyse et fabrication de discours… l’Intelligence Artificielle (IA) présente de résultats bluffants dans des domaines variés. Ces résultats sont obtenus en fournissant aux logiciels des données déjà analysées (deep learning) qui lui permettent ensuite de donner des résultats qui respecteront les règles de construction des données d’apprentissage.

     Une équipe de l’Université Rice (Texas) se préoccupe d’aller au-delà de l’utilisation de cette ‘boîte noire’ et de comprendre le fonctionnement des logiciels d’IA. Nous proposons ci-après la traduction d’un communiqué de presse dont l’original est ici en anglais.

La « boîte noire » de l’IA n’a pas de secret pour une méthode vieille de 200 ans.

La transformation de Fourier révèle comment un réseau neuronal à apprentissage profond apprend la physique complexe

     L’un des outils de calcul les plus anciens de la physique -une technique mathématique vieille de 200 ans connue sous le nom d’analyse de Fourier- peut révéler des informations cruciales sur la façon dont un procédé d’intelligence artificielle appelé réseau neuronal profond (deep neural network) apprend à effectuer des tâches relevant d’une physique complexe, telle que la modélisation du climat et de la turbulence.

Les chercheurs de l’Université Rice ont entraîné un modèle d’intelligence artificielle, appelé réseau neuronal d’apprentissage en profondeur, à reconnaître des flux complexes d’air ou d’eau et à prédire leur évolution au fil du temps. Ces images montrent les différences substantielles d’échelle des motifs caractéristiques que le modèle rencontre pendant la phase d’apprentissage (en haut) et ceux qu’il apprend à reconnaître (en bas) pour effectuer ses prédictions. (Image reproduite avec l’aimable autorisation de P. Hassanzadeh/Rice University)

      Ce sont des chercheurs en génie mécanique de l’Université Rice qui sont à l’origine de cette découverte, présentée dans une étude en libre accès publiée dans PNAS Nexus, une publication sœur des Actes de l’Académie nationale des sciences. « Il s’agit du premier cadre rigoureux pour expliquer et guider l’utilisation des réseaux de neurones profonds pour des systèmes dynamiques complexes tels que le climat », a déclaré le professeur Pedram Hassanzadeh. qui a supervisé ces travaux. « Cela pourrait accélérer considérablement l’utilisation de l’apprentissage profond (deep learning) en climatologie, et conduire à des prévisions du changement climatique beaucoup plus fiables. »

     L’article qu’il a écrit avec deux anciens étudiants, Adam Subel et Ashesh Chattopadhyay, et un chercheur postdoctoral associé, Yifei Guan, détaille leur utilisation de l’analyse de Fourier pour étudier un réseau neuronal d’apprentissage profond conçu et entraîné à la reconnaissance des flux complexes de fluides (air en dynamique atmosphérique, eau en dynamique des océans) et de prédire leur évolution temporelle.

     Selon Hassanzadeh, leur analyse a révélé « non seulement ce que le réseau de neurones avait appris, mais encore permis de relier directement cet acquis à la physique du système complexe qu’il modélisait », ajoutant : « Les réseaux de neurones profonds sont abominablement difficiles à comprendre, ce qui fait qu’on les considère souvent comme des boîtes noires  C’est l’une des principales préoccupations liées à leur emploi dans les applications scientifiques. L’autre est leur capacité d’adaptation :  ces réseaux ne peuvent pas fonctionner pour un système différent de celui pour l’apprentissage duquel ils ont été entraînés. »

     Subel, qui a piloté l’étude, précise : ce cadre pourrait être utilisé en le combinant avec des techniques d’apprentissage par transfert (transfer learning) afin de « permettre la généralisation et, en fin de compte, accroître la crédibilité de l’apprentissage scientifique en profondeur ».

     Il s’agit donc pour eux « d’ouvrir la boîte noire , de regarder à l’intérieur pour comprendre ce que les réseaux ont appris et pourquoi, et permet également de relier cela à la physique du système étudié ».

     Le peu de résultats des nombreuses études antérieures pour révéler comment ces réseaux apprennent à faire des prédictions, a poussé Hassanzadeh, Subel, Guan et Chattopadhyay à aborder le problème sous un angle différent. « Les outils d’apprentissage automatique courants pour comprendre les réseaux de neurones n’ont pas montré beaucoup de succès pour les applications aux systèmes naturels ou d’ingénierie, du moins pour que les résultats puissent être connectés à leur physique. », a déclaré Hassanzadeh. « Alors nous nous sommes dit :  Faisons quelque chose de différent. Utilisons un outil familier dans l’étude de la physique et appliquons-le à celle d’un réseau de neurones qui a appris à faire de la physique ».

     À ce titre, l’Analyse de Fourier, introduite par l’auteur en 1807 et publiée en 1822, est rapidement devenue l’outil de prédilection des physiciens et mathématiciens pour identifier par leur fréquence des motifs dans l’espace et le temps. « Les gens qui font de la physique regardent presque toujours les données dans l’espace de Fourier », a-t-il poursuivi. « Cela facilite la compréhension de la physique et des mathématiques. »

La formation efficace de réseaux de neurones profonds nécessite une grande quantité de données, et le fardeau du recyclage, avec les méthodes actuelles, est toujours important. Après avoir formé et recyclé un réseau d’apprentissage en profondeur pour effectuer différentes tâches impliquant une physique complexe, les chercheurs de l’Université Rice ont utilisé l’analyse de Fourier pour comparer les 40 000 noyaux des deux itérations et ont découvert que plus de 99 % étaient similaires. Cette illustration montre les spectres de Fourier des quatre noyaux qui différaient le plus avant (à gauche) et après (à droite) le réentraînement. Les résultats démontrent le potentiel de la méthode pour identifier des voies de recyclage plus efficaces qui nécessitent beaucoup moins de données.

(Image reproduite avec l’aimable autorisation de P. Hassanzadeh/Rice University)

    Par exemple, un relevé de la température extérieure pendant un an, minute par minute, est une chaîne de 525 600 nombres : les physiciens nomment série chronologique un tel ensemble de données. Après transformation dans l’espace de Fourier, on obtient un autre ensemble de 525 600 nombres, contenant les mêmes informations, mais sous une forme assez différente, car seuls quelques uns d’entre eux auraient une valeur non négligeable. Graphiquement, au lieu de la lente variation de la température, on ne verrait que quelques ?pics? sporadiques signalant chacun un des rythmes importants de cette évolution, l’un journalier, quelques autres liés aux saisons… outre la grande économie en volume de données, cela éclaire chacun des moteurs de cette évolution. Subel commente le premier :

     « L’un serait un cosinus de période 24 heures, qui représenterait le cycle diurne des hauts et des bas. Ce signal était là tout au long de la série chronologique, mais l’analyse de Fourier vous permet de le repérer facilement, et il en irait de même pour les autres. Plus généralement, elle met en évidence ces types de signaux à la fois dans le temps et dans l’espace. »

     En s’appuyant sur cette méthode, les scientifiques ont développé des outils de filtrage, analogiques puis numériques. Par exemple, les transformations passe-bas éliminent le bruit de fond et les filtres passe-haut font l’inverse, permettant de se concentrer sur l’environnement.

     Hassanzadeh et son équipe ont d’abord appliqué la transformation de Fourier au modèle d’apprentissage profond, après son apprentissage complet. Ses quelque 1 million de paramètres agissent comme des multiplicateurs, qui appliquent plus ou moins de poids aux entrées des neurones, ce qui, par somme, influencera (ou non) le déclenchement du neurone par dépassement d’un seuil convenu.

     Dans l’état initial du réseau, les paramètres ont des valeurs aléatoires. Ceux-ci sont ajustés et affinés au fur et à mesure de la phase d’apprentissage. Pendant celle-ci, l’algorithme est confronté à des cas aux résultats connus, et apprend progressivement à parvenir à des prédictions de plus en plus proches des résultats attendus. Structurellement, les paramètres du modèle sont regroupés dans quelque 40 000 matrices cinq par cinq, dénommées noyaux.

     « Lorsque nous avons pris la transformée de Fourier de l’équation, cela nous a dit que nous devrions regarder la transformée de Fourier de ces matrices », a déclaré Hassanzadeh. « Nous ne le savions pas. Personne n’avait jamais fait cette étude auparavant, regardé les transformées de Fourier de ces matrices et essayé de les relier à la physique. Et lorsque nous l’avons fait, il est apparu que ce que le réseau neuronal apprend est une combinaison de filtres passe-bas, de filtres passe-haut et de filtres Gabor. Et ce qui est magnifique là-dedans, c’est que le réseau de neurones ne fait rien de magique. Il ne fait rien de fou ; il fait ce qu’un physicien ou un mathématicien auraient pu essayer de faire. Bien sûr, sans la puissance des réseaux de neurones, nous ne savons pas comment combiner correctement ces filtres. Mais quand on parle de ce travail aux physiciens, ils adorent ça. Ils disent « Oh! Je sais ce qui se passe. C’est ce que le réseau de neurones a appris. Je le vois. »

     Subel pense que leurs découvertes auront des conséquences importantes dans l’apprentissage en profondeur, et suggère même que certaines choses que les scientifiques ont apprises en étudiant l’apprentissage automatique dans d’autres cadres, comme la classification des images statiques, peuvent ne pas s’appliquer dans un contexte scientifique. Et de conclure : « Nous avons constaté, dans la littérature sur l’apprentissage automatique, que certaines des connaissances et des conclusions obtenues dans des travaux sur des applications commerciales et médicales, par exemple, ne se transfèrent pas à de nombreuses applications critiques en science et en ingénierie, telles que la modélisation du changement climatique. Ce qui, en soi, est d’une portée majeure. »

About cm1

R. Timon, né en 1944 a été instituteur, maître formateur, auteur de manuels pédagogiques avant d’écrire pour le Webpédagogique des articles traitant de mathématiques et destinés aux élèves de CM1, CM2 et sixième.

Category(s): Non classé
Tags: ,

Laisser un commentaire