Shannon

Shannon …et Fourier

     A l’heure où les maisons de retraite rivalisent à qui hébergera le plus grand nombre de centenaires, l’Américain Claude Elwood Shannon (30 avril 1916 – 24 février 2001) aurait presque pu être l’un d’eux. C’est donc d’un quasi contemporain qu’il est question ici. Quel rapport avec Joseph Fourier dont on fêtera bientôt, en 2030, le bi-centenaire du décès ?

Shannon : Voyons ce que dit Wikipedia : Claude Shannon, ingénieur en génie électriaffiche Shannonque et mathématicien, le père fondateur de la théorie de l’information. Son nom est attaché à un célèbre « schéma de Shannon » très utilisé en sciences humaines[1]. Claude Shannon, utilise l’algèbre de Boole pour sa maîtrise soutenue en 1938 au Massachusetts Institute of Technology (MIT). Il y explique comment construire des machines à relais en utilisant l’algèbre de Boole pour décrire l’état des relais (1 : fermé, 0 : ouvert).

      Shannon travaille vingt ans au MIT, il travaille aussi aux laboratoires Bell. Claude Shannon est connu non seulement pour ses travaux dans les télécommunications, mais aussi pour l’étendue et l’originalité de ses hobbies, comme la jonglerie, la pratique du monocycle et l’invention de machines farfelues etc. L’un de ces « gadgets » présente un intérêt conceptuel : « Claude Shannon voulut élaborer une Machine inutile, sans finalité : on la met en marche en appuyant sur une touche « on » ; mais les choses prennent alors une tournure surprenante, car cette mise sous tension déclenche un mécanisme provoquant aussitôt l’arrêt du gadget en mettant l’interrupteur sur « off » ! Ce type de comportement insolite caractérise les situations ubiquitaires où la communication réside paradoxalement dans l’absence de communication, l’utilité dans l’absence d’utilité. Exemples : « La mode, c’est ce qui se démode » (Jean Cocteau).

      Il popularise l’utilisation du mot bit comme mesure élémentaire de l’information numérique. Ainsi, il faut au moins un bit (ou 1 Shannon) pour coder deux états (par exemple « pile » et « face », ou plus généralement 0 et 1). Dans le domaine des télécommunications, la relation de Shannon permet de calculer la valence (ou nombre maximal d’états) en milieu perturbé.

      Un apport essentiel des travaux de Shannon concerne la notion d’entropie. Il a ainsi établi un rapport entre augmentation d’entropie et gain d’information, montré l’équivalence de cette notion avec l’entropie de Ludwig Boltzmann en thermodynamique. La découverte du concept ouvrait ainsi la voie aux méthodes dites d’entropie maximale, donc au scanner médical, à la reconnaissance automatique des caractères et à l’apprentissage automatique. Son nom est associé à plusieurs théorèmes, le théorème d’échantillonnage de Nyquist-Shannon sur l’échantillonnage (aussi appelé critère de Shannon), le premier théorème de Shannon sur la limite théorique de la compression, le deuxième théorème de Shannon sur la capacité d’un canal de transmission.

     Souffrant de la maladie d’Alzheimer dans les dernières années de sa vie, Claude Shannon meurt, à 84 ans, le 24 février 2001, à Medford, dans le Massachusetts.

Pour marquer le centenaire de sa naissance la Société Mathématique de France a proposé une conférence de Josselin Garnier à la Bibliothèque nationale de France le 13 avril 2016 : Claude Shannon et l’avènement de l’ère numérique.

Un colloque est organisé à l’Institut Henri Poincaré du 26 au 28 octobre 2016 dont le programme détaillé est ici au format .pdf. Ceux qui n’ont pu y assister peuvent découvrir les conférences mises en ligne sur YouTube par l’Institut Henri Poincaré. Le Mathouriste qui lui a assisté à l’événement en rend compte sur son site, sous forme de morceaux choisis, enrichi par d’autres conférences (dont celles du cirm à recommander aux débutants) et une sélection de liens vers des textes originaux ou ceux de commentateurs choisis.

Citons encore une exposition est proposée au Musée des Arts et Métiers, du 13 décembre 2016 au 12 mars 2017 : Shannon, le Magicien des Codes, avec aussi des conférences.

 

 … et Fourier

     Oui, mais où est Fourier dans tout cela ? Le mot échantillonnage qui apparaît ci-dessus peut mettre sur la voie. En associant Shannon et échantillonnage dans un moteur de recherche, on découvre un article qui confirme l’intuition première. Le théorème d’échantillonnage et la FFT sont les deux mamelles du traitement numérique de l’information ! Quelqu’un le dit très bien, c’est Barbara Burke-Hubbard, dans un délicieux petit livre dont nous avons parlé déjà ici : « Ondes & Ondelettes » (Belin). Rappelons qu’il s’agit d’un ouvrage d’excellente vulgarisation, prix d’Alembert 1997. Le rôle du théorème est présenté aux pages 47-48, sa démonstration aux pages 216-217 (sans s’attarder sur les détails , mais faisant bien ressortir les idées). Laquelle démonstration a recours à la transformée de Fourier…

[1] Pour décrire la communication entre machines, l’article de 1948 et le livre de 1949 commencent tous deux par un « schéma » qui connut dès lors une postérité étonnante en sciences de l’information et de la communication (SIC), au point que Shannon s’en étonna et s’en dissocia. Le schéma modélise la communication entre machines :

    source ? encodeur ? signal ? décodeur ? destinataire, dans un contexte de brouillage.

Conçu pour décrire la communication entre machines, ce schéma modélise imparfaitement la communication humaine. Pourtant, son succès est foudroyant. L’une des explications de ce succès est le fait qu’il se fond parfaitement dans une approche béhavioriste des médias. De plus, ce schéma dit canonique donne une cohérence et une apparence de scientificité.

 

 

Leave a Reply

You must be logged in to post a comment.