Appel à idée pour conférence sur AlphaGo

[cbeni]

Bonjour à tous,

A l'occasion du match AlphaGO / Lee Sedol, j'ai l'opportunité d'organiser des conférences sur Paris à destination du grand public. Les dates seront communiquées rapidement (dès que confirmées), mais j'ai déjà commencé à réfléchir au plan de mon exposé.

La présentation sera assez différente de celles que l'on peut faire du habituellement, puisque le but ne sera pas d'initier les gens au go (même s'il faudra bien expliquer rapidement les règles et illustrer par quelques exemples) mais bien de comprendre pourquoi ce qui se passe est historique ... car on pensait que cela n'arriverait pas avant un moment.

Mon but est de faire la présentation la plus générale possible, de manière à s'adresser au plus grand nombre), mais également dans l'optique de pouvoir la réutiliser à d'autres occasions (café des sciences, ...) et de le faire sans dire trop de bêtises et avec le message le plus clair possible.

Je vais donc appel à tous pour critiquer mon propos (critique constructive cela va de soi), proposer d'autres formulations, d'autres exemples, d'autres sujets intéressants ...

D'avance je remercie les contributeurs

[cbeni]

J'ai prévu d'intituler ma conférence "Pourquoi le match Lee Sedol / AlphaGo est un événement ?" et voici le plan que j'ai en tête :

Introduction
Bonjour à tous, merci d'être venu assister à cette conférence sur le jeu de go. Si vous êtes là, vous êtes donc probablement au courant qu'en ce moment (il y a / il va avoir) un match entre l'un des meilleurs joueur de go et un logiciel qui a déjà battu le champion d'Europe. Que le logiciel gagne ou non, le simple fait que ce match ait lieu est un événement. Bien évidemment, si le logiciel gagne la portée de cet événément sera historique (au moins aussi importante que la victoire de DeepBlue sur Gary Kasparov aux échecs), mais même s'il perdait c'est tout de même quelque chose d'important. L'objet de ma présentation est de vous expliquer pourquoi.

Plan
Pour cela je vais préciser ce qui se déroule actuellement en Corée (ou va se déroule) : je vous parlerai du jeu (sans rentrer dans trop de détail ... même si je reste disponible pour une initiation ), de Alphago (en vous donnant son niveau ... ou plutôt celui de celui qu'il a déjà battu : Fan Hui) et Lee Sedol ... en vous donnant également une idée de son niveau pour que vous compreniez bien pourquoi ce match est vraiment important. Enfin, je terminerai en ouvrant le débat sur le thème "la machine a gagné, et alors ?", en d'autres termes aborder les enjeux.

Le go, de quoi s'agit-il ?
Bref historique (un jeu qui viens d'Asie, ...)
Rapide présentation des règles (goban/pierres, au début vide, puis sur les intersections, montrer une capture, montrer une partie, ...) -> pas de détail, suffisament d'exemple pour s'en faire une idée.

Le go, pourquoi ça intéresse google (et les autres) ?
Même si le jeu a des règles simples, le nombre de coup est gigantesque (donner le nombre exact calculé récemment)
Donc intéresse les chercheurs pour telles et telles raisons, notamment les chercheurs français (donner quelques noms)

Bref historique des précédentes tentatives
Donner des dates, noms de logiciels, résultats (j'ai les 100 premiers numéros de la RFG, donc j'ai les articles écris à cette époque)

DeepMind
Entreprise jeune rachetée par Google en ...
A remporté plusieurs succès médiatiques (arcades, ...) et aujourd'hui au go

DeepMind, quel niveau au go ?
Parler de fan (joueur professionnel, 3 fois champion d'europe, 1 fois en équipe, ...)

Lee Sedol, quel niveau ?
Petite biographie, son palmarès
Petite explication sur les niveaux (9p ... mais serait plus si système ELO ... et si on compare ça au niveau amateur il est 15 ou 20dans )
=> Donner des chiffres et faits expliquant pourquoi c'est lui que google a choisi (et pourquoi ce sera vraiment significatif s'il perd).

Quels enjeux ?
En supposant que la machine gagne, quelles conséquences ? quels autres sujets de recherche ?

[histrion]

Juste une remarque, dans la section "Le go, pourquoi ça intéresse google (et les autres) ?",
au-delà du nombre gigantesque de coups,
je pense qu'il serait bien de mettre quelques modes à la mode (à juste titre) :
l'émergence d'une complexité à partir de règles simples
(c'est tout un univers qui se déploie !).

[Pio2001]

Salut,
Il faudrait expliquer ce que c'est qu'un "réseau de neurones", et si ce progrès aurait été possible sans la technique du réseau de neurones.
On parle aussi d'applications possibles de cette technique à d'autres domaines. Est-ce qu'on pourrait donner un exemple ?

Il est possible, pour donner une idée aux gens qui ne voient pas trop la différence avec le morpion, ou avec du calcul mental, de comparer l'apprentissage du jeu de go à celui d'un instrument de musique. Dans les deux cas, seuls ceux qui ont commencé enfants, qui ont pratiqué des heures chaque jour, et qui ont été dans des écoles avec des bons professeurs (indiquer qu'en Asie, il existe des écoles de go !!), peuvent prétendre devenir des virtuoses de classe mondiale.
Citer la notion d'intuition au jeu de go. Tout en respectant d'innombrables règles stratégiques (comme des règles de composition musicales), certains coups cruciaux ne se justifient que par l'intuition du joueur.
Ca met en perspective l'exploit réalisé par l'intelligence artificielle.

[Toudego]

Après le choc des 5 victoires d'Alphago contre Fan Hui, j'ai décidé de suivre de près le tournoi contre Lee Sedol et de me documenter sur DeepMind.
DeepMind a pour objectif de développer un outil d'aide au diagnostic médical et au contrôle des traitements qui devrait être testé en UK (cf conférence de Mustapha), et ce tournoi est essentiellement une démonstration de la puissance de leur logiciel appliqué à la stratégie du jeu de Go réputé pour sa résistance à l'analyse binaire.
Cette démonstration est éclatante est un pas important de DeepMind pour atteindre ses objectifs dans le domaine de la santé.
Ce contexte m'a incité à analyser la stratégie de DeepMind appliquée à ce tournoi d'Alphago contre un 9p, tout en appréciant (à mon niveau) les stratégies mises en œuvre sur le goban. Ainsi j'ai constaté que lors de la première ronde, Alphago a été réglé pour dépenser autant de temps que le 9p de référence = Gagné.
Lors de la seconde ronde le réglage a été de lui accorder ~20 minutes de moins = Gagné encore.
Lors de la 3e ronde, réglage à ~40 minutes de moins = Gagné encore.
Lors de la 4e ronde, tournoi empoché, on a poussé l’handicape d'Alphago à la moitié du temps utilisé par Lee Sedol = enfin l'humain a pu gagner !

Demain je serai curieux de découvrir les choix de DeepMind pour la dernière ronde

Toudego.

[Pio2001]

Curieux. En effet, le temps de réflexion d'AlphaGo pour la période principale a diminué partie après partie, par tranches de 20 minutes par rapport à la pendule de Lee Sedol.

De là à dire qu'il s'agit d'un handicap délibéré... Attendons déjà de voir ce qu'en dit Deepmind.

[Pio2001]

Ah ça y est j'ai compris : ce n'est pas AlphaGo qui a joué plus vite, c'est Lee Sedol qui a joué plus lentement.

Si on regarde les pendules au coup 100 de chaque partie, AlphaGo a toujours presque exactement 1 heure utilisée, et 1 heure restante.
Lee Sedol, en revanche avait 1 heure 04 restante lors de la première partie, 32 minutes restantes lors de la seconde, 24 minutes lors de la troisième, et pendant la quatrième, il avait déjà épuisé ses deux heures et était en byo-yomi.

AlphaGo n'a pas bougé d'un pouce dans sa gestion du temps : 50 coups par heure exactement.

[Toudego]

Merci Pio2001 pour tes remarques tout à fait fondées.
Je reformule donc mon analyse du tournoi AlphaGo vs Lee Sedol :

1. Alphago a joué les 5 rondes à la même vitesse moyenne : ~28 min / 50e pierre, ~60 min /100e pierre, ~100 min /150e pierre.
Donc les éventuelles variations des réglages d'AlphaGo au fil des rondes (expérience oblige) ont portés sur d'autres paramètres, plus discrets.

2. En rappelant que la finesse d'analyse, tant de la machine que de l'homme, est proportionnelle au temps y consacré, il convient de remarquer
que Lee Sedol y a été progressivement. Par ex, pour la 100e pierrre, si AlphaGo a investi 60 min à chacune des 5 rondes, Lee Sedol a investi 56 min/R1,
92 min/R2 & R3, 120 min/R4 et 84 min/R5. Pour gagner R4, LSD a du investir le double du temps d'Alphago (120 min/ 60 min) sur les 100 premières pierres,
ce qui permettrait de suggérer qu'AlphaGo est "2 fois plus fort" que LSD. En fait, c'est plus que 2 fois, car on a remarqué la non sanction par AlphaGo du coup 78
(par 2 fois selon Redmont), sans compter ses coups inutiles et indignes de lui, ce qui laisse suggérer qu'AlphaGo était particulièrement "bridé" pour la ronde 4.

3. Un tournoi en Blitz serait intéressant, cela opposerait des "réflexes" à de "l'analyse" ce qui mettrait l'homme dans un contexte plus favorable ?
Un tournoi sans pendule (temps illimité) serait aussi intéressant, bien que moins spectaculaire, car cela opposerait les profondeurs d'analyses brutes.

Enfin je salue les concepteurs d'un outil "intelligent" qui accélérera certainement l'évolution biologique de l'intelligence des hommes, inaugurant ainsi un nouvel "age".

[WyT]

Concernant le réseau de neurones, abordé par pio,
juste pour donner une idée du mécanisme:
il s'agit de positionner des valeurs sur des neurones et des synapses qui permettent à partir d'une entrée, d'obtenir une sortie.

exemple: on veut sortir un tableau de 2 lignes et 2 colonnes, donc 4 valeurs à sortir. en entrée on lui donne disons, 2 valeurs, peu importe ce représente réellement les entrées et les sorties.
il y a d'abord une phase d'apprentissage dans laquelle on force les valeurs de sorties et les valeurs d'entrée. On les force + ou -, c'est paramétrable.

disons qu'on force pour l'entrée (0,0) la sortie (0,0,0,0)
et ainsi de suite avec d'autres valeurs possibles, mais pas toutes.
Puis on pose une question avec une entrée inconnue, et le réseau de neurone donne la sortie qu'il a calculée.
Ainsi, on peut simuler un comportement.

exemples:
1- le plus simple: une table de calcul, par exemple, à partir de 2 entrées, on calcule une somme, une soustraction, un OR, et un AND. 2 entrées, 4 sorties.
2-On peut donner quelques valeurs d'une suite (disons fibonacci pour l'exemple) et "si tout va bien", le réseau va "déduire" d'autres valeurs de cette suite, ou du moins il saura donner une sortie pour une entrée jamais apprise.
3- on modélise un jeu par des entrées et des sorties associées, on fait apprendre au réseau une suite (Entrées, Sorties), la plus longue possible pour représenter le plus possible le jeu, "si tout va bien", le réseau connait les règles du jeu sans jamais lui avoir donner ces règles, rien que par l'apprentissage d'expérience.

C'est certainement ainsi que deepmind a su jouer à 50 jeux vidéo sans jamais avoir appris les règles de ces jeux.

En résumé, le réseau de neurone est adapté à mémoriser des expériences et donc stocker une expertise, qu'il réutilise ensuite puisqu'il stocke ces expériences sous formes de poids sur ses 2 composantes, neurones et synapses.
Plus on a de neurone, plus on peut stocker d'expériences sans que chaque expérience nouvelle ne vienne détruire de façon irrémédiable les expériences précédemment acquises. La gestion des synapses est plus délicate et je n'ai pas suivi les avancées dans ce domaine depuis trop longtemps pour en savoir plus ....

[WyT]

Pour revenir à la question du "Blitz".

Même en Blitz Alphago peut etre redoutable, il a acquis des millions de parties dans son réseau de neurones, si on diminue la phase "Tree" (recherche dans un arbre des possibles - type Monte Carlo ajusté), la phase "neurone" devient prépondérante, j'imagine qu'il peut répondre à une question de type "jeu en mode réflexe" en une fraction de milliseconde ...

ce serait intéressant de voir un Blitz !

Comme expliqué par l'équipe lors des matchs, il y a essentiellement 3 composants:
1- réseau de neurones (apprentissage, expérience)
2- arbre des possibles (monte carlo j'imagine, mais je n'ai pas creusé ... donc là il fait comme nous : il joue les coups possibles de l'adversaire dans sa tete, sauf que là aussi, il choisi les coups possibles de l'adversaire dans son réseau de neurones , pas aléatoirement)
3- chiffrage du résultat, via heuristique, essentiellement pour obtenir un chiffre "humainement compréhensible" : le pourcentage de gain.

Quand il ne trouve pas de solution qui lui permet d'etre au dessus de 15% de gain (réglable ...ce qui permet aussi de régler la profondeur de la phase 2, recherche des coups possibles de l'adversaire), il abandonne, comme dans le match 4.