Un parcours visuel et interactif à travers l'architecture
des grands modèles de langage (Large Language Models)
Découper le texte en unités élémentaires
Tout commence par la tokenisation. Le LLM ne lit pas les mots comme un humain : il découpe le texte en unités appelées tokens — un mot entier, une partie de mot, ou même un caractère.
Combien de tokens le mot « anticonstitutionnellement » génère-t-il environ ?
Convertir les tokens en vecteurs de sens
Les mots proches en sens sont proches en espace vectoriel
Chaque token devient un vecteur de haute dimension qui encode son sens. Deux tokens sémantiquement proches ont des vecteurs proches dans cet espace.
Les embeddings capturent des relations complexes : genre, temps verbaux, champ lexical. Ils sont appris pendant l'entraînement, pas codés à la main.
Que mesure la « distance » entre deux vecteurs d'embedding ?
Injecter l'ordre des mots dans les vecteurs
Les transformeurs traitent tous les tokens en parallèle. Sans information de position, « Le chat mange la souris » et « La souris mange le chat » seraient identiques !
Sans encodage positionnel, ces deux phrases sont indiscernables pour le modèle.
Le sens du mot lui-même
La place du mot dans la séquence
Chaque position de la phrase reçoit sa propre « empreinte » de valeurs, lue sur ces courbes
On compare cette position à celle sélectionnée ci-dessus (pos = 0)
À chaque position, on lit une valeur sur chaque courbe : ça donne un vecteur unique. Les courbes lentes (violettes) changent peu d'une position à l'autre — elles situent le mot « à peu près où » dans la phrase. Les courbes rapides (orange) oscillent vite — elles distinguent des positions voisines. C'est comme une horloge : l'aiguille des heures donne la position grossière, celle des secondes la position fine. Résultat : deux positions proches ont des vecteurs proches, deux positions lointaines ont des vecteurs très différents — exactement ce qu'il faut pour que le modèle perçoive l'ordre des mots.
Pourquoi les transformeurs ont-ils besoin d'un encodage positionnel, contrairement aux RNN ?
Comprendre les relations entre les mots
L'auto-attention permet à chaque token de « regarder » tous les autres tokens et d'évaluer leur pertinence contextuelle. C'est le cœur de l'architecture Transformer.
« Que suis-je en train de chercher ? »
« Que suis-je susceptible d'offrir ? »
« Quelle information je transmets ? »
« Combiner Q, K et V en un score pondéré »
Dans « Le chat s'est assis car il était fatigué », à quel mot « il » porte-t-il le plus d'attention ?
Regarder plusieurs aspects à la fois
Au lieu d'une seule attention, le modèle utilise plusieurs têtes en parallèle. Chacune apprend à détecter un type de relation différent : syntaxe, coréférence, sémantique...
Pourquoi utiliser plusieurs têtes d'attention plutôt qu'une seule grande ?
La mémoire et la réflexion du modèle
Après l'attention (qui relie les tokens entre eux), chaque token passe seul dans un réseau feed-forward. C'est ici que le modèle applique ce qu'il a appris pendant l'entraînement : des faits, des règles, des associations.
Le FFN est composé de 3 opérations qui se succèdent. Cliquez sur chaque étape pour voir ce qui se passe :
L'expansion crée de la place pour que chacun des 3 072 neurones se spécialise. C'est comme poser un problème sur un grand tableau blanc avant de recopier la solution sur une feuille.
Quel est le rôle de la fonction d'activation GELU dans le FFN ?
De la surface au sens profond
Un LLM empile le même bloc (Attention + FFN) de 12 à 96 fois. Ce n'est pas de la répétition : chaque couche lit la même phrase avec un regard différent, construisant une compréhension de plus en plus riche.
Sélectionnez une couche pour voir quelles informations ont été extraites de la phrase « Le vieux chat noir dort sur le tapis » à ce stade.
À chaque couche, la sortie n'est pas seulement le résultat du bloc courant — elle est additionnée à l'entrée d'origine. C'est la connexion résiduelle (ou skip connection).
Plus il y a de couches, plus le modèle peut capturer des relations complexes — mais le coût de calcul augmente proportionnellement.
Que font les connexions résiduelles (skip connections) dans chaque couche ?
Prédire le prochain mot, encore et encore
Le modèle produit une distribution de probabilités sur tous les tokens du vocabulaire, choisit l'un d'eux, puis le réinjecte comme entrée pour prédire le suivant — c'est la génération autorégressive.
Une température très basse (ex: 0.1) produit quel type de texte ?
Vous avez parcouru les 8 étapes du fonctionnement d'un LLM
Les LLM sont des machines à prédire le prochain token, entraînées sur des milliards de textes. De cette tâche simple émergent des capacités surprenantes.