Chez Google Research, une petite équipe de quatre personnes jettent les bases théoriques et pratiques de ce que pourrait être l’héritière de la fameuse architecture Transformer. Elle concentre ses travaux sur les très longues fenêtres de contexte (plus de 2 millions de tokens) et l’apprentissage véritablement en continu.