LLM : Google cherche la clé qui ouvre la porte de l’entraînement en continu
Chez Google Research, une petite équipe de quatre personnes jettent les bases théoriques et pratiques de ce que pourrait être l’héritière de la fameuse architecture Transformer. Elle concentre ses travaux sur les très longues fenêtres de contexte (plus de 2 millions de tokens) et l’apprentissage...