Blog & Actualités

Insights & Actualités Tech

Découvrez nos derniers articles sur le développement web, le design et les technologies digitales qui façonnent l'avenir

Recherche pour : "local"
Effacer les filtres
TurboQuant - Un LLM de 104B sur un MacBook, merci Google

TurboQuant - Un LLM de 104B sur un MacBook, merci Google

Vous faites tourner des LLMs en local comme le gros fifou de Hipster IA que vous êtes et, Ô drame, la VRAM de votre ordinateur explose dès que le contexte dépasse 8000 pauvres malheureux tokens ? Le problème c'est le KV cache les amis ! Le KV cache c'est ce truc qui stocke les clés et valeurs...