Découvrez nos derniers articles sur le développement web, le design et les technologies digitales qui façonnent l'avenir
Vous faites tourner des LLMs en local comme le gros fifou de Hipster IA que vous êtes et, Ô drame, la VRAM de votre ordinateur explose dès que le contexte dépasse 8000 pauvres malheureux tokens ? Le problème c'est le KV cache les amis ! Le KV cache c'est ce truc qui stocke les clés et valeurs...
llamafile est un projet complètement barré qui va vous permettre de transformer des modèles de langage en exécutables. Derrière se cache en fait la fusion de deux projets bien badass : llama.cpp , un framework open source de chatbot IA, et Cosmopolitan Libc , une libc portable pour compiler des...
On nous parle d'agents IA à toutes les sauces depuis deeeees mois mais au final, on se retrouve la plupart du temps avec des outils "stateless" qui perdent le fil dès qu'une session se termine. Heureusement, le projet Personal AI Infrastructure (ou PAI pour les intimes) de Daniel Miessler...
Par Philippe Charrière, Principal Solutions Architect chez Docker. J’ai la manie de créer de nombreux side projects (certains survivent).Pendant les vacances de Noël, je voulais valider quelques hypothèses concernant le vibe coding. J'ai donc décidé de faire le portage de Golo, un langage de...
Ron Evans, développeur bien connu dans la communauté Go, annonce la sortie d'yzma 1.0. L'outil permet d'exécuter localement les LLM et les VLM sur Linux, macOS et Windows et d'utiliser l'accélération hardware pour l'inférence. On peut ainsi utiliser CUDA, Metal et Vulkan. A vos codes Go !Site...
Vous voulez faire tourner un modèle d'IA en local sans avoir besoin d'un serveur de la NASA ? Eh bien Nvidia vient de lâcher une bombe avec Nemotron 3, une famille de modèles open source plutôt impressionnant et surtout, ils ont publié leurs données d'entraînement afin de jouer la transparence...
Vous avez déjà passé des heures à éplucher des fichiers de logs de plusieurs millions de lignes pour trouver ce qui cloche ? Genre une pauvre erreur bizarre qui se produit une fois sur 100 000, noyée dans un océan de messages répétitifs et d'infos inutiles ? Moi, oui plein de fois ! Mais ça c'était...
Ce serait quand même sympa de pouvoir entraîner une IA qui non seulement vous comprend parfaitement, mais qui peut littéralement penser et répondre comme vous le feriez, non ? Comment ça nooon ?? Bah, tant pis pour vous parce que c’est exactement ce que propose Second Me, un projet open...
OpenAI annonce GPT-OSS, un LLM open source sous licence Apache 2. Il s'agit d'une annonce importante pour OpenAI car il s'agit du premier LLM ouvert depuis GPT-2. Deux modèles sont proposés : 120 milliards de paramètres et 20 milliards. GPT-OSS-120b nécessite une puissance GPU et 80 Go de RAM, le...