Le 22 septembre 2026, Hugging Face a ajouté à Transformers la prise en charge native des modèles GGUF, le format quantifié de llama.cpp qui alimente Ollama, LM Studio et Jan. Si vous faites tourner des modèles locaux sur Apple Silicon en Python, adoptez `from_pretrained` avec un fichier GGUF et oubliez les conversions maison.

Perplexity porte son agent Portable Computer sur Windows après Linux et macOS, mais le réserve aux cartes NVIDIA RTX dotées d’au moins 24 Go de VRAM. Les tâches simples tournent en local, le modèle bascule vers le cloud quand il en a besoin — et les données sensibles peuvent rester sur la machine.

Moonshot AI a publié les poids de Kimi K3 le 26 juillet 2026 — le plus grand modèle open-weight jamais distribué, compétitif avec GPT-5.6 Sol et Claude Fable 5. Voici ce que ça change pour vos stacks d’inférence.

Ollama, vLLM et llama.cpp couvrent tous les cas d’usage de l’inférence locale, du poste développeur au cluster GPU. Ce guide compare leurs performances réelles, leur empreinte VRAM et le prix de chaque approche — pour que vous sachiez laquelle adopter avant la fin de la journée.