Aperçu de Ollama

Ollama est une plateforme open-source qui permet aux utilisateurs d'exécuter, de gérer et de déployer des modèles de langage de grande taille (LLMs) directement sur leur matériel local. Elle est largement considérée comme la norme de l'industrie pour l'IA locale car elle simplifie le processus complexe de configuration et d'exécution de modèles puissants comme Llama 3, Mistral et Gemma avec une seule commande.

Fonctionnalités clés :

Bibliothèque de modèles massive : Accès instantané à des milliers de modèles open-source (Llama, Mistral, Phi, Qwen, etc.).
Configuration en une commande : Installez et exécutez un modèle en quelques secondes (ollama run llama3).
Priorité à la confidentialité : Fonctionne entièrement hors ligne ; aucune donnée n'est envoyée à des serveurs externes.
Multi-plateforme : Prise en charge native pour macOS, Windows et Linux.
Haute performance : Optimisé pour l'accélération CPU et GPU (NVIDIA, Apple Silicon).
Intégrations profondes : Fonctionne de manière transparente avec des outils comme Langchain, LlamaIndex, Open WebUI et les extensions VS Code.

Nouveautés de la version 0.31.1

Changé

Resserrement du chargement du modèle Gemma 4 MoE dans le moteur MLX.
Mise à jour du moteur MLX vers la dernière version, y compris un nouveau noyau matmul à petit lot.
Mise à jour du moteur underlying llama.cpp vers la build 9840
Amélioration des performances de prédiction multi-token (MTP) de Gemma 4.