Resumen de Ollama

Ollama es una plataforma de código abierto que permite a los usuarios ejecutar, gestionar y desplegar Modelos de Lenguaje Grande (LLMs) directamente en su hardware local. Se considera ampliamente el estándar de la industria para IA local porque simplifica el complejo proceso de configurar y ejecutar modelos potentes como Llama 3, Mistral y Gemma con un solo comando.

Características clave:

Biblioteca de modelos masiva: Acceso instantáneo a miles de modelos de código abierto (Llama, Mistral, Phi, Qwen, etc.).
Configuración de un comando: Instala y ejecuta un modelo en segundos (ollama run llama3).
Privacidad primero: Funciona completamente sin conexión; no se envían datos a servidores externos.
Multiplataforma: Soporte nativo para macOS, Windows y Linux.
Alto rendimiento: Optimizado para aceleración tanto de CPU como de GPU (NVIDIA, Apple Silicon).
Integraciones profundas: Funciona sin problemas con herramientas como Langchain, LlamaIndex, Open WebUI y extensiones de VS Code.

Novedades de la versión 0.31.1

Cambiado

Ajustado la carga del modelo Gemma 4 MoE en el motor MLX.
Actualizado el motor MLX a la última versión, incluyendo un nuevo núcleo de matmul de pequeños lotes.
Actualizado el motor subyacente llama.cpp a la versión 9840
Mejorado el rendimiento de predicción de múltiples tokens (MTP) de Gemma 4.