Ollama Überblick

Ollama ist eine Open-Source-Plattform, die es Benutzern ermöglicht, große Sprachmodelle (LLMs) direkt auf ihrer lokalen Hardware auszuführen, zu verwalten und bereitzustellen. Es wird weithin als Branchenstandard für lokale KI angesehen, da es den komplexen Prozess der Einrichtung und Ausführung leistungsstarker Modelle wie Llama 3, Mistral und Gemma mit einem einzigen Befehl vereinfacht.

Hauptmerkmale:

Massive Modellbibliothek: Sofortiger Zugriff auf Tausende von Open-Source-Modellen (Llama, Mistral, Phi, Qwen usw.).
Ein-Befehl-Setup: Installieren und führen Sie ein Modell in Sekunden aus (ollama run llama3).
Datenschutz zuerst: Funktioniert vollständig offline; keine Daten werden an externe Server gesendet.
Plattformübergreifend: Native Unterstützung für macOS, Windows und Linux.
Hohe Leistung: Optimiert für CPU- und GPU-Beschleunigung (NVIDIA, Apple Silicon).
Tiefe Integrationen: Funktioniert nahtlos mit Tools wie Langchain, LlamaIndex, Open WebUI und VS Code-Erweiterungen.

Was ist neu in Version 0.31.1

Geändert

Optimierung des Ladens des Gemma 4 MoE-Modells im MLX-Engine.
Aktualisierung der MLX-Engine auf die neueste Version, einschließlich eines neuen Matmul-Kernels für kleine Chargen.
Aktualisierung der zugrunde liegenden llama.cpp-Engine auf Build 9840
Verbesserte Leistung der Mehrtoken-Vorhersage (MTP) von Gemma 4.