Ollama

Ollama ist ein Open-Source-Tool zum lokalen Ausführen großer Sprachmodelle. Sie können damit Modelle auf Ihrem eigenen Computer herunterladen, ausführen und verwalten, wobei die Inferenz lokal durchgeführt wird. Leistung und verfügbare Modelle hängen von Ihrer Hardware und Konfiguration ab.

Bewerbungs- und Einrichtungsprozess

1. Öffnen Sie das Ollama-Website und laden Sie das Installationsprogramm für Ihr Betriebssystem herunter.
2. Gehen Sie zu Modelle, wählen Sie das gewünschte Modell aus und führen Sie den Befehl im Terminal aus (z. B. ollama pull translategemma:4b), um die herunterzuladen translategemma:4b Modell.
3. Starten Ollama: laufen ollama run translategemma:4b im Terminal. Das System verwendet automatisch die Standardeinstellung API key, sodass Sie den Übersetzungsdienst nutzen können, ohne ihn manuell eingeben zu müssen.
4. Wenn Sie auf Probleme stoßen oder Vorschläge haben, können Sie diese unter Feedback Seite.

Häufig gestellte Fragen

Wenn Sie das erfolgreich ausgeführt haben Ollama Programm und habe den Modellnamen und korrekt eingegeben API endpoint in den Übersetzungsmodelleinstellungen, aber immer noch ein 403-Fehler auftritt, kann dies an einem Cross-Origin-Problem im lokalen Netzwerk liegen. Führen Sie die folgenden Schritte für Ihr Betriebssystem aus, um die CORS-Unterstützung zu aktivieren.

• Windows Öffnen Sie Systemsteuerung → System → Erweiterte Systemeinstellungen → Umgebungsvariablen und fügen Sie unter Benutzervariablen zwei neue Umgebungsvariablen hinzu:
  1. OLLAMA_HOST: eingestellt auf 0.0.0.0
  2. OLLAMA_ORIGINS: eingestellt auf *(Zugriff von allen Ursprüngen zulassen)
  3. Starten Sie nach dem Speichern das neu Ollama Programm.
• macOS Führen Sie im Terminal Folgendes aus: launchctl setenv OLLAMA_ORIGINS "*" und dann starten Ollama Programm.
• Linux Führen Sie im Terminal Folgendes aus: OLLAMA_ORIGINS="*" ollama serve und dann starten Ollama Programm.