Ollama

Ollama büyük dil modellerini yerel olarak çalıştırmak için açık kaynaklı bir araçtır. Yerel olarak gerçekleştirilen çıkarımla modelleri kendi makinenizde indirmenize, çalıştırmanıza ve yönetmenize olanak tanır. Performans ve mevcut modeller donanımınıza ve yapılandırmanıza bağlıdır.

Başvuru ve Kurulum Süreci

1. Ollama web sitesine gidin ve işletim sisteminize uygun yükleyiciyi indirin.
2. Modellere git(https://ollama.com/library), ihtiyacınız olan modeli seçin ve terminalde komutu çalıştırın (örn. ollama pull translategemma:4b) indirmek için translategemma:4b modeli.
3. Başlat Ollama: koş ollama run translategemma:4b terminalde. Sistem otomatik olarak varsayılanı kullanacaktır API keyBöylece çeviri hizmetini manuel olarak girmeden kullanmaya başlayabilirsiniz.
4. Herhangi bir sorunla karşılaşırsanız veya önerileriniz varsa bunları Geri Bildirim sayfa.

Sık sorulan sorular

Başarılı bir şekilde çalıştırdıysanız Ollama program adını doğru bir şekilde girip model adını girin ve API endpoint Çeviri Modelleri Ayarları'nda, ancak yine de 403 hatasıyla karşılaşıyorsanız, bunun nedeni yerel ağda çapraz kaynak sorunu olabilir. CORS desteğini etkinleştirmek için işletim sisteminize uygun aşağıdaki adımları izleyin.

• Windows Denetim Masası → Sistem → Gelişmiş sistem ayarları → Ortam Değişkenleri'ni açın ve Kullanıcı değişkenleri altına iki yeni ortam değişkeni ekleyin:
  1. OLLAMA_HOST: ayarla 0.0.0.0
  2. OLLAMA_ORIGINS: ayarla *(tüm kaynaklardan erişime izin ver)
  3. Kaydettikten sonra yeniden başlatın Ollama programı.
• macOS Terminalde çalıştırın launchctl setenv OLLAMA_ORIGINS "*" ve ardından başlayın Ollama programı.
• Linux Terminalde çalıştırın OLLAMA_ORIGINS="*" ollama serve ve ardından başlayın Ollama programı.