Ollama

Ollama ialah alat sumber terbuka untuk menjalankan model bahasa yang besar secara tempatan. Ia membolehkan anda memuat turun, menjalankan dan mengurus model pada mesin anda sendiri, dengan inferens dilakukan secara setempat. Prestasi dan model yang tersedia bergantung pada perkakasan dan konfigurasi anda.

Proses Permohonan dan Persediaan

1. Buka Ollama tapak web dan muat turun pemasang untuk sistem pengendalian anda.
2. Pergi ke model, pilih model yang anda perlukan dan jalankan arahan dalam terminal (cth., ollama pull translategemma:4b) untuk memuat turun translategemma:4b model.
3. Mulakan Ollama: lari ollama run translategemma:4b dalam terminal. Sistem akan secara automatik menggunakan lalai API key, jadi anda boleh mula menggunakan perkhidmatan terjemahan tanpa memasukkannya secara manual.
4. Jika anda menghadapi sebarang isu atau mempunyai cadangan, anda boleh menyerahkannya pada Maklum Balas muka surat.

Soalan lazim

Jika anda telah berjaya menjalankan Ollama program dan memasukkan nama model dan dengan betul API endpoint dalam Tetapan Model Terjemahan, tetapi masih menghadapi ralat 403, ia mungkin disebabkan oleh isu silang asal rangkaian tempatan. Ikuti langkah di bawah untuk sistem pengendalian anda untuk mendayakan sokongan CORS.

• Windows Buka Panel Kawalan → Sistem → Tetapan sistem lanjutan → Pembolehubah Persekitaran, dan di bawah Pembolehubah pengguna, tambahkan dua pembolehubah persekitaran baharu:
  1. OLLAMA_HOST: ditetapkan kepada 0.0.0.0
  2. OLLAMA_ORIGINS: ditetapkan kepada *(benarkan akses dari semua asal usul)
  3. Selepas menyimpan, mulakan semula Ollama program.
• macOS Di terminal, jalankan launchctl setenv OLLAMA_ORIGINS "*" dan kemudian mulakan Ollama program.
• Linux Di terminal, jalankan OLLAMA_ORIGINS="*" ollama serve dan kemudian mulakan Ollama program.