Ollama

Ollama là một công cụ nguồn mở để chạy cục bộ các mô hình ngôn ngữ lớn. Nó cho phép bạn tải xuống, chạy và quản lý các mô hình trên máy của riêng bạn với khả năng suy luận được thực hiện cục bộ. Hiệu suất và các mẫu có sẵn phụ thuộc vào phần cứng và cấu hình của bạn.

Quy trình đăng ký và thiết lập

1. Mở Ollama và tải xuống trình cài đặt cho hệ điều hành của bạn.
2. Đi đến mô hình, chọn kiểu máy bạn cần và chạy lệnh trong thiết bị đầu cuối (ví dụ: ollama pull translategemma:4b) để tải xuống translategemma:4b mô hình.
3. Bắt đầu Ollama: chạy ollama run translategemma:4b trong thiết bị đầu cuối. Hệ thống sẽ tự động sử dụng mặc định API key, vì vậy bạn có thể bắt đầu sử dụng dịch vụ dịch mà không cần nhập thủ công.
4. Nếu gặp phải bất kỳ vấn đề nào hoặc có đề xuất, bạn có thể gửi chúng trên Phản hồi trang.

Câu hỏi thường gặp

Nếu bạn đã chạy thành công Ollama chương trình và nhập chính xác tên model và API endpoint trong Cài đặt mô hình dịch nhưng vẫn gặp lỗi 403, nguyên nhân có thể là do sự cố giữa nhiều nguồn gốc của mạng cục bộ. Hãy làm theo các bước dưới đây dành cho hệ điều hành của bạn để kích hoạt hỗ trợ CORS.

• Windows Mở Bảng điều khiển → Hệ thống → Cài đặt hệ thống nâng cao → Biến môi trường và trong Biến người dùng, thêm hai biến môi trường mới:
  1. OLLAMA_HOST: đặt thành 0.0.0.0
  2. OLLAMA_ORIGINS: đặt thành *(cho phép truy cập từ mọi nguồn)
  3. Sau khi lưu, khởi động lại Ollama chương trình.
• macOS Trong thiết bị đầu cuối, chạy launchctl setenv OLLAMA_ORIGINS "*" và sau đó bắt đầu Ollama chương trình.
• Linux Trong thiết bị đầu cuối, chạy OLLAMA_ORIGINS="*" ollama serve và sau đó bắt đầu Ollama chương trình.