Ollama

Ollama to narzędzie typu open source do lokalnego uruchamiania dużych modeli językowych. Umożliwia pobieranie, uruchamianie i zarządzanie modelami na własnym komputerze, z wnioskowaniem przeprowadzanym lokalnie. Wydajność i dostępne modele zależą od sprzętu i konfiguracji.

Proces aplikacji i konfiguracji

1. Otwórz Ollama i pobierz instalator dla swojego systemu operacyjnego.
2. Przejdź do modeli, wybierz potrzebny model i uruchom polecenie w terminalu (np. ollama pull translategemma:4b), aby pobrać translategemma:4b modelka.
3. Zacznij Ollama: biegnij ollama run translategemma:4b w terminalu. System automatycznie użyje wartości domyślnej API key, dzięki czemu możesz rozpocząć korzystanie z usługi tłumaczenia bez konieczności ręcznego jej wpisywania.
4. Jeśli napotkasz jakieś problemy lub masz sugestie, możesz przesłać je w Opinie strona.

Często zadawane pytania

Jeśli pomyślnie uruchomiłeś Ollama program i poprawnie wpisałem nazwę modelu oraz API endpoint w Ustawieniach modeli tłumaczeń, ale nadal pojawia się błąd 403, przyczyną może być problem z siecią lokalną. Wykonaj poniższe kroki dla swojego systemu operacyjnego, aby włączyć obsługę CORS.

• Windows Otwórz Panel sterowania → System → Zaawansowane ustawienia systemu → Zmienne środowiskowe i w obszarze Zmienne użytkownika dodaj dwie nowe zmienne środowiskowe:
  1. OLLAMA_HOST: ustaw na 0.0.0.0
  2. OLLAMA_ORIGINS: ustaw na *(zezwól na dostęp ze wszystkich źródeł)
  3. Po zapisaniu uruchom ponownie Ollama programu.
• macOS W terminalu uruchom launchctl setenv OLLAMA_ORIGINS "*" a następnie uruchom Ollama programu.
• Linux W terminalu uruchom OLLAMA_ORIGINS="*" ollama serve a następnie uruchom Ollama programu.