Ollama

Ollama 대규모 언어 모델을 로컬에서 실행하기 위한 오픈 소스 도구입니다. 이를 통해 로컬에서 추론을 수행하여 자신의 컴퓨터에서 모델을 다운로드, 실행 및 관리할 수 있습니다. 성능 및 사용 가능한 모델은 하드웨어 및 구성에 따라 다릅니다.

신청 및 설정 과정

1. Ollama 웹사이트를 방문하여 운영 체제에 맞는 설치 프로그램을 다운로드하세요.
2. 모델, 필요한 모델을 선택하고 터미널에서 명령을 실행합니다(예: ollama pull translategemma:4b)을 다운로드하려면 translategemma:4b 모델.
3. 시작 Ollama: 달리다 ollama run translategemma:4b 터미널에서. 시스템은 자동으로 기본값을 사용합니다 API key이므로 수동으로 입력하지 않고도 번역 서비스 사용을 시작할 수 있습니다.
4. 문제가 발생하거나 제안 사항이 있는 경우 피드백 페이지.

자주 묻는 질문

성공적으로 실행했다면 Ollama 프로그램을 실행하고 모델명을 정확하게 입력하고 API endpoint 번역 모델 설정에서 여전히 403 오류가 발생합니다. 이는 로컬 네트워크 교차 출처 문제 때문일 수 있습니다. CORS 지원을 활성화하려면 운영 체제에 따라 아래 단계를 따르세요.

• Windows 제어판 → 시스템 → 고급 시스템 설정 → 환경 변수를 열고 사용자 변수 아래에 두 개의 새로운 환경 변수를 추가합니다.
  1. OLLAMA_HOST:로 설정 0.0.0.0
  2. OLLAMA_ORIGINS:로 설정 *(모든 출처에서 접근 허용)
  3. 저장 후 다시 시작하세요. Ollama 프로그램.
• macOS 터미널에서 다음을 실행하세요. launchctl setenv OLLAMA_ORIGINS "*" 그런 다음 Ollama 프로그램.
• Linux 터미널에서 다음을 실행하세요. OLLAMA_ORIGINS="*" ollama serve 그런 다음 Ollama 프로그램.