Ollama

Ollama הוא כלי קוד פתוח להפעלת מודלים גדולים של שפות באופן מקומי. זה מאפשר לך להוריד, להריץ ולנהל דגמים במחשב שלך, עם ההסקה המבוצעת באופן מקומי. הביצועים והדגמים הזמינים תלויים בחומרה ובתצורה שלך.

תהליך יישום והגדרה

1. פתח את Ollama אתר האינטרנט והורד את תוכנית ההתקנה עבור מערכת ההפעלה שלך.
2. עבור אל מודלים, בחר את הדגם שאתה צריך, והפעל את הפקודה בטרמינל (למשל, ollama pull translategemma:4b) כדי להוריד את translategemma:4b דגם.
3. התחל Ollama: לרוץ ollama run translategemma:4b בטרמינל. המערכת תשתמש אוטומטית בברירת המחדל API key, כך שתוכל להתחיל להשתמש בשירות התרגום מבלי להזין אותו באופן ידני.
4. אם אתה נתקל בבעיות כלשהן או שיש לך הצעות, תוכל לשלוח אותן ב-משוב עמוד.

שאלות נפוצות

אם הרצתם בהצלחה את Ollama תוכנית והזין נכון את שם הדגם ו API endpoint בהגדרות מודלים של תרגום, אבל עדיין נתקל בשגיאה 403, ייתכן שהדבר נובע מבעיית מקורות צולבים ברשת המקומית. בצע את השלבים הבאים עבור מערכת ההפעלה שלך כדי להפעיל את תמיכת CORS.

• Windows פתח את לוח הבקרה ← מערכת ← הגדרות מערכת מתקדמות ← משתני סביבה, ותחת משתני משתמש, הוסף שני משתני סביבה חדשים:
  1. OLLAMA_HOST: מוגדר ל 0.0.0.0
  2. OLLAMA_ORIGINS: מוגדר ל *(אפשר גישה מכל המקורות)
  3. לאחר השמירה, הפעל מחדש את Ollama תוכנית.
• macOS בטרמינל, רוץ launchctl setenv OLLAMA_ORIGINS "*" ולאחר מכן התחל את Ollama תוכנית.
• Linux בטרמינל, רוץ OLLAMA_ORIGINS="*" ollama serve ולאחר מכן התחל את Ollama תוכנית.