טעות 1: הנחה שכל המודלים ה'Uncensored' שווים בהגבלתם
המונח AI ללא מסננים משמש לעיתים קרובות באופן רופף על ידי אגרגטורים לתיאור מודלים עם מסננים רגועים. חלק מהמודלים עדיין שומרים על מסננים קשיחים לנושאים ספציפיים, בעוד שאחרים הם בעלי משקל פתוח באמת ומעובדים למינימום סירוב. שינוי זה אומר שהאינטגרציה שלכם עשויה לעבוד בצורה מושלמת עם מודל אחד אך להיתקל בסירובים בלתי צפויים עם אחר. תמיד ודאו את ההתנהגות הספציפית של המודל אליו אתם מפנים.
אנו מציעים מודל יחיד, באמת חסר צנזורה, שאינו מסרב לנושאים בוגרים חוקיים או שנויים במחלוקת. זה מבטל את צורך הניחוש בניהול המודלים. אתה מקבל התנהגות עקבית בכל בקשה ללא צורך לדאוג לגדרות (guardrails) נסתרות.
טעות 2: התעלמות ממגבלות חלון ההקשר של 100k טוקנים
האינטגרציה שלך נכשלת כאשר סך האסימונים בהנחה ובפלט עולה על מגבלת המודל. הרבה מפתחים מגדירים את הלקוח שלהם לשלוח 100k אסימונים אך שוכחים שהמודל צריך מקום לייצר את התגובה. אם חלון ההקשר הוא 100,000 אסימונים, עליך להקצות מקום לפלט. שליחת הנחה גדולה מדי תוביל לשגיאה מיידית או לחיתוך.
אנו תומכים בחלון הקשר של 100,000 טוקנים לשילוב prompt ו-completion יחד. זה מאפשר היסטוריה נרחבת או מסמכים ארוכים. ודא שהקוד שלך מחשב את הטוקנים הנותרים נכון לפני כל בקשה. חריגה ממגבלה זו מבזבזת כסף על בקשות שנדחות.
טעות 3: בלבול בין max_tokens לאורך חלון ההקשר
אורך ההקשר מגדיר כמה היסטוריה המודל יכול לקרוא. מקסימום טוקנים מגדיר כמה טקסט המודל יכול לכתוב. אלו מגבלות בלתי תלויות. ניתן לחלון הקשר עצום אך פלט מקסימלי קטן. הגדרת max_tokens נמוך מדי תחתור את התשובה. הגדרה גבוהה מדי מסכנת חיוב מיותר אם המודל מייצר טקסט מילוי.
ה-LLM הלא-מסונן שלנו תומך במקסימום פלט של 16,000 אסימונים לכל בקשה. אם לא מגדירים max_tokens, הוא מוגדר כברירת מחדל ל-2,048 אסימונים. ברירת המחדל הזו קצרה לרוב עבור משימות חשיבה מורכבת. הגדר את הפרמטר במפורש כדי להתאים לאורך התגובה הצפוי. זה מונע JSON קטוע או חסימות קוד לא שלמות.
טעות 4: התעלמות מספירת טוקנים בסטרימינג לעומת לא-סטרימינג
תגובות בזרם מספקות אסימונים בהדרגה. תגובות ללא זרם ממתינות להשלמה מלאה. שימוש באסימונים מדווח לעיתים קרובות בנתח הסופי של זרם. אם הלקוח שלך מתעלם מהנתח האחרון, אתה מאבד נתוני חשבוניות מדויקים. זה הופך ניפוי באגים של בקשות יקרות לקשה.
אנו מספקים סטרימינג באמצעות SSE עם שימוש בטוקנים בחבילה האחרונה. ודא שהמפענח שלך תופס אירוע זה. בקשות לא-סטרימינג כוללות גם כן נתוני שימוש בגוף התגובה. השתמש בסטרימינג לחוויית משתמש טובה יותר אך עקוב אחר השימוש נכון. אי-תפיסת החבילה האחרונה מובילה לדיווח שגוי על עלויות.
טעות 5: ציפייה לאפס סירובים לכל סוגי התוכן
"לא מצונזר" אינו אומר אינסופי. רוב המודלים עדיין מטילים מגבלה קשה על תוכן מיני העוסק בקטינים. זוהי רמת בסיס סטנדרטית של בטיחות אפילו במודלים בעלי משקל פתוח. אם תשלח פרומפט המפר כלל זה, ה-API יחזיר סירוב. זו לא באג; זו אכיפת מדיניות.
ה-API שלנו מסרב לבקשות המכילות תוכן מיני העוסק בקטינים. כל תוכן מבוגר חוקי אחר מותר. מגבלה קשיחה זו חלה ללא קשר לסגנון הפומפט. אל תניחו שכל סירוב מעיד על בעיה במודל. בדקו את התוכן שלכם מול מגבלה ספציפית זו קודם.
טעות 6: שימוש בהגדרות טמפרטורה שגויות ליצירתיות מול קידוד
הטמפרטורה שולטת באי-ודאות. ערכים גבוהים מגבירים יצירתיות אך מפחיתים דיוק. ערכים נמוכים הופכים את הפלט לדטרמיניסטי ומדויק. שימוש בטמפרטורה גבוהה ליצירת קוד מציג שגיאות תחביר. שימוש בטמפרטורה נמוכה לכתיבה יצירתית הופך את הטקסט לחוזר ושיעמום.
התאם טמפרטורה בהתאם למשימה שלך. השתמש בערכים נמוכים יותר לקריאת פונקציות או מצב JSON. השתמש בערכים גבוהים יותר ליצירת סיפורים או רעיונות. ה-LLM ללא צנזורה שלנו מגיב היטב להתאמות אלו. בדוק ערכים שונים כדי למצוא את האיזון הנכון למקרה השימוש שלך.
טעות 7: לא בדיקת מבנה הפלט של מצב JSON מוקדם
מודלים שפה גדולים (LLMs) הם לא מסדי נתונים. הם מייצרים טקסט שנראה כמו JSON. שגיאות מתרחשות כאשר המודל מפיק טקסט נוסף או תחביר לא תקין. פיענוח נכשל אם אינך מאמת את הפלט. הסתמכות על המודל לייצר JSON מושלם בכל פעם היא סיכון. תמיד ממשל מנגנון ניסיון חוזר ל-JSON לא תקין.
אנו תומכים במצב JSON דרך response_format json_object. זה מכריח את המודל להפיק JSON תקף. עדיין הוא עשוי לייצר אובייקטים ריקים או שדות חסרים. וודא את המבנה לפני השימוש בנתונים. זה חוסך זמן ניפוי באגים מאוחר יותר בפייפליין.
טעות 8: הנחה שהקרדיט פג תוקף כמו מנוי
ספקי API רבים גובים דמי חודש שפגים. המודל שלנו שונה. אתה משלם על מה שאתה משתמש. אשראי מקדים לא פג. אם אתה מעלה $100, יתרה זו נשארת זמינה לנצח. זה אידיאלי לפרויקטים אינטרמיטיביים או אחסון לטווח ארוך. אתה לא מפסיד כסף על ידי המתנה.
אנו גובים על פי שימוש בפועל בטוקנים. שגיאות ודחיות ללא תשלום. כלומר, אתה משלם רק על השלמות מוצלחת. הטען עם קריפטו בלבד. העדר דמי מנוי חודשיים משמעו העדר חיובים הפתעה. השתמש במודל התשלום המקדים לעלויות ארוכות טווח צפויות.
