בחירת מודלים של בינה מלאכותית
המאמר תורגם באמצעות בינה מלאכותית, והתרגום טרם עבר עריכה ידנית שלי.
בתעריפי השימוש הנוכחיים בממשק התכנות, GPT-6 Astra עולה פי מאה לכל טוקן מ־GPT-6 Luna. לפני שאשלם את התוספת הזאת, ארצה לדעת מה בדיוק מקבלים תמורתה.
מחירו של טוקן הוא רק חלק מעלותה של משימה. הספקים גובים בנפרד על הטקסט שהמודל מקבל ועל הטקסט שהוא מייצר, ביחידות מדידה הנקראות טוקנים. ההנחיה והתשובה הסופית יכולות להיות הקצוות הגלויים של תהליך ארוך בהרבה. מודל חשיבה מייצר טוקנים של שלבי ביניים, שמחויבים כפלט. סוכן עשוי לכתוב פקודות, לקרוא מסמכים ותוצאות של כלים ולעבור שוב על אותו חומר תוך כדי העבודה.
לכן מודל שמגיע לתוצאה טובה בפחות ניסיונות עשוי להיות זול יותר לשימוש גם כשהתעריף שלו גבוה יותר. בחישוב, פקודה קצרה למחשבון יכולה לחסוך רצף ארוך של פעולות חשבון שהמודל מייצר, אף שהפקודה והתוצאה המוחזרת עדיין צורכות טוקנים, ולכלי עצמו עשוי להיות מחיר משלו. גם תוספת חשיבה יכולה להרע את התוצאה: במחקר של אנתרופיק במשימות שנבנו לצורך הניסוי, הארכת החשיבה הפחיתה לעיתים את הדיוק.
גם איכות התוצאה משנה את החישוב. בהרצת הערכה אחת של תוסף לנתוני הלשכה לסטטיסטיקה של העבודה בארצות הברית, על 108 שאלות שלא שימשו לפיתוח, Astra השיג שיעור הצלחה של 94% ו־Luna השיג 88%. פער של שש נקודות אחוז עשוי להיראות צנוע. אבל במשימה שאני צריך לבצע, זה עשוי להיות ההבדל בין קוד שעובד לבין קוד שיש בו תקלה קריטית. אם אצטרך למצוא את התקלה ולתקן אותה, העבודה הזאת עלולה לעלות הרבה יותר מן הטוקנים. טעות שאינה מתגלה עלולה לעלות יותר.
אבחר מודל בדומה לאופן שבו אבחר אדם לתפקיד. מבחני ביצועים והמלצות על מודלים עוזרים להחליט את מי לשקול; עדיין ארצה לראות את העבודה. במשימה שאני מבצע לעיתים קרובות, כדאי לנסות כמה מודלים וכמה דרגות חשיבה. אם המודל הזול מבצע את העבודה היטב, אין סיבה לשלם יותר. אם אצטרך שוב ושוב לתקן אותו, ייתכן שאני חוסך בטוקנים ומשלם על ההפרש בזמן שלי.