ניתוב מודלים דינמי: כך Snowflake תנסה לבחור את מודל ה-AI הזול ביותר לכל משימה

לפי Snowflake, הנתב ינסה לבחור את המודל הזול ביותר מתוך רשימת המודלים שאושרו על ידי מנהלי המערכת — אך רק אם הוא מעריך שהמודל מסוגל להשלים את המשימה ברמת איכות מספקת. במקביל, לקוחות שלא ירצו להסתמך על בחירה אוטומטית יוכלו להצמיד אפליקציה למודל מסוים או לצמצם את רשימת המודלים הזמינים.

החברה מוסיפה כי הניתוב יכול להתחשב בדרישות של מיקום נתונים ובמדיניות ממשל ארגונית, וכן לתעד איזה מודל נבחר עבור כל בקשה. כך, היכולת אינה מיועדת רק לחיסכון בעלויות — היא עשויה לסייע גם לארגונים שזקוקים לתהליך בחירת מודל שניתן לבקרה ולביקורת.

איך הניתוב אמור לעבוד?

Snowflake תיארה שני מנגנונים מרכזיים לקבלת ההחלטה.

דפוס היועץ (Advisor Pattern)

במסלול זה, מודל קטן ויעיל מנסה לבצע את המשימה תחילה. אם הוא אינו מצליח להשלים אותה כראוי, הוא יכול להפעיל מודל גדול וחזק יותר ככלי ולהמשיך את העבודה. המטרה היא לא לשלם מראש את מחירו של מודל Frontier עבור משימות שמודל קטן יכול לפתור, תוך שמירה על אפשרות להסלמה במקרים מורכבים יותר.

ניתוב באמצעות מסווג

מסווג נפרד יכול לנתח דפוסים שנלמדו משאילתות קודמות, לזהות בקשות פשוטות ולנתב אותן למודלים קלים יותר. למעשה, נוצרות כאן שתי אסטרטגיות: להתחיל במודל קטן ולהסלים במקרה הצורך, או לסווג את הבקשה מראש ולבחור מודל מתאים כבר בתחילת התהליך.

עם זאת, השאלה החשובה אינה רק אם המערכת בחרה מודל זול יותר. ניסיון ראשון שנכשל, הסלמה למודל נוסף או ניסיון חוזר עלולים להוסיף טוקנים, להאריך את זמן התגובה ולהגדיל את המורכבות התפעולית.

תוצאות היעילות ש-Snowflake דיווחה עליהן

Snowflake דיווחה על עד פי 3 יעילות בטוקנים בתרחיש פנימי של סוכן שבונה צינורות נתונים ב-dbt, כאשר הניתוב השיג איכות דומה לזו שהתקבלה בשימוש בלעדי במודלי Frontier. בניסוי נפרד הקשור לפיתוח תוכנה, החברה מסרה שצוותי הנדסה שמרו על קצב דומה של מיזוג Pull Requests תוך שימוש בכ-25% פחות טוקנים.

חשוב להדגיש: אלה נתונים ש-Snowflake דיווחה עליהם מניסויים פנימיים, ולא תוצאות של לקוחות שאומתו באופן עצמאי. התוצאות עשויות להשתנות משמעותית בין סוגי עומסים. נתב שמתפקד היטב במשימות חוזרות של הנדסת נתונים או כתיבת קוד עשוי להציג ביצועים אחרים במחקר עם הקשר ארוך, בשימוש מורכב בכלים או בהחלטות בעלות סיכון גבוה.

לכן, המדד החשוב ביותר אינו "כמה טוקנים נחסכו" כשלעצמו, אלא כמה עולה להשלים בהצלחה משימה שהלקוח מקבל — יחד עם איכות, זמן תגובה, אמינות וכמות העבודה האנושית שנדרשת לתיקונים.

מודלים חדשים: DeepSeek ו-GLM

Snowflake מרחיבה את מאגר המודלים הזמינים דרך Cortex AI עם DeepSeek-V4-Flash 0731 ו-GLM-5.3 של Z.ai. DeepSeek-V4-Flash 0731 הוכרז לתצוגה מקדימה פרטית, כולל בתוך CoCo. GLM-5.3 צפוי להגיע לתצוגה מקדימה פרטית בהמשך, בכפוף לזמינות.

Snowflake דיווחה כי DeepSeek-V4-Flash קיבל 74.4% במבחן ADE-bench בניסוי פנימי שבו CoCo שימש כמסגרת לסוכן. החברה ציטטה גם ניסוי קודם ב-GLM-5.2, ולא ב-GLM-5.3, שבו נרשם ציון של 66% לצד צריכת הטוקנים הנמוכה ביותר באותו מבחן. אין לפרש את תוצאת GLM-5.2 כהערכה שפורסמה עבור GLM-5.3.

הרחבת מאגר המודלים מחזקת את אסטרטגיית הניתוב: ככל שיש יותר אפשרויות, קל יותר להתאים בין דרישות המשימה לבין שילוב מתאים של עלות וביצועים. היא גם מעניקה ללקוחות חלופות נוספות למודלים המוכרים ביותר של ספקי ה-AI הגדולים.

היתרון ש-Snowflake מייחסת לגבול הנתונים המנוהל

הטענה המרכזית של Snowflake לבידול אינה עצם היכולת לנתב בין מודלים, אלא העובדה שהניתוב משולב בסביבת הנתונים המנוהלת שלה. החברה אומרת שהיא מפעילה בעצמה את המודלים הפתוחים החדשים, ולא רק משמשת כמתווכת ל-API של צד שלישי. לטענתה, הנתונים, משאבי החישוב להסקה, משקלי המודל ותזמור הסוכנים פועלים בתוך מעטפת האבטחה של Snowflake, לצד מנגנוני בקרת גישה מבוססי תפקידים ורישום ביקורת קיימים.

זו טענה ארכיטקטונית של Snowflake, ולא התחייבות אוניברסלית שמתאימה לכל פריסה. ארגונים עדיין יצטרכו לבדוק את הפרטים הרלוונטיים לסביבה שלהם: אזור הפריסה, דרישות מיקום הנתונים, תנאים חוזיים, אופן הרישום ואילו מודלים רשאים להשתתף בכל עומס עבודה.

הערך המעשי עשוי להיות משמעותי במיוחד עבור ארגונים שכבר מנהלים את הנתונים האנליטיים והיישומים שלהם בתוך Snowflake. במקרה כזה, השער אינו רק כלי לבחירת מודל זול יותר — הוא הופך את בחירת המודל לחלק מאותה מסגרת של הרשאות, אבטחה וביקורת המשמשת גם לגישה לנתונים.

איך זה משתלב בשוק ניתוב המודלים?

Snowflake אינה היחידה שמציעה ניתוב מודלים. Amazon Bedrock, למשל, מספקת נקודת קצה ללא שרת שמנתבת בקשות בין מודלי בסיס בתוך אותה משפחת מודלים, לפי תחזית של איכות התגובה והעלות.

Databricks מציעה דרך Unity AI Gateway מישור בקרה מרכזי לניתוב תעבורה למודלים ולשירותי MCP, עם ניהול קיבולת, זמינות והוצאות בין ספקים.

לכן, ההשוואה המשמעותית אינה רק מי מסוגל לבחור מודל זול יותר. השאלה היא היכן נמצאים ממשל הנתונים, מדיניות הניתוב, ביצוע המודל, הגישה לנתונים ונראות החיוב. Snowflake מדגישה אינטגרציה הדוקה עם גבול נתונים מנוהל; שערים ניטרליים יותר עשויים להציע גמישות רחבה יותר בין ספקים ובין סביבות ענן.

עבור קונים ארגוניים, הבחירה תלויה בסביבת התפעול:

• גישה משולבת מתאימה כאשר הנתונים המנוהלים, בקרות הגישה, תזמור הסוכנים והשימוש במודלים כבר מרוכזים בפלטפורמת נתונים אחת.
• שער ניטרלי יותר עשוי להתאים כאשר ניידות בין ספקים, לוגיקת ניתוב עצמאית או גמישות רב-עננית חשובות יותר מהאינטגרציה עם פלטפורמה אחת.
• יש לבדוק את מאגר המודלים בפועל ולא להניח שכל שער יכול לנתב בין אותם ספקים, משפחות מודלים, אזורים או סוגי פריסה.

מה צריך למדוד לפני שמקבלים את הבטחת החיסכון?

הערכה רצינית צריכה להשוות בין ניתוב אוטומטי לבין מודל Frontier קבוע, באמצעות עומסי עבודה שמייצגים את השימוש בייצור. בין המדדים שכדאי לעקוב אחריהם:

• העלות הכוללת לכל משימה שהושלמה ואושרה — לא רק מחיר הטוקנים של המודל שנבחר.
• חיובים אפשריים עבור הנתב או המסווג.
• קריאות נוספות שנוצרו בעקבות הסלמה, Fallback, ניסיונות חוזרים או כשל בהפעלת כלים.
• זמן התגובה מקצה לקצה, כולל ניתוב, שליפת מידע, הרכבת הקשר וקריאה נוספת למודל.
• שיעור הצלחת המשימה ורמת האיכות לפי קטגוריית שימוש.
• הזיות, הפרות מדיניות וירידה באיכות שנגרמו על ידי מודלים קטנים יותר.
• עלויות בדיקה, תיקון, הסלמה ועיבוד חוזר על ידי עובדים.
• מגבלות הקשורות למיקום נתונים, תצפיתיות, העברת נתונים ונעילת ספק.

Snowflake אומרת שלא תגבה תשלום נפרד על עצם החלטת הניתוב, אלא תחייב לפי צריכת טוקנים. עם זאת, הסלמות וניסיונות חוזרים עדיין עלולים להגדיל את השימוש הכולל ואת זמן התגובה. לכן, קריטריון הקבלה הנכון הוא האם הניתוב מפחית את העלות של תוצאה שהושלמה ואושרה, תוך שמירה על רמת האיכות ועל דרישות הממשל של היישום.

השורה התחתונה

ההכרזה של Snowflake כוללת שני מהלכים: בחירה דינמית בין מודלים מאושרים והרחבת מאגר המודלים הזמינים בתוך Cortex AI. היכולת צפויה להגיע בקרוב לתצוגה מקדימה פרטית; DeepSeek-V4-Flash 0731 כבר הוכרז לתצוגה מקדימה פרטית, ואילו GLM-5.3 צפוי בהמשך בכפוף לזמינות.

הזווית האסטרטגית החזקה ביותר של Snowflake אינה הרעיון הכללי של שליחת משימות פשוטות למודלים זולים יותר. החידוש שהיא מנסה למכור הוא הכנסת ההחלטה הזו אל תוך גבול הנתונים, האבטחה והממשל הקיים שלה. תוצאת היעילות של פי 3 נשמעת מבטיחה, אך ארגונים יצטרכו לבדוק את הניתוב על עומסי העבודה שלהם ולמדוד עלות, איכות, זמן תגובה, אמינות ותיקונים אנושיים — ולא להסתפק בספירת טוקנים שנחסכו.