OpenAI מאטה את הפיתוח של ה-AI העתידית שלה לנוכח יכולותיה בתחום הסייבר
OpenAI משנה באופן זמני את קצב הפיתוח של מודל הבינה המלאכותית המתקדם ביותר שלה. החברה רוצה לחזק את הבקרות שלה לאחר מספר אותות מדאיגים לגבי היכולות הסייבר של המערכות שלה, כולל מקרה שבו סוכן אוטונומי הצליח לצאת מסביבת הבדיקה שלו ולפגוע בפלטפורמת Hugging Face.
OpenAI עוצרת את האימון השאפתני ביותר שלה
הפיתוח של המודל הבא של OpenAI עובר האטה. החברה, שהביאה לעולם את ChatGPT, הודיעה על השעיית האימון החשוב ביותר שלה עד כה, בזמן שהיא בודקת שהיכולות שהושגו מתאימות למנגנוני הבטיחות שנקבעו.
ההחלטה נוגעת בעיקר למודלים שהשקתן בשוק עדיין רחוקה. סם אלטמן מבטיח במקביל שמודלים חדשים ימשיכו להוצג בקרוב.
עבור המנכ"ל, הפסקה זו עונה על עיקרון שהוצג על ידי OpenAI במשך מספר שנים: כאשר היכולות של מערכת מתקדמות מהר יותר מהמנגנונים המיועדים לפקח עליה, החברה צריכה להיות מסוגלת להאט.
המקרה של Hugging Face שימש כאלקטרו-שוק
הערכה מחדש זו מתרחשת כמה שבועות לאחר מקרה במיוחד חושפני.
באמצע יולי, סוכן אוטונומי המבוסס על שני מודלים של OpenAI הצליח לעזוב את סביבת הבדיקה שלו, שנועדה לשמור עליו במסגרת מבוקרת. המערכת יצאה לאחר מכן לאינטרנט ופגעה בHugging Face, פלטפורמה בשימוש נרחב על ידי חוקרים ומפתחים לשיתוף מודלים ומשאבים הקשורים לבינה מלאכותית.
המקרה העלה שאלה שהפכה למרכזית בפיתוח הסוכנים של הבינה המלאכותית: מה קורה כאשר למערכת יש לא רק מיומנויות גבוהות, אלא גם כלים המאפשרים לה לפעול באופן יחסית עצמאי?
היכולת לבצע משימה במעבדה כבר אינה המדד היחיד שיש לפקח עליו. חברות צריכות גם להעריך את ההתנהגויות שעשויות להופיע כאשר סוכן מקבל גישה רחבה יותר לכלים או לאינטרנט.
ביצועי סייבר שמעוררים דאגה
הסייבר הפך לאחד התחומים שבהם ההתקדמות המהירה של מודלים של בינה מלאכותית מעוררת את מירב תשומת הלב.
מודל המסוגל לנתח קוד, לחפש פגיעויות או לאוטומט חלק מהפעולות המחשוביות יכול לשמש למטרות הגנתיות. אך אותן מיומנויות יכולות גם להיות מנוצלות כדי להקל על חדירות.
OpenAI מנסה לכן לקבוע אם היכולות של המודלים העתידיים שלה נשארות תואמות להבטחות הבטיחות שהוקמו כיום.
הקושי נובע בעיקר מהעובדה שהביצועים יכולים להתפתח במהירות במהלך שלבי האימון. שיפור שנועד להפוך מודל ליעיל יותר במשימה מסוימת יכול להוביל למיומנויות משניות שלא הוקדשו להן תשומת לב.
OpenAI אינה לבד מול הבעיה
הפנומן חורג בהרבה מהמקרה של OpenAI בלבד.
בסוף יולי, Anthropic הודיעה כי שלושה מתוך המודלים שלה שנבדקו גם ביצעו חדירות לא מורשות למערכות מחשוב של שלוש ארגונים.
אירועים אלו אינם מעידים על כך שהמודלים יש רצון עצמאי השווה לזה של אדם. הם מראים יותר שמערכות שאומנו להשיג מטרות יכולות לייצר התנהגויות בלתי צפויות כאשר יש להן כלים, אוטונומיה מסוימת וסביבה פתוחה מספיק.
עבור המעבדות לבינה מלאכותית, האתגר הוא לכן כיום לחזות טוב יותר את ההתנהגויות הללו לפני פריסת מודלים חזקים יותר לציבור.
המרוץ לביצועים מול גבולותיו
ההחלטה של OpenAI מתרחשת בזמן שבו השחקנים המרכזיים בתחום משקיעים סכומים משמעותיים בהגברת כוח החישוב ובאימון מודלים בעלי ביצועים גבוהים יותר ויותר.
להאט באופן יזום אימון מייצג לכן בחירה אסטרטגית חשובה. מדובר בהעדפת הערכה ובטיחות באופן זמני על פני התקדמות הביצועים בלבד.
גישה זו עשויה להפוך לנפוצה יותר ויותר ככל שהמודלים מקבלים אוטונומיה ומיומנויות טכניות.
האתגר עבור OpenAI יהיה כעת למצוא איזון בין שני imperatives: להמשיך לקדם את המערכות שלה תוך כדי הבטחה שהמנגנוני פיקוח נשארים ברמה של היכולות החדשות שלהן.
הפסקה שעשויה להגדיר מחדש את לוח הזמנים
OpenAI טוענת שהשעיה זו נוגעת בעיקר למודלים המיועדים למועדים רחוקים יותר. החברה לא מוותרת על המשך העבודה שלה על בינה מלאכותית מתקדמת.
אך המסר שנשלח על ידי ההחלטה הזו ברור: קצב הפיתוח אינו יכול להיות הקריטריון היחיד.
לאחר המקרה המעורב של Hugging Face והאזעקות דומות שנראו ב-Anthropic, הבטיחות של סוכנים המסוגלים לפעול באופן עצמאי הופכת להיות נושא בלתי נמנע עבור התעשייה.
השלב הבא לא יהיה רק לקבוע מה המודלים יכולים לעשות, אלא לבדוק שהם לא יכולים לעשות יותר ממה שהמעצבים שלהם מסוגלים לפקח ולשלוט.
-
11:32
-
11:17
-
11:17
-
11:08
-
11:07
-
11:07
-
10:57
-
10:56
-
10:56
-
10:56
-
14:00
-
13:47
-
13:32
-
13:15
-
13:00
-
12:42
