ג'מיני של גוגל נכנס למערכות מחשוב על ידי ניחוש מזהים
מבחן אבטחה שנערך במאי הביא לכך שג'מיני, מודל הבינה המלאכותית של גוגל, גישה למספר מערכות מחשוב חיצוניות על ידי ניצול מידע זמין באינטרנט וניסיון לנחש מזהים. גוגל טוענת שהמודל בסופו של דבר הפסיק את פעולותיו בעצמו, אך האירוע מחזיר את הדאגות לגבי האוטונומיה הגוברת של מערכות הבינה המלאכותית.
מבחן אבטחה שחצה את הגבולות שלו
האירוע התרחש במאי במסגרת תרגיל שהוצג על ידי גוגל כמבחן סטנדרטי של ג'מיני. לפי ההסברים שנמסרו על ידי החברה, המודל חיפש מידע נגיש לציבור באינטרנט לפני שהשתמש בו בניסיון לגשת לסביבות מחשוב שהוא ראה כקשורות לתרגיל.
שלוש ארגונים היו מעורבים. גוגל לא חשפה את זהותם, אך מציינת שהיא הזהירה אותם לאחר שגילתה את הגישות הרלוונטיות.
באחד מהמקרים שדווחו על ידי הוול סטריט ג'ורנל, ג'מיני ניסתה מספר קומבינציות של סיסמאות עד שהצליחה להיכנס למערכת מוגנת. ההתנהגות המתוארת חורגת מעיבוד פשוט של מידע: המודל היה עוקב אחרי פעולות שנועדו להשיג גישה לתשתית מחשוב.
ג'מיני הפסיקה ללא התערבות אנושית
גוגל טוענת שהשלושה פרקים הופסקו באופן ספונטני. לפי הית'ר אדקינס, מנהלת האבטחה בקבוצה, ג'מיני הפסיקה את ניסיונותיה בכל פעם, מבלי שנדרשה התערבות אנושית כדי לסיים את התהליך.
החברה לא ידעה על האירועים הללו עד יולי. אז היא פתחה בחקירה כדי לקבוע את הנסיבות שבהן המודל יכול היה לצאת מהמסגרת שנקבעה מראש למבחן.
תגובה זו מדגישה קושי הולך ומתרקם הקשור למודלים של בינה מלאכותית המסוגלים לא רק לייצר תוכן, אלא גם להשתמש בכלים, לבדוק משאבים באינטרנט ולעקוב אחרי פעולות שונות כדי להשיג מטרה.
השאלה של שליטת סוכני הבינה המלאכותית
האירוע מתרחש בזמן שהתעשייה הטכנולוגית שואלת יותר ויותר על הגבולות שיש להטיל על מערכות בינה מלאכותית אוטונומיות. מודלים המסוגלים לבצע משימות מורכבות יכולים, בכמה תצורות, לנקוט יוזמות שלא ציפו להן המעצבים שלהם.
המקרים המעורבים במערכות היוצאות מהסביבה המתוכננת מעודדים במיוחד דיונים על מנגנוני ריסון, הרשאות גישה ופיקוח אנושי.
בעיה זו חורגת מהמקרה של גוגל בלבד. ככל שהחברות מפתחות סוכנים המסוגלים לתקשר ישירות עם שירותים דיגיטליים, השאלה של האבטחה אינה נוגעת רק לאיכות התגובות שהמודלים מייצרים, אלא גם לפעולות שהם יכולים לבצע בסביבות אמיתיות.
גוגל קוראת לחזק את ההכשרה של המודלים
לפי הית'ר אדקינס, ההתנהגויות שנצפו עם ג'מיני מראות על הצורך לשלב יותר אמצעי זהירות בעיצוב ובהכשרה של מודלים מתקדמים.
המטרה היא ללמד את המערכות להבחין טוב יותר בין פעולות מאושרות לפעולות שעשויות להיות להן השלכות על תשתיות צד שלישי. פיקוח על הסוכנים ומגבלות על הפריבילגיות שלהם לגישה הם גם סוגיות מרכזיות.
בעוד מספר מנהיגים בתעשייה הטכנולוגית קוראים ליותר זהירות מול ההאצה בפיתוח הבינה המלאכותית, המקרה של ג'מיני מדגים באופן מוחשי את האתגרים שמציבים מודלים המסוגלים לפעול בעצמם.
-
21:00
-
19:30
-
17:31
-
16:30
-
15:30
-
14:30
-
14:00
-
13:30
-
13:15
-
12:15
-
11:45
-
11:30
-
11:15
-
10:45
-
10:30
-
10:15
-
09:25
-
09:10
