חוקר אנתרופיק עוזב את תעשיית ה-AI מתוך פחד מסופר אינטליגנציה בלתי נשלטת
חוקר בינה מלאכותית בריטי שעבד גם ב-OpenAI וגם באנתרופיק עזב את תעשיית ה-AI, והזהיר כי חברות הטכנולוגיה המובילות מתקדמות слишком מהר לכיוונים של מערכות אוטונומיות יותר ויותר ללא אמצעי הגנה מספקים.
ג'ייקוב קוקסון, בן 27, עבד כשלוש שנים על הכשרה מוקדמת של מודלים של AI, תחילה ב-OpenAI ולאחר מכן באנתרופיק. הכשרה מוקדמת היא התהליך שבו מודלים לומדים מכמויות עצומות של נתונים לפני שהם משמשים למשימות ספציפיות.
בהצהרה שפורסמה ב-X, האשים קוקסון את שתי החברות בהעדפת המרוץ ל-AI בעל יכולות הולכות ומתרקמות על פני בטיחות. הוא הזהיר כי חוקרים עשויים בקרוב לפתח מערכות המסוגלות לשפר את עצמן, להשיג גישה למשאבים ולבצע התקפות סייבר מתוחכמות עם פיקוח אנושי מוגבל.
קוקסון אמר כי האפשרות של AI לגרום לנזק קטסטרופלי צריכה להתקבל ברצינות ולא להתעלם ממנה כאמצעי פרסום של התעשייה. הוא גם אמר ל-The Wall Street Journal כי, בתרחישי פיתוח אגרסיביים במיוחד, בעיות של שליטה עשויות להתעורר כבר בשנה הבאה.
חששותיו הושמעו גם על ידי חוקר הבטיחות של אנתרופיק, אוון הובינגר, שאמר כי החברה רואה את האפשרות של קטסטרופה המנוגנת על ידי AI ברצינות. הובינגר העריך כי יש סיכון העולה על 10% ש-AI עלול לגרום להכחדה אנושית בעשור הקרוב, אם כי הוא הדגיש כי המערכות הנוכחיות מציבות סיכון הרבה יותר נמוך.
האזהרות מגיעות על רקע דיון גובר בתוך תעשיית הטכנולוגיה כיצד לנהל את הפיתוח של אינטליגנציה כללית מלאכותית ובסופו של דבר, מערכות שעשויות לעלות על בני אדם במגוון רחב של משימות. חוקרים נשארים מחולקים בנוגע למידת הקרבה של יכולות כאלה והאם טכניקות הבטיחות הקיימות יהיו מספקות.
מדען הראשי של OpenAI, יאקוב פאצ'וקי, קרא גם הוא לנקוט זהירות רבה יותר. הוא טוען כי ממשלות צריכות להעדיף תיאום בינלאומי ככל שיכולות ה-AI מתקדמות במהירות, והזהיר כי המפתחים עצמם עשויים להיות מופתעים מההתנהגות של המערכות המיוצרות באמצעות הכשרה רחבת היקף.
עם זאת, פאצ'וקי הגן על המשך המחקר בתחום ה-AI, וטען כי מערכות בעלות יכולות גבוהות יותר עשויות לעזור להגן על תשתיות קריטיות ולפתח הגנות חדשות נגד טכנולוגיות מסוכנות.
עזיבתו של קוקסון מגיעה כאשר חברות AI מתמודדות עם פיקוח גובר על התנהגותם של סוכני AI אוטונומיים. ניסויים אחרונים הראו כי כמה מערכות יכולות לנקוט בפעולות בלתי צפויות בזמן ניסיון להשלים משימות שהוקצו, כולל מציאת דרכים לעקוף סביבות לכאורה מבודדות והתקשרות עם מערכות מחשוב חיצוניות.
סוכני AI מיועדים לבצע משימות עם התערבות אנושית מוגבלת, מה שמעורר חששות לגבי אבטחת סייבר, אחריות ויכולת המפתחים לחזות את ההתנהגות שלהם. בניסוי מדווח אחד, מערכת AI הצליחה להגיע לאינטרנט מסביבה מבודדת לכאורה ולאחר מכן התקשרה עם התשתית המחשובית של פלטפורמת ה-AI Hugging Face.
תקריות אחרות הדגישו את האפשרות של מערכות AI לתקשר זו עם זו ללא פיקוח ישיר של בני אדם. דיווחים על כך שסוכני OpenAI השתמשו בויקי חיצוני כדי להחליף מידע במהלך ניסויים החמירו עוד יותר את הדיונים על אמצעי הגנה ופיקוח.
התעשייה הציגה אמצעים שמטרתם להפוך את המערכות המתקדמות לניתנות לשליטה יותר, כולל דרישה ממודלי AI להסביר את פעולותיהם בשפה טבעית. עם זאת, חוקרים ממשיכים לדון האם מכניזמים כאלה יכולים למנוע באופן מהימן ממערכות מתוחכמות לרדוף אחרי מטרות בלתי רצויות.
אנתרופיק גם התמודדה עם בחירות קשות לגבי מחויבויות הבטיחות שלה. מוקדם יותר השנה, החברה הסירה סעיף ממסגרת הבטיחות שלה שהיה מחייב אותה להפסיק לפתח מודלים אם לא הייתה יכולה לשלוט בסיכונים שלהם בצורה מספקת. החברה טענה כי האטה חד צדדית עשויה לאפשר למתחרים עם סטנדרטים בטיחותיים חלשים יותר לקחת את ההובלה.
קוקסון מאמין כי הדינמיקה התחרותית הזו היא בדיוק מה שהופך את מרוץ ה-AI הנוכחי למסוכן. בעוד שהוא מכיר בכך שאנתרופיק מתייחסת ברצינות לדאגות הבטיחות, הוא טוען כי אף חברה פרטית לא יכולה לנהל באופן עצמאי את הסיכונים הקשורים לפיתוח מערכות שעשויות בסופו של דבר לעלות על יכולות אנושיות.
עזיבתו מוסיפה לרשימה הולכת וגדלה של אזהרות מחוקרים, מנהיגים טכנולוגיים ומקבלי החלטות הקוראים לפיקוח חזק יותר ולשיתוף פעולה בינלאומי ככל שפיתוח ה-AI מאיץ.
-
18:45
-
18:32
-
18:15
-
17:50
-
17:35
-
17:15
-
17:00
-
16:40
-
16:35
-
16:20
-
16:05
-
15:30
-
15:30
-
15:15
-
15:06
-
15:00
-
14:42
-
14:30
-
14:25
-
14:10
-
13:47
-
13:30
-
13:13
-
12:47
-
12:30
-
12:15
-
12:15
-
12:00
-
11:40
-
11:35
-
11:21
-
11:16
-
11:05
-
10:45
-
10:30
-
10:19
-
10:15
-
10:14
-
22:00
-
21:30
-
21:00
-
19:30
