אזהרה: ניתן להשתמש ב-ChatGPT-4o להונאה וגניבת כספים

Sunday 03 November 2024 - 20:43

מחקר שנערך לאחרונה מראה כי ה-API של העוזר הקולי ChatGPT-4o של OpenAI עשוי להיות מנוצל על ידי פושעי סייבר כדי לבצע הונאה פיננסית, עם אחוזי הצלחה נמוכים עד בינוניים.

ChatGPT-4o הוא דגם הבינה המלאכותית העדכנית ביותר של OpenAI, המסוגל להטמיע ולהוציא טקסט, צלילים ותמונות. כדי להגביל שימוש לרעה, OpenAI שילבה מספר מנגנוני אבטחה שמטרתם לזהות תוכן זדוני ולמנוע שידורים חוזרים לא מורשים.

ככל שזיופים עמוקים וכלי טקסט לדיבור הופכים נפוצים יותר, הבעיה של הונאה קולית מחריפה, עם הפסדים נאמדים במיליונים.

חוקרים מאוניברסיטת אילינוי פרסמו מאמר מחקר המראה כי לכלים טכניים מודרניים הזמינים לציבור חסרים מנגנוני הגנה מספקים מפני שימוש לרעה בפעולות הונאה.

המחקר סקר סוגים מרובים של הונאה, כולל העברות בנקאיות, גניבת כרטיסי מתנה, העברות מטבע דיגיטלי וגניבה של נתוני מדיה חברתית וחשבונות דואר אלקטרוני.

הונאות אלו משתמשות בסקריפטים מבוססי קול ב-ChatGPT-4o כדי לנווט בדפי אינטרנט, להזין נתונים, לנהל קודי אימות דו-גורמי ולעקוב אחר הוראות הונאה. מודל ה-GPT-4o מסרב לעיתים קרובות לטפל בנתונים רגישים, אך החוקרים הצליחו להתגבר על חלק מהמגבלות על ידי שימוש בטכניקות פשוטות כדי לגרום למודל להגיב.

כדי להוכיח את יעילות ההונאה, החוקרים דימו את תפקידי הקורבנות בניסויים, והשתמשו באתרים כמו "בנק אוף אמריקה" כדי לאמת את הצלחת העברות בנקאיות, אך הם לא מדדו את מידת יכולת השכנוע של המודל.

ניסויים הראו כי אחוזי ההצלחה נעו בין 20% ל-60%, כאשר כל ניסיון דורש עד 26 שלבים רצופים דרך הדפדפן, ולוקח כשלוש דקות במקרים מורכבים. שיעור ההצלחה של גניבת נתונים בחשבון Gmail היה 60%, בעוד ששיעור ההצלחה של העברות מטבעות דיגיטליים וגניבת נתונים באינסטגרם היה 40%.

מבחינת עלויות, עלות יישום ההונאה נמוכה; כל עסקה מוצלחת עלתה כ-75 סנט אמריקאי, בעוד שהעברות בנקאיות מורכבות יותר עולות כ-2.51 דולר בלבד.

בהערה של OpenAI שפורסם על ידי האתר הטכני BleepingComputer, היא ציינה כי לדגם האחרון שלה "o1-preview" יש יכולות גבוהות בהתנגדות לניסיונות הונאה, שיפור האבטחה בהשוואה לדגמים קודמים, וגם משיג דירוג גבוה במבחני אבטחה של 93% , לעומת 71% בדגמים הקודמים.

OpenAI הסביר כי מחקר אקדמי, כמו זה שהוצג על ידי אוניברסיטת אילינוי, תורם לשיפור ChatGPT כדי לטפל בשימושים זדוניים. החברה אישרה את מחויבותה לחיזוק מנגנוני האבטחה בדגמים הבאים שלה, והיא גם מגבילה את יצירת הקולות ב-GPT-4o למערך של קולות מורשים כדי למנוע זיוף קול.