מחקר מראה ש-ChatGPT מתעלה על הרופאים באבחון מצבים רפואיים.

Thursday 21 November 2024 - 14:05

מחקר שפורסם בכתב העת JAMA Network Open ב-28 באוקטובר 2024, נועד למדוד את ההשפעה של שימוש במודלים של שפה גדולה (LLMs) על דיוק האבחון של הרופאים בהשוואה למשאבים מסורתיים. במהלך המחקר, 50 רופאים התבקשו לבצע שש אבחנות למצבים רפואיים שונים. חלק מהרופאים הורשו להשתמש בבוט ChatGPT של OpenAI כדי לעזור להם לקבל החלטות. אחרים לא השתמשו בבינה מלאכותית, אלא השתמשו במשאבים רפואיים מסייעים כמו ה-UpToDate פלטפורמת ופלטפורמת PubMed.

רופאים שביצעו את האבחנה ללא עזרת בוט הבינה המלאכותית קיבלו ציון של 74%, רופאים שהשתמשו ב-ChatGPT קיבלו ציון של 76%, והבוט ChatGPT עצמו קיבל ציון של 90%.

ד"ר רודמן, אחד ממשתתפי המחקר, אמר ל"ניו יורק טיימס" כי הוא מצפה שצ'אטבוטים יעזרו לרופאים באבחון, אך לפי התוצאות, הבינה המלאכותית לא עזרה לרופאים שהשתמשו בה ככל המצופה; מכיוון שהרופאים לא סמכו על כל המידע שהרובוט סיפק להם, לפי רודמן. הוא הוסיף כי רוב הרופאים תקועים באבחנות שלהם ואינם יכולים להשתכנע שהצ'טבוט יודע מידע רב על מצבים רפואיים שונים.

בעיה נוספת שציינו מפקחי המחקר הייתה שרופאים רבים לא ידעו לנצל את מלוא היכולות של הבינה המלאכותית.

מחברי המחקר ציינו כי הביצועים של רובוט הבינה המלאכותית, שעלו על אלו של הרופאים, מצביעים על הצורך בפיתוח טכנולוגיה רפואית מסייעת ולהכשיר את כוח העבודה כיצד להשתמש בה כדי להגביר את שיתוף הפעולה בין הרופא לבינה מלאכותית בתחום. תחום האבחון הרפואי.

תוצאות המחקר שפורסמו ב-JAMA Network Open מצביעות על כך שלבוט ChatGPT יש יכולות אבחון טובות יותר מרופאים, עם ציון של 90%, לעומת ציון של 76% לרופאים שהשתמשו בו ככלי מסייע, וציון של 74% לרופאים שהסתמכו על משאבים מסורתיים. עם זאת, בינה מלאכותית לא השיגה את האפקט המצופה כשהיא שולבה בתהליך האבחון בשל האמון החלש של הרופאים במידע הנמסר, והסתמכותם הרבה על חוויותיהם האישיות. המחקר גם חשף פער ידע בקרב רופאים בניצול מלוא היכולות של בינה מלאכותית. משמעות הדבר היא הצורך לשפר טכניקות של בינה מלאכותית ולפתח את הכישורים של הצוות הרפואי כדי להבטיח שיתוף פעולה יעיל המעלה את רמת הדיוק של האבחון הרפואי.