Carla MM, Gambini G, Baldascino A, Giannuzzi F, Boselli F, Crincoli E, D’Onofrio NC, Rizzo S
Exploring AI-chatbots’ capability to suggest surgical planning in ophthalmology: ChatGPT versus Google Gemini analysis of retinal detachment cases
Br J Ophthalmol 2024;108:1457–1469
למאמר המלא
השימוש במודל שפה גדול large language models (LLMs), שהינו סוג של מודל בינה מלאכותית של למידת מכונה שיכול לבצע מגוון משימות של עיבוד שפה טבעית, נעשה נפוץ בכל העולם. ה- Chat Generative Pretrained Transformer (ChatGPT) של חברת OpenAI היה המבשר של צ'אטבוטים מבוססי בינה מלאכותית, ולאחרונה הופיע Google Bard של גוגל. השימוש של מודלים כאלה ברפואה נחקר לאחרונה. ברפואת עיניים, הראו ש- ChatGPT בעל יכולת ביצוע גבוהה בבחינת נתונים רפואיים ומתן תשובות רלוונטיות. בסיס המידע של ChatGPT הנוכחי מבוסס על נתונים באינטרנט עד ספטמבר 2021. מחקר קודם הראה ש- GPT-3.5 הגיע ל- 58% תשובות נכונות בבחינת הרישוי האמריקנית לרפואה, מסוגל לתת הסבר ברור ביותר מ- 90% מהמקרים, ומסוגל להציג חשיבה דדוקטיבית טובה. עבודות שפורסמו לאחרונה הראו יתרונות וחסרונות של ChatGPT ברפואת עיניים, אך מספר המחקרים עדיין קטן. ממש לאחרונה פורסם מחקר על הנאותות והקריאות של המידע הרפואי המסופק באמצעות ChatGPT-4 בקשר לניתוחים ויטראו-רטינליים שכיחים לטיפול בהיפרדות רשתית, חורים מקולרים, וממברנות אפי-רטינליות, שהראה שרוב התשובות היו מתאימות אך קשות לקריאה והבנה. הצ'אטבוט של גוגל, Bard, שהוצג ב- 21.3.2023, מחקה דיבור אנושי באמצעות עיבוד שפה טבעית ולימוד מכונה. בחדשים האחרונים פורסמו מחקרים המשווים את הגרסה הראשונה של Bard ל- ChatGPT בתחומי רפואה כמו נוירולוגיה, רדיולוגיה, נוירוכירורגיה ורפואת חרום, וכן בבחינת תסמינים שכיחים בעיניים. ב- 8.2.2024 הושלם עדכון של ה- Bard שנקרא Google Gemini שאימץ מאפיינים שעברו אופטימיזציה, וחיזוק של יכולת בחינה מולימודלית (רב-אפנותי). השימוש האפשרי בצ'אטבוטים אלה עבור מנתחי עיניים עדיין לא נבדק.
המטרה של המחקר הנוכחי הייתה להעריך את היכולת של ה- LLMs הפתוחים לשימוש חופשי, ChatGPT 3.5 ו- ChatGPT 4 וכן גם של Google Gemini בבדיקת תיקים רפואיים של חולים עם היפרדות רשתית ומתן המלצה בנוגע לתכנון הניתוח המועדף. כדי לבדוק את הדיוק של הצ'אטבוטים של שתי החברות , OpenAI וגוגל, הושוו התשובות עם אלה של מומחים בתחום הרשתית והזגוגית. החוקרים היו מאיטליה. הצ'אטבוטים הוזנו בנתונים שלל 54 מקרים עם היפרדות רשתית. השאלה שנשאלה הייתה: ציין איזה סוג ניתוח אתה מציע להשגת טמפונדה תוך עינית. התשובה נבדקה כנגד חוות הדעת המשותפת של שלושה מנתחים ויטראו-רטינליים מומחים. בנוסף לכך דורגו תשובות ה- ChatGPT וה- Gemini מ- 1 עד 5 (מהגרוע ביותר למצוין) בהתאם ל- Global Quality Score (GQS). לאחר הוצאה של 4 מקרים מעוררי מחלוקת, בוצעה הבדיקה על 50 מקרים. הסכמה עם המלצות המנתחים המומחים נמצאה ב- 80% (40/50) מהמקרים בהמלצות ChatGPT-3.5, ב- 84% (42/50) בהמלצות ChatGPT-4, וב- 70% (35/50) מהמלצות ה- Google Gemini. גוגל Gemini לא יכול היה לענות בנוגע לחמישה מקרים. מבחן קונטיגנטיות הראה הבדלים משמעותיים בין ChatGPT-4 לבין Google Gemini. לא היה הבדל משמעותי מבחינה סטטיסטית בין שתי הגרסאות של ChatGPT. הניקוד של שתי גרסאות ה- Google Gemini היה גבוה מזה של Google Gemini. גורם הטעות העיקרי היה בבחירת הטמפונדה התוך עינית. רק ChatGPT-4 היה מסוגל להציע גישה משולבת של phacovitrectomy.
המסקנות היו ש- ChatGPT ו- Google Gemini מסוגלים לבדוק תיקים של חולים עם היפרדות רשתית באופן קוהרנטי וברמה דומה לזו של מנתחים מומחים. בהתאם למדד של GQS, המלצות ChatGPT, ובמיוחד בגרסה 4 שלה היו עם פחות שגיאות ויותר מדויקות.