במחקר נבנו 30 תרחישים קליניים המדמים מקרים אמיתיים, החל ממקרי חירום חריפים, דרך מחלות חניכיים כרוניות ועד מצבים מורכבים המשלבים מחלות רקע, צילומי רנטגן ושיקולים טיפוליים מתקדמים. כל אחת מ-11 מערכות הבינה המלאכותית התבקשה לנתח את המקרים ולהציע אבחנה ותוכנית טיפול.
לאחר מכן, הוערכו התשובות באופן סמוי על ידי שישה מומחים למחלות חניכיים מישראל, מאיטליה, מספרד, מסלובניה, מקרואטיה ומפורטוגל, שלא ידעו איזו מערכת עומדת מאחורי כל תשובה. המומחים בחנו ארבעה מדדים מרכזיים: דיוק האבחנה, בטיחות ההמלצות, הימנעות ממידע רפואי שגוי או מומצא (Hallucinations), ושלמות תכנית הטיפול.
פערים משמעותיים בין המערכות
מניתוח ממצאי המחקר עלה כי ישנם פערים משמעותיים בין המערכות. הפלטפורמות המשלבות את יכולות הבינה המלאכותית עם שליפה של מידע רפואי עדכני ממקורות אמינים דורגו ראשונות בכל המדדים, כאשר בראש הרשימה ניצב OpenEvidence ו- Perplexity , ואחריהן Claude 4.7 Opus.
תרחישים קלינים שונים
ומה לגבי התרחישים הקליניים? המחקר חילק את 30 המקרים לשלוש קבוצות: מקרי חירום חריפים בחניכיים, אבחון ותכנון טיפול במחלות חניכיים כרוניות ומצבים מורכבים הדורשים קבלת החלטות קליניות. גם בחלוקה זו Perplexity דורגה ראשונה בכל שלוש הקטגוריות. ממצא מרכזי נוסף הוא שהחוקרים מצאו הבדלים גדולים יותר בין המערכות דווקא במקרי חירום ובתרחישים מורכבים, שבהם נדרש שיקול דעת קליני רחב, מאשר במקרים של סיווג מחלות חניכיים כרוניות.
"המחקר שלנו מראה שבינה מלאכותית יכולה להיות כלי עזר משמעותי לרופאי שיניים ולמומחים למחלות חניכיים, אך היא עדיין אינה יכולה להחליף את שיקול הדעת הקליני", מבהיר ד"ר מאייר, "גם המערכות המתקדמות ביותר מסוגלות להפיק לעיתים המלצות שגויות או מסוכנות, ולכן כל המלצה חייבת להיבדק על ידי איש מקצוע".
לדברי החוקרים, יתרונן של מערכות ה RAG נובע מכך שהן אינן מסתמכות רק על הידע שעליו אומנו בעבר, אלא משלבות מידע עדכני ממאמרים רפואיים וממקורות מדעיים בזמן יצירת התשובה. עם זאת, גם יתרון זה אינו מבטל את הצורך בבקרה אנושית: "עתידה של הבינה המלאכותית ברפואת השיניים אינו בהחלפת הרופא, אלא ככלי תומך החלטה. ההכרעה הסופית נשארת בידי המומחה", מסכם ד"ר מאייר.
התרעות פיקוד העורף