نمره قبولی این آزمون حدود 60 درصد است و Med-PaLM موفق شده نمره 67.6 درصد را کسب کند.بااین‌حال محققان در مطالعه‌شان اعلام کرده‌اند که پاسخ‌های این چت‌بات در مقایسه با پزشکان در برخی موارد ناکافی بوده است.
گوگل ابزار هوش مصنوعی را برای پاسخ به سؤالات پزشکی برای اولین‌بار در دسامبر 2022 با نام Med-PaLM معرفی کرد. برخلاف ChatGPT، این مدل به‌طور عمومی منتشر نشده است. به گفته گوگل، Med-PaLM اولین مدل زبانی بزرگ است که در آزمون جواز پزشکی آمریکا (USMLE) قبول می‌شود.
نمره هوش مصنوعی گوگل در آزمون USMLE
نمره قبولی این آزمون حدود 60 درصد است. محققان گوگل ادعا کرده‌اند که Med-PaLM در سؤالات چند گزینه‌ای به سبک USMLE نمره 67.6 درصد را کسب کرده است. آن‌ها توضیح می‌دهند که برای شناسایی و کاهش اطلاعات نادرست این مدل، یک معیار ارزیابی جدید ایجاد کرده‌اند..
سال گذشته پس از راه‌اندازی ChatGPT، رقابت سختی بین غول‌های فناوری در زمینه هوش مصنوعی شکل گرفت. درحالی‌که تاکنون بارها احتمالات آینده و خطرات این فناوری گفته شده است، شاهد مدل‌های جدیدی در حوزه‌های مختلف از جمله سلامت هستیم.
نمره قبولی هوش مصنوعی گوگل در آزمون پزشکی
به گفته «آنتونی کوهن»، کارشناس هوش مصنوعی «دانشگاه لیدز» بریتانیا، یکی از بزرگ‌ترین مشکلات این دسته از مدل‌های زبانی بزرگ به دلیل ماهیت آماری آن‌ها، ارائه اطلاعات نادرست است. بنابراین همانطور که کوهن پیشنهاد می‌کند، این مدل‌ها همیشه باید به‌عنوان یک دستیار در نظر گرفته شوند.
اوایل این هفته گفته شده بود که مدل هوش مصنوعی Med-PaLM 2 گوگل از ماه آوریل در مرکز تحقیقاتی «مایو کلینیک» (Mayo Clinic) درحال آزمایش است. هرچند گوگل اعلام نکرده که از این مدل در مرکز تحقیقاتی چگونه استفاده می‌شود اما تأکید کرده که هیچ خطری برای بیماران به همراه نخواهد داشت.