محققان دانشگاه کالیفرنیا، لس‌آنجلس (UCLA) می‌گویند که مدل GPT-3 که در ChatGPT استفاده شده، در حل بخشی از سؤالات آزمون SAT که یک آزمون استاندارد برای ورود به دانشگاه است، نسبت به انسان عملکرد بهتری داشته است. درواقع آن‌ها می‌گویند این هوش‌مصنوعی در حل مسائل نیازمند به استدلال بهتر از متوسط دانشجویان این دانشگاه عمل کرده است.
به گزارش گاردین: پژوهشگران متوجه شدند که مدل زبانی بزرگ GPT-3 درزمینه حل مسائل استدلالی که معمولاً در آزمون‌های هوش یا آزمون‌های استاندارد نظیر SAT دیده می‌شود، عملکردی مشابه دانشجویان آمریکایی داشته است. روانشناسان دانشگاه کالیفرنیا، لس‌آنجلس توانایی‌های GPT-3 در پیش‌بینی تصویر بعدی در دنباله‌ای از تصاویر را بررسی کردند. البته این تصاویر ابتدا به متن تبدیل شده بودند تا مدل هوش‌مصنوعی توانایی تشخیص آن‌ها را داشته باشد. به‌علاوه، محققان مطمئن شده بودند که این مدل قبلاً هرگز با این سؤالات مواجه نشده است.
GPT-3 در حل سؤالات استدلالی و تمثیلی از دانشجویان بهتر است
بعد از این‌که سؤالات استدلالی به 40 دانشجوی دانشگاه کالیفرنیا، لس‌آنجلس داده شد، درنهایت مشخص شد که GPT-3 توانسته است به 80 درصد از سؤال‌ها به‌درستی پاسخ دهد، درحالی‌که میانگین امتیاز دانشجویان 60 درصد بوده است.
محققان در ادامه سؤالات تمثیلی آزمون SAT را هم به هوش‌مصنوعی دادند. در این سؤالات باید جفت کلماتی انتخاب می‌شد که به نحوی با یکدیگر پیوند داشتند. پژوهشگران سؤالاتی را انتخاب کردند که باور داشتند پیش‌تر در اینترنت منتشر نشده‌اند و GPT-3 احتمالاً آن‌ها را ندیده است. سپس این سؤالات به دانشجویان UCLA نیز داده شد و نتیجه این بود که هوش‌مصنوعی از میانگین انسان‌ها بهتر عمل کرده بود.
البته GPT-3 در یک آزمایش عملکرد ضعیف‌تری داشت. محققان متون نثری را به این هوش‌مصنوعی ارائه کردند تا آن‌ها را به داستان‌های کوتاهی با معنای مشابه وصل کند اما عملکرد این مدل ضعیف‌تر از دانشجویان بود. این پژوهش نشان داد که GPT-3 ظرفیت بالایی برای تشخیص الگوها و استنتاج روابط دارد. بااین‌حال، هنوز به سطح هوش جامع مصنوعی که بسیاری از آن هراس دارند، نرسیده است. نتایج این تحقیق در مجله Nature Human Behaviour منتشر شده است.