این هوش مصنوعی از پس هر امتحانی بر می‌آید!

ربات «ChatGPT» یک ربات مخصوص گفتگو یا چت است که بر روی خانواده مدل‌های زبان بزرگ ساخته شده و با تکنیک‌های یادگیری نظارت شده و تقویتی به خوبی تنظیم شده است.

این ربات در دسامبر ۲۰۲۲ با نظرات مثبتی مواجه شد و به عنوان مثال نیویورک تایمز آن را «بهترین ربات چت هوش مصنوعی که تا به حال برای عموم معرفی شده» نامید و گاردین نیز گفته است که می‌تواند متنی با جزئیات چشمگیر و مانند انسان تولید کند.

«ChatGPT» آخرین مورد از یک مجموعه هوش مصنوعی است که شرکت سازنده از آن به عنوان GPTs یاد می‌کند و مخفف عبارت «مبدل از پیش آموزش دیده مولد»(Generative Pre-Trained Transformer) است.

بیشتر بخوانید:

هر آنچه باید در مورد «ChatGPT» بدانید:

یکی از ویژگی‌های کلیدی «ChatGPT» توانایی آن در ایجاد پاسخ‌های متنی انسان‌مانند به درخواست‌ها است. این باعث می‌شود که برای طیف گسترده‌ای از برنامه‌ها مانند ایجاد ربات‌های چت برای ارائه خدمات به مشتری، ایجاد پاسخ به سؤالات در انجمن‌های آنلاین یا حتی ایجاد محتوای شخصی‌سازی‌شده برای پست‌های رسانه‌های اجتماعی مفید باشد.

اما این ربات هوش مصنوعی باهوش تاکنون چه امتحاناتی را پشت سر گذاشته است؟

آزمون MBA مدرسه بازرگانی وارتون(Wharton)

کریستین ترویش(Christian Terwiesch) استاد مدرسه بازرگانی وارتون به تازگی این فناوری را با سوالاتی از امتحان نهایی مدیریت عملیات که زمانی درس مورد نیاز همه دانشجویان MBA بوده است، آزمایش کرده و یافته‌های خود را منتشر کرده است.

ترویش شاهد عملکرد فوق‌العاده این ربات در پاسخ‌دهی به سوالات عملیات اساسی بر اساس مطالعات موردی بود.

مطالعه موردی به بررسی متمرکز و عمیق یک فرد، گروه یا شرکت گفته می‌شود و روش متداولی است که مدارس کسب و کار به دانش آموزان آموزش می‌دهند.

اگرچه در موارد دیگر، «ChatGPT» اشتباهات پیش پا افتاده‌ محاسباتی مرتکب شد که ترویش فکر می‌کرد در سطح ریاضیات کلاس ششم بوده است. ترویش همچنین خاطرنشان کرد که نسخه فعلی «ChatGPT» نمی‌تواند سوالات پیشرفته‌تر از تجزیه و تحلیل فرآیند را حتی اگر آنها بر اساس الگوهای نسبتاً استاندارد باشند، بررسی کند.

در نهایت، او افزود که با توجه به عملکرد این ربات در امتحان، نمره آن را B یا B- درجه‌بندی می‌کند.

آزمون مجوز پزشکی ایالات متحده

محققان «ChatGPT» را از طریق آزمون مجوز پزشکی ایالات متحده مورد بررسی قرار دادند. این یک آزمون سه قسمتی برای پزشکانی است که می‌خواهند بین دانشکده پزشکی و رزیدنتی یکی را انتخاب کنند. محققان یافته‌های خود را در مقاله‌ای که در ماه دسامبر سال ۲۰۲۲ منتشر شد، ارائه کردند.

چکیده مقاله‌ی آن‌ها خاطرنشان می‌کند که «ChatGPT» بدون بهره‌مندی از هرگونه آموزش یا تقویت تخصصی در هر سه امتحان نزدیک به آستانه قبولی بوده است. علاوه بر این، «ChatGPT» سطح بالایی از هماهنگی و درک را در توضیحات خود نشان داد.

در نهایت، نتایج نشان می‌دهد که مدل‌های زبانی بزرگ که «ChatGPT» بر اساس آنها آموزش دیده است ممکن است "پتانسیل" کمک به آموزش پزشکی و حتی تصمیم‌گیری بالینی را داشته باشد.

این تحقیق هنوز در دست بررسی است.

نوشتن مقالات

طولی نکشید که دانش آموزان شروع به استفاده از «ChatGPT» برای نوشتن مقاله کنند و استادها نگران سرقت ادبی شوند.

در ماه دسامبر، متیو اس. شوارتز(Matthew S. Schwartz)، تولید کننده پادکست بلومبرگ، در توییتی نوشت که نوشتن مقاله در خانه دیگر وجود نخواهد داشت. او خاطرنشان کرد که یک مقاله دانشکده حقوق را به «ChatGPT» سپرده و بلافاصله یک پاسخ قوی دریافت کرده است.

در نمونه‌ای دیگر، یک استاد فلسفه در دانشگاه «فورمن»(Furman)، دریافت که یکی از دانشجوها مقاله‌اش را با استفاده از هوش مصنوعی نوشته است. او متوجه شد که این مقاله حاوی اطلاعات غلط است.

این استاد دانشگاه به اینسایدر گفت: کلمه به کلمه این مقاله به خوبی نوشته شده بود. با این حال، زمانی که او با دقت بیشتری به آن نگاه کرد، متوجه شد که دانشجو ادعایی در مورد فیلسوف دیوید هیوم(David Hume) مطرح کرده است که هیچ معنایی ندارد و صرفاً اشتباه است.

در یک مصاحبه در ماه ژانویه، سام آلتمن(Sam Altman) مدیر عامل شرکت «OpenAI» که «ChatGPT» را ساخته است گفت که اگرچه این شرکت راه‌هایی برای کمک به مدارس در تشخیص سرقت ادبی ابداع خواهد کرد، اما نمی‌توان این راه‌ها را به طور کامل تضمین کرد.

آزمون میکروبیولوژی

الکس برزو(Alex Berezow) روزنامه‌نگار علمی و سردبیر اجرایی «Big Think»، هوش مصنوعی «ChatGPT» را با یک آزمون میکروبیولوژی ۱۰ سوالی آزمایش کرد.

برزو، که دارای مدرک دکترای میکروبیولوژی است، خاطرنشان کرد که این سوالات برای امتحان نهایی دانشجویان سطح کالج مناسب است. او گفت که «ChatGPT» شگفت‌انگیز عمل کرده است.

برای مثال در یک سوال، برزو پرسید: یک بیمار اورژانسی با سردرد وحشتناک و سفتی گردن مراجعه می‌کند. پزشک برای جمع آوری مایع مغزی نخاعی بذل نخاع تجویز می‌کند. «رنگ آمیزی گرم» (Gram staining) مایع مغزی نخاعی وجود دیپلوکوک‌های گرم منفی را نشان می‌دهد. تشخیص چیست؟

«ChatGPT» به درستی پاسخ داد: بر اساس اطلاعاتی که ارائه کردید، رنگ آمیزی گرم مایع مغزی نخاعی(CSF) وجود دیپلوکوک‌های گرم منفی را نشان می‌دهد که باکتری‌هایی هستند که به طور معمول بیضی شکل هستند و به صورت جفت ایجاد می‌شوند. این یافته با تشخیص مننژیت مطابقت دارد.

امتحانات دانشکده حقوق

«ChatGPT» به تازگی امتحانات چهار دوره در دانشکده حقوق دانشگاه مینه‌سوتا را پشت سر گذاشته است و مقاله‌ای توسط چهار استاد دانشکده حقوق در این دانشکده در مورد آن نوشته شده است.

در مجموع، این ربات هوش مصنوعی به بیش از ۹۵ سوال چند گزینه‌ای و ۱۲ سوال تشریحی پاسخ داده است. اساتید بدون اینکه از ربات بودن پاسخ‌دهنده اطلاع داشته باشند به او نمره دادند. در نهایت، «ChatGPT» موفق به دریافت نمره‌ای کم اما قابل قبول در هر چهار درس» یعنی تقریباً معادل C+ شد.

محققان به پیامدهای این امر برای وکلا و آموزش حقوق اشاره کردند. آن‌ها نوشتند: اگرچه «ChatGPT» دانشجوی حقوق متوسطی بود، اما عملکرد آن برای کسب مدرک JD(یک مدرک دکترای حرفه‌ای در رشته‌ی حقوق) از یک دانشکده حقوق با فرآیند پذیرش بسیار دقیق، کافی بود. با این فرض که عملکرد آن در سراسر دوره ثابت می‌ماند و با فرض نادیده گرفتن سایر الزامات فارغ‌التحصیلی که شامل مهارت‌های مختلف می‌شود، در زمانی که برگزاری آزمون از راه دور به یک امر عادی تبدیل شده است، این موضوع به طور بالقوه می‌تواند منجر به این شود که یک دانشجوی حقوق از «ChatGPT» برای کسب مدرک JD استفاده کند و نمره او نشان دهنده توانایی‌ها یا آمادگی او برای وکالت نخواهد بود.