به گزارش پیچینو، در پژوهش منتشر شده در Annals of Internal Medicine، چهار مورد از پنج چت‌بات بزرگ زبانی در پاسخ‌های خود اطلاعات نادرست کامل یا جزئی ارائه کردند و تنها یک مدل توانست نسبتا مقاومت کند.
تحقیقات دیگر نشان داده‌اند که تا ۳۳٪ پاسخ‌های ChatGPT درباره درمان سرطان دارای خطا هستند.
کمتر از ۱٪ پاسخ‌ها همراه با هشدار «عدم اعتبار» بوده است؛ این یعنی کاربران اغلب بدون آگاهی از محدودیت مدل، پیشنهادهای پزشکی دریافت می‌کنند.

علل اصلی مشکل:

1. قابلیت دستکاری عمدی مدل‌ها توسط سازندگان یا افراد سودجو.
2. نبود مکانیزم‌های حفاظتی داخلی قدرتمند برای جلوگیری از تولید اطلاعات غلط.
3. عدم تأکید بر اینکه این پاسخ‌ها جایگزین مشاوره پزشکی واقعی نیستند.
4. استفاده از لحن علمی و اصطلاحات تخصصی که حتی اطلاعات جعلی را معتبر جلوه می‌دهد.

پیامدهای بالقوه:

• تصمیم‌گیری غلط بیماران درباره درمان یا پیشگیری.
• افزایش خطر آسیب‌های جدی یا تشدید بیماری.
• ایجاد بی‌اعتمادی عمومی نسبت به ابزارهای AI.

توصیه کارشناسان:

• کاربران: فقط در کنار مشورت با پزشک واقعی از این اطلاعات استفاده کنند.
• شرکت‌های AI: هشدار‌های واضح و سیستم‌های ضددستکاری را تعبیه کنند.
• جامعه پزشکی: نقش فعال در ارزیابی و نظارت بر خروجی‌های AI داشته باشد.

«هرچند چت‌بات‌ها می‌توانند در آموزش سلامت یاری‌رسان باشند، اما بدون فیلتر و نظارت مناسب، تبدیل به یک تهدید عمومی می‌شوند.» — پژوهشگران سلامت دیجیتال

سؤال تعاملی:
آیا باید استفاده از چت‌بات‌های هوش مصنوعی در ارائه توصیه پزشکی محدود شود یا آموزش کاربران برای تشخیص اطلاعات غلط کافی است؟