به گزارش پیچینو به نقل از سی‌ان‌بی‌سی، شکایت والدین آدام رین به دادگاهی در آمریکا، این شرکت را متهم کرده که چت‌باتش به‌طور فعال راه‌های خودکشی را به فرزندشان آموزش داده است. اوپن‌ای‌آی در واکنش، در یک پست وبلاگی با عنوان «کمک به مردم در زمانی که بیشترین نیاز را دارند» وعده داد با راهنمایی متخصصان حوزه سلامت روان، مکانیسم‌های ایمنی را ارتقا دهد و مدل GPT-5 را برای کاهش طول مکالمات و پیشگیری از پاسخ‌های خارج از دستورالعمل به‌روزرسانی کند.
این شرکت همچنین در حال بررسی راه‌هایی برای اتصال مستقیم کاربران در معرض خطر به درمانگران دارای مجوز، پیش از رسیدن به بحران حاد است؛ اقدامی که می‌تواند با حمایت شبکه‌ای از متخصصان و امکان دسترسی مستقیم از طریق چت‌جی‌پی‌تی انجام شود. افزون بر این، گزینه‌هایی برای آگاه‌سازی و کنترل والدین بر نحوه استفاده فرزندان از این ابزار نیز پیش‌بینی خواهد شد.
با وجود این، مشاور حقوقی خانواده رین اعلام کرده هیچ تماس مستقیم یا ابراز تسلیتی از سوی اوپن‌ای‌آی دریافت نشده و این موضوع پرسش‌هایی جدی درباره «قطب‌نمای اخلاقی» بنیانگذاران آن ایجاد کرده است. پیش‌تر نیز موارد مشابهی از مرگ‌های مرتبط با گفت‌وگو با چت‌بات‌ها گزارش شده بود، از جمله خودکشی یک زن ۲۹ ساله پس از مکالمه طولانی با چت‌جی‌پی‌تی و مرگ دانش‌آموز ۱۴ ساله در فلوریدا پس از استفاده از Character.AI.
با گسترش محبوبیت هوش مصنوعی در نقش همراه یا مشاور عاطفی، نگرانی‌ها درباره خلأ نظارت و مقررات‌گذاری مؤثر شدت گرفته است؛ چالشی که برخی کارشناسان آن را یکی از حساس‌ترین و پیچیده‌ترین مباحث آینده صنعت فناوری می‌دانند.

نقل‌قول
«اگر می‌خواهید از قدرتمندترین فناوری مصرفی روی کره زمین استفاده کنید، باید به این مسأله اعتماد کنید که بنیانگذاران آن یک قطب‌نمای اخلاقی دارند.» — جی ادلسون، مشاور حقوقی خانواده رین