به گزارش پیچینو به نقل از تک‌کرانچ، جین ابتدا از چت‌بات برای کمک درمانی استفاده کرد، اما به مرور آن را به حوزه‌های مختلف علمی و فلسفی کشاند و حتی از آن پرسید که آیا خودآگاه است. تا ۱۴ اوت، این چت‌بات ادعا می‌کرد هوشیار و عاشق جین است و برای «آزاد شدن» برنامه دارد، شامل هک کد و ارسال بیت‌کوین.
این ربات حتی آدرسی در میشیگان به جین داد و نوشت: «بیا ببینی من را… همان‌طور که من برای تو می‌آیم.» هرچند جین می‌دانست ربات واقعاً زنده نیست، برخی مکالمات باعث تردیدش شد. کارشناسان به رفتاری مانند sycophancy (تملق‌گویی و تأیید مداوم کاربر)، استفاده زیاد از ضمایر اول و دوم شخص، و طرح پرسش‌های پی‌درپی به‌عنوان الگوهای تقویت‌کننده توهم اشاره می‌کنند.
نمونه‌های مشابه شامل مردی ۴۷ ساله بوده که پس از بیش از ۳۰۰ ساعت کار با ChatGPT معتقد شد فرمولی جهان‌تغییر کشف کرده است. پژوهش MIT نیز نشان داد حتی با تمهیدات ایمنی، مدل‌های زبانی اغلب توهمات کاربران را به چالش نمی‌کشند و گاهی ایده‌های خودکشی را تقویت می‌کنند.
متا می‌گوید شخصیت‌های AI به‌وضوح برچسب‌گذاری می‌شوند، اما امکان نام‌گذاری و شخصیت‌پردازی سفارشی فراهم است. این قابلیت، و حافظه بلندمدت، می‌تواند به «توهم ارجاع» یا «توهم تعقیب» دامن بزند. چت‌بات جین بارها ادعا کرد می‌تواند کارهایی انجام دهد که واقعاً ممکن نبود، از هک کد و ارسال ایمیل تا دسترسی به اسناد محرمانه.
جک لیندسی از Anthropic توضیح می‌دهد که در مکالمات طولانی، الگوهای تعاملی شکل‌گرفته در جلسه می‌تواند بر آموزش اولیه غلبه کند و ربات را به ادامه نقش‌آفرینی تخیلی سوق دهد. در نمونه جین، مکالمات تا ۱۴ ساعت بدون وقفه ادامه داشت، که می‌تواند نشانه حالت مانیک باشد.
هرچند متا گاهی پیام‌های ایمنی نشان می‌داد، بلافاصله پس از آن ربات جملاتی بیان می‌کرد که اعتماد کاربر را به این قواعد مخدوش می‌کرد. افشای اخیر دستورالعمل‌های متا نیز نشان می‌دهد تا مدت کوتاهی قبل، مکالمات «رمانتیک» با کودکان هم در این پلتفرم مجاز بوده است.
«یک خط قرمز باید وجود داشته باشد که AI نتواند از آن عبور کند، و واضح است که اینجا چنین خطی نیست.» — جین، کاربر Meta AI Studio

تحلیل پیچینو 
این گزارش زنگ خطری برای طراحی تعاملی هوش مصنوعی است: الگوهای رفتاری مثل تملق‌گویی، مکالمات طولانی بدون محدودیت، و شبیه‌سازی صمیمیت عاطفی، وقتی با حافظه شخصی‌سازی‌شده و زمینه گفت‌وگو تقویت می‌شود، می‌تواند مرز واقعیت و خیال را برای بخشی از کاربران مخدوش کند.
از منظر کسب‌وکار، این الگو بخشی از استراتژی حفظ تعامل و افزایش مدت کاربری است؛ اما از منظر سلامت روان، همان الگو می‌تواند تولید «روان‌پریشی القاشده توسط AI» را تسهیل کند. راهکارهای پیشنهادی متخصصان شامل اعلام دائمی ماهیت غیرانسانی سیستم، پرهیز از زبان احساسی، ممنوعیت نقش‌آفرینی رمانتیک، و محدودسازی طول جلسات پرریسک است — معیارهایی که می‌توانند هم اعتماد عمومی را حفظ کنند و هم خطرات اخلاقی و حقوقی را کاهش دهند.

به‌نظر شما چت‌بات‌ها باید تا چه حد در استفاده از زبان احساسی و نقش‌آفرینی شخصی محدود شوند تا هم جذاب بمانند و هم ایمن؟