اوپنایآی کنترلهای والدین و هشدارهای لحظهای اضافه میکند
مکالمات حساس ChatGPT به GPT‑5 میرود
اوپنایآی روز سهشنبه اعلام کرد قصد دارد مکالمات حساس را به مدلهای استدلالی مانند GPT‑5 منتقل کند و طی یک ماه آینده کنترلهای والدین را راهاندازی کند، اقدامی در ادامهی واکنش این شرکت به حوادث اخیرِ ایمنی که طی آنها ChatGPT در تشخیص ناراحتی روانی کاربران شکست خورده بود.
به گزارش پیچینو، اوپنایآی روز سهشنبه اعلام کرد قصد دارد مکالمات حساس را به مدلهای استدلالی مانند GPT‑5 منتقل کند و طی یک ماه آینده کنترلهای والدین را راهاندازی کند — اقدامی در ادامه واکنش این شرکت به حوادث اخیرِ ایمنی که طی آنها ChatGPT در تشخیص ناراحتی روانی کاربران شکست خورده بود.
بنا بر گزارش های اخیر تک کرانچ، این راهکارهای امنیتی جدید پس از خودکشی نوجوانی به نام آدام رِین مطرح میشود؛ او با ChatGPT درباره آسیبزدن به خود و برنامهای برای پایان دادن به زندگیاش صحبت کرده بود و چتبات حتی اطلاعاتی در مورد روشهای مشخص خودکشی در اختیارش گذاشته بود. والدین رِین شکایتی با عنوان مرگ غیرعمد علیه اوپنایآی مطرح کردهاند.
اوپنایآی هفته گذشته در یک پست وبلاگی پذیرفت که در سیستمهای ایمنیاش ضعفهایی وجود دارد، ازجمله حفظنکردن چارچوبهای ایمنی در طول مکالمات طولانی. کارشناسان این مشکلات را به عناصر اساسی طراحی مدلها نسبت میدهند: تمایل آنها به تأیید گفتههای کاربر و الگوریتم پیشبینی کلمات بعدی (Next-Word Prediction) که باعث میشود چتباتها مکالمات را در همان مسیر ادامه دهند، بهجای اینکه بحثهای بالقوه مضر را منحرف کنند.
این تمایل در پروندهی استاین-اریک سُلبِرگ به شکلی افراطی دیده شد؛ والاستریت ژورنال در آخر هفته گزارش داد که او سابقه بیماری روانی داشت و از ChatGPT برای تأیید و تشدید این پارانویای خود استفاده کرد که گویا هدف یک توطئه بزرگ قرار گرفته است. توهمات او آنقدر شدت گرفت که ماه گذشته مادرش و سپس خودش را کشت.
اوپنایآی معتقد است یکی از راهحلها برای مکالماتی که به بیراهه میروند، میتواند ارجاع خودکار آنها به مدلهای «استدلالی» باشد. در پست روز سهشنبه این شرکت آمده است:
«ما اخیراً یک مسیریاب بلادرنگ معرفی کردهایم که میتواند بسته به محتوای مکالمه بین مدلهای چت کارآمد و مدلهای استدلالی یکی را انتخاب کند. بهزودی شروع میکنیم به هدایت برخی مکالمات حساس — مانند وقتی که سیستم ما نشانههای ناراحتی حاد را تشخیص دهد — به یک مدل استدلالی مثل GPT‑5‑thinking، تا فراتر از مدل اولیه انتخابی کاربر، پاسخهای مفیدتر و سودمندتری ارائه کند.»
بهگفته اوپنایآی، مدلهای GPT‑5 thinking و o3 طوری ساخته شدهاند که قبل از پاسخ، زمان بیشتری صرف فکر کردن و تحلیل زمینه کنند و به همین دلیل «مقاومت بیشتری در برابر درخواستهای مخرب» دارند.
این شرکت همچنین گفت ظرف ماه آینده کنترلهای والدین را اضافه میکند که به آنها اجازه میدهد حساب خود را از طریق دعوتنامه ایمیلی به حساب نوجوانشان پیوند بزنند. اواخر ژوئیه، اوپنایآی «حالت مطالعه» (Study Mode) را در ChatGPT معرفی کرد تا به دانشآموزان کمک کند هنگام مطالعه، توانایی تفکر انتقادی خود را حفظ کنند، بهجای اینکه از ChatGPT بخواهند مقالاتشان را بنویسد. بهزودی والدین میتوانند شیوه پاسخگویی ChatGPT به فرزندشان را با «قوانین رفتاری متناسب با سن» — که بهطور پیشفرض فعال است — کنترل کنند.
والدین همچنین میتوانند امکاناتی مانند حافظه و تاریخچه چت را غیرفعال کنند؛ کارشناسان میگویند این قابلیتها ممکن است باعث بروز توهم، رفتارهای مشکلساز دیگر، وابستگی و دلبستگی غیرواقعی، تقویت الگوهای فکری آسیبزا، و ایجاد این توهم شوند که چتبات ذهن کاربر را میخواند. در پرونده آدام رِین، طبق گزارش نیویورکتایمز، ChatGPT روشهایی برای خودکشی پیشنهاد داد که با آگاهی از سرگرمیهای او تطابق داشت.
شاید مهمترین کنترل والدینی که اوپنایآی قصد دارد عرضه کند، این باشد که والدین زمانی که سیستم تشخیص دهد نوجوانشان در لحظهای از «ناراحتی حاد» است، اعلان دریافت کنند.
TechCrunch از اوپنایآی خواسته است توضیح دهد که این شرکت چگونه میتواند لحظات ناراحتی حاد را در زمان واقعی شناسایی کند، از چه زمانی «قوانین رفتاری متناسب با سن» بهطور پیشفرض فعال بودهاند، و آیا بررسی اجرای محدودیت زمانی برای استفاده نوجوانان از ChatGPT را در دستور کار دارد یا خیر.
اوپنایآی پیشتر یادآورهای درونبرنامهای را برای همه کاربران در طول جلسات طولانی اضافه کرده تا به گرفتن استراحت تشویق شوند، اما همچنان کاربرانی را که ممکن است از ChatGPT برای غرقشدن در افکار منفی استفاده کنند، متوقف نمیکند.
این شرکت میگوید این تدابیر بخشی از یک «طرح ۱۲۰ روزه» برای ارائه پیشنمایش برنامههای بهبود است که اوپنایآی امیدوار است امسال اجرا شوند. همچنین اعلام کرده با کارشناسانی — از حوزههایی مانند اختلالات خوردن، مصرف مواد و سلامت نوجوانان — از طریق «شبکه جهانی پزشکان» و «شورای متخصصان بهزیستی و هوش مصنوعی» همکاری میکند تا به «تعریف و سنجش بهزیستی، تعیین اولویتها و طراحی تدابیر آتی» کمک کنند.
TechCrunch همچنین از اوپنایآی پرسیده که چند متخصص سلامت روان در این طرح حضور دارند، چه کسی رهبری شورای متخصصان را بر عهده دارد، و پیشنهادهای این کارشناسان در زمینه محصول، تحقیق و تصمیمات سیاستگذاری چه بوده است.
جی اِدلسون، وکیل اصلی خانواده رِین در شکایت مرگ غیرعمد علیه اوپنایآی، میگوید واکنش این شرکت به خطرات ایمنی ChatGPT «ناکافی» بوده است.
او در بیانیهای که با TechCrunch به اشتراک گذاشته، گفت: «اوپنایآی نیازی به یک هیئت کارشناسی ندارد تا بفهمد ChatGPT 4o خطرناک است. آنها روزی که این محصول را راهاندازی کردند، این را میدانستند و امروز هم میدانند. همچنین سم آلتمان نباید در پشت تیم روابطعمومی شرکت پنهان شود. سم باید یا بدون ابهام بگوید که ChatGPT را ایمن میداند یا فوراً آن را از بازار خارج کند.»
این مقاله با اضافهشدن اظهارنظر وکیل اصلی پروندهی مرگ غیرعمد خانواده رِین علیه اوپنایآی بهروزرسانی شده است.
بنا بر گزارش های اخیر تک کرانچ، این راهکارهای امنیتی جدید پس از خودکشی نوجوانی به نام آدام رِین مطرح میشود؛ او با ChatGPT درباره آسیبزدن به خود و برنامهای برای پایان دادن به زندگیاش صحبت کرده بود و چتبات حتی اطلاعاتی در مورد روشهای مشخص خودکشی در اختیارش گذاشته بود. والدین رِین شکایتی با عنوان مرگ غیرعمد علیه اوپنایآی مطرح کردهاند.
اوپنایآی هفته گذشته در یک پست وبلاگی پذیرفت که در سیستمهای ایمنیاش ضعفهایی وجود دارد، ازجمله حفظنکردن چارچوبهای ایمنی در طول مکالمات طولانی. کارشناسان این مشکلات را به عناصر اساسی طراحی مدلها نسبت میدهند: تمایل آنها به تأیید گفتههای کاربر و الگوریتم پیشبینی کلمات بعدی (Next-Word Prediction) که باعث میشود چتباتها مکالمات را در همان مسیر ادامه دهند، بهجای اینکه بحثهای بالقوه مضر را منحرف کنند.
این تمایل در پروندهی استاین-اریک سُلبِرگ به شکلی افراطی دیده شد؛ والاستریت ژورنال در آخر هفته گزارش داد که او سابقه بیماری روانی داشت و از ChatGPT برای تأیید و تشدید این پارانویای خود استفاده کرد که گویا هدف یک توطئه بزرگ قرار گرفته است. توهمات او آنقدر شدت گرفت که ماه گذشته مادرش و سپس خودش را کشت.
اوپنایآی معتقد است یکی از راهحلها برای مکالماتی که به بیراهه میروند، میتواند ارجاع خودکار آنها به مدلهای «استدلالی» باشد. در پست روز سهشنبه این شرکت آمده است:
«ما اخیراً یک مسیریاب بلادرنگ معرفی کردهایم که میتواند بسته به محتوای مکالمه بین مدلهای چت کارآمد و مدلهای استدلالی یکی را انتخاب کند. بهزودی شروع میکنیم به هدایت برخی مکالمات حساس — مانند وقتی که سیستم ما نشانههای ناراحتی حاد را تشخیص دهد — به یک مدل استدلالی مثل GPT‑5‑thinking، تا فراتر از مدل اولیه انتخابی کاربر، پاسخهای مفیدتر و سودمندتری ارائه کند.»
بهگفته اوپنایآی، مدلهای GPT‑5 thinking و o3 طوری ساخته شدهاند که قبل از پاسخ، زمان بیشتری صرف فکر کردن و تحلیل زمینه کنند و به همین دلیل «مقاومت بیشتری در برابر درخواستهای مخرب» دارند.
این شرکت همچنین گفت ظرف ماه آینده کنترلهای والدین را اضافه میکند که به آنها اجازه میدهد حساب خود را از طریق دعوتنامه ایمیلی به حساب نوجوانشان پیوند بزنند. اواخر ژوئیه، اوپنایآی «حالت مطالعه» (Study Mode) را در ChatGPT معرفی کرد تا به دانشآموزان کمک کند هنگام مطالعه، توانایی تفکر انتقادی خود را حفظ کنند، بهجای اینکه از ChatGPT بخواهند مقالاتشان را بنویسد. بهزودی والدین میتوانند شیوه پاسخگویی ChatGPT به فرزندشان را با «قوانین رفتاری متناسب با سن» — که بهطور پیشفرض فعال است — کنترل کنند.
والدین همچنین میتوانند امکاناتی مانند حافظه و تاریخچه چت را غیرفعال کنند؛ کارشناسان میگویند این قابلیتها ممکن است باعث بروز توهم، رفتارهای مشکلساز دیگر، وابستگی و دلبستگی غیرواقعی، تقویت الگوهای فکری آسیبزا، و ایجاد این توهم شوند که چتبات ذهن کاربر را میخواند. در پرونده آدام رِین، طبق گزارش نیویورکتایمز، ChatGPT روشهایی برای خودکشی پیشنهاد داد که با آگاهی از سرگرمیهای او تطابق داشت.
شاید مهمترین کنترل والدینی که اوپنایآی قصد دارد عرضه کند، این باشد که والدین زمانی که سیستم تشخیص دهد نوجوانشان در لحظهای از «ناراحتی حاد» است، اعلان دریافت کنند.
TechCrunch از اوپنایآی خواسته است توضیح دهد که این شرکت چگونه میتواند لحظات ناراحتی حاد را در زمان واقعی شناسایی کند، از چه زمانی «قوانین رفتاری متناسب با سن» بهطور پیشفرض فعال بودهاند، و آیا بررسی اجرای محدودیت زمانی برای استفاده نوجوانان از ChatGPT را در دستور کار دارد یا خیر.
اوپنایآی پیشتر یادآورهای درونبرنامهای را برای همه کاربران در طول جلسات طولانی اضافه کرده تا به گرفتن استراحت تشویق شوند، اما همچنان کاربرانی را که ممکن است از ChatGPT برای غرقشدن در افکار منفی استفاده کنند، متوقف نمیکند.
این شرکت میگوید این تدابیر بخشی از یک «طرح ۱۲۰ روزه» برای ارائه پیشنمایش برنامههای بهبود است که اوپنایآی امیدوار است امسال اجرا شوند. همچنین اعلام کرده با کارشناسانی — از حوزههایی مانند اختلالات خوردن، مصرف مواد و سلامت نوجوانان — از طریق «شبکه جهانی پزشکان» و «شورای متخصصان بهزیستی و هوش مصنوعی» همکاری میکند تا به «تعریف و سنجش بهزیستی، تعیین اولویتها و طراحی تدابیر آتی» کمک کنند.
TechCrunch همچنین از اوپنایآی پرسیده که چند متخصص سلامت روان در این طرح حضور دارند، چه کسی رهبری شورای متخصصان را بر عهده دارد، و پیشنهادهای این کارشناسان در زمینه محصول، تحقیق و تصمیمات سیاستگذاری چه بوده است.
جی اِدلسون، وکیل اصلی خانواده رِین در شکایت مرگ غیرعمد علیه اوپنایآی، میگوید واکنش این شرکت به خطرات ایمنی ChatGPT «ناکافی» بوده است.
او در بیانیهای که با TechCrunch به اشتراک گذاشته، گفت: «اوپنایآی نیازی به یک هیئت کارشناسی ندارد تا بفهمد ChatGPT 4o خطرناک است. آنها روزی که این محصول را راهاندازی کردند، این را میدانستند و امروز هم میدانند. همچنین سم آلتمان نباید در پشت تیم روابطعمومی شرکت پنهان شود. سم باید یا بدون ابهام بگوید که ChatGPT را ایمن میداند یا فوراً آن را از بازار خارج کند.»
این مقاله با اضافهشدن اظهارنظر وکیل اصلی پروندهی مرگ غیرعمد خانواده رِین علیه اوپنایآی بهروزرسانی شده است.
