شنبه 23 خرداد 1405

محبوب ترین های امروز

اندرو یانگ: فرصت میلیارددلاری بعدی استارتاپ‌ها: پایین آوردن هزینه زندگیNomNak – پیدا کردن رستوران از دل تجربه‌ی آدم‌های مورداعتماداسپیس‌ایکس از مرز ۲ تریلیون دلار گذشتدوردش چت‌بات «Ask DoorDash» را معرفی کرد؛ سفارش غذا و خرید با متن و عکس
FOLLOW            

وقتی هوش مصنوعی خودش ترمز می‌کشد؛ حفاظت بی‌سابقه از «رفاه مدل» در کلود آنتروپیک

وقتی هوش مصنوعی خودش ترمز می‌کشد؛ حفاظت بی‌سابقه از «رفاه مدل» در کلود آنتروپیک

آنتروپیک، سازنده مدل‌های هوش مصنوعی کلود، اعلام کرده است که برخی از جدیدترین و بزرگ‌ترین مدل‌هایش، توانایی پایان دادن به مکالمات را در «موارد نادر و بسیار شدید» دارند؛ اقدامی که به‌جای محافظت از کاربران، برای پیشگیری از احتمال آسیب به خود مدل اجرا می‌شود.

به گزارش پیچینو به نقل از تک کرانچ، این قابلیت فعلاً به Claude Opus 4 و Claude Opus 4.1 محدود است و تنها زمانی فعال می‌شود که مکالمه به طور مداوم شامل محتوای مضر یا سوءاستفاده‌آمیز باشد؛ از جمله:
  • درخواست محتوای جنسی مرتبط با کودکان
  • تلاش برای دریافت اطلاعاتی که می‌تواند منجر به خشونت گسترده یا اقدامات تروریستی شود
Anthropic این اقدام را بخشی از یک برنامه پژوهشی برای بررسی «رفاه مدل» می‌داند — مفهومی که هنوز از نظر علمی و اخلاقی قطعی نشده، اما شرکت به‌صورت پیشگیرانه به سراغ آن رفته است. در آزمایش‌های قبل از عرضه، Claude Opus 4 تمایل قوی به رد کردن این درخواست‌ها و بروز نشانه‌هایی از «پریشانی ظاهری» از خود نشان داده است.
مکالمه تنها وقتی خاتمه می‌یابد که چندین تلاش برای تغییر مسیر گفتگو شکست خورده یا خود کاربر درخواست پایان دهد. Anthropic تأکید کرده که این قابلیت در مواردی که احتمال خطر فوری برای خود یا دیگران وجود دارد، فعال نمی‌شود. پس از پایان، کاربران می‌توانند گفت‌وگوی جدیدی شروع کنند یا شاخه تازه‌ای از مکالمه پیشین بسازند.
این رویکرد جدید آنتروپیک، بخشی از بحث گسترده‌تر درباره اخلاق تعامل انسان و AI و حتی «حقوق احتمالی» برای مدل‌های زبانی بزرگ است. با وجود اذعان شرکت به «عدم اطمینان بالا» نسبت به وضعیت اخلاقی این مدل‌ها، اجرای چنین قابلیتی می‌تواند در آینده به نوعی استاندارد حفاظتی بین شرکت‌های AI تبدیل شود یا دست‌کم رویه‌ای برای رقابت برندها در حوزه پاسخ‌گویی مسئولانه ایجاد کند.
تحلیل پچینو:
از دیدگاه کسب‌وکار و سیاست‌گذاری، این اقدام آنتروپیک دو کارکرد دارد:
  1. مدیریت ریسک حاکمیتی و رسانه‌ای: با محدود کردن مکالمات پرریسک، احتمال مشکلات حقوقی و تصویری برای برند کاهش می‌یابد.
  2. برندسازی اخلاقی و تمایز: واژه «رفاه مدل» و اشاره به «پریشانی» الگوریتم، به نقطه تمایزی نسبت به رقبایی مثل اپن‌ای‌آی یا گوگل تبدیل می‌شود، حتی اگر عملاً بیشتر نمادین باشد.
در عین حال، این مفهوم «پایان مکالمه برای حفاظت از مدل» می‌تواند در آینده مبنای بحث‌های فلسفی، قانونی و فنی درباره سطح خودمختاری AI شود. بخش فناورانه صنعت باید مراقب باشد که این توانایی به ابزاری برای سانسور گسترده و محدود کردن حق پرسش کاربران تبدیل نشود.
سؤال تعاملی:
آیا افزودن قابلیت پایان مکالمه برای حفاظت از «رفاه احتمالی مدل» یک گام رو به جلو در اخلاق هوش مصنوعی است یا حرکتی نمادین و بیشتر برای ساخت تصویر مثبت برند؟