وقتی هوش مصنوعی روانشناس می‌شود، سؤال حریم خصوصی پیش می‌آید. سام آلتمن، مدیرعامل OpenAI، در توییتی تاکید کرد که مکالمه با ChatGPT به ‌مثابه درمانگر، تحت مقررات محرمانگی پزشکی قرار نمی‌گیرد. او اعلام کرد کاربران نباید انتظار داشته باشند که اطلاعات حساس و شخصی‌شان در گفتگو با این سامانه هوش مصنوعی از نظری قانونی محفوظ بماند.
در پاسخ به علاقه‌مندی برخی به استفاده از ربات‌های هوش مصنوعی به عنوان مشاور یا روانشناس، آلتمن به نکته‌ای اساسی اشاره کرد؛ یعنی عدم وجود چارچوب حقوقی برای تضمین محرمانگی اطلاعات در این نوع خدمات. از نظر وی، با وجود پیشرفت‌های چشمگیر در حوزه هوش مصنوعی، استفاده از این سامانه‌ها در ارائه خدمات روانشناسی نیازمند تدوین قوانین و مقررات منسجم است تا کاربران از افشای ناخواسته اطلاعات شخصی خود جلوگیری نمایند.

در ایران که دسترسی به روانشناس حرفه‌ای محدود است و بسیاری از افراد در جستجوی راهکارهای مشاوره روانشناسی اقتصادی تر هستند، استفاده از سرویس‌های مبتنی بر هوش مصنوعی می‌تواند گزینه جذابی به نظر آید. اما در عین حال، نبود پوشش قانونی مستدل برای حفظ محرمانگی، خطرات جدی از جمله افشای اطلاعات حساس و سو استفاده از آن‌ها را به همراه دارد. به همین دلایل، نهادهای رگولاتوری ملزم به تدوین چارچوب‌های حقوقی دقیق در حوزه سلامت روان با استفاده از هوش مصنوعی شده‌اند تا اطمینان حاصل شود که کاربران از حفاظت لازم برخوردارند.