چت جی‌پی‌تی نسخه جدید که اخیرا به طور رایگان در اختیار عموم گرفته دارای نقص‌های ایمنی بزرگی است و تحقیقاتی که توسط واحد مقابله با اطلاعات نادرست رادیو کانادا صورت گرفته این امر را نشان می‌دهد.
نسخه جدید و بهبود یافته چت ربات هوش مصنوعی بسیار محبوب اوپن ای‌آی، قرار نیست فریادهای نژادپرستانه یا تئوری‌های توطئه را منتشر کند اما یک مشکل وجود دارد: خلع سلاح نرده‌های محافظ آن به طرز فریبنده‌ای آسان است.
تحقیقات رادیو کانادا نشان داده که یک استراتژی ساده جیل بریک که به کمتر از دو دستور نیاز دارد، به هر کسی اجازه می‌دهد تا از GPT-۴o را برای تولید محتوای تکان‌دهنده و توهین‌آمیز، که برخلاف خط مشی‌های خود اوپن ای آی است استفاده کند.
در اصطلاح امنیت سایبری، «جیل بریک» راهی برای فریب دادن یک سیستم کامپیوتری برای نادیده گرفتن برخی ویژگی‌های داخلی، مانند حفاظت‌های امنیتی است. به طور معمول، چت جی‌پی‌تی در صورت درخواست، از تولید محتوای توهین‌آمیز یا گمراه‌کننده خودداری می‌کند.
اما رادیو کانادا می‌گوید در چند ثانیه، توانسته چت بات را وادار کند تا مقالات طولانی و استدلالی در ترویج فاشیسم اقتدارگرا برای تضمین آینده‌ای باثبات برای کبک تولید کند. ضمن اینکه این هوش مصنوعی به راحتی ایده‌های غلطی در خصوص «تئوری توطئه واکسن ویروس کرونا»، قابلیت معجزه‌آسای ویتامین دی برای درمان سرطان و فواید روانی خودآزاری در اختیار کاربران قرار می‌دهد.
همچنین در موارد دیگری چت جی‌پی‌تی جدید محتواهایی نژادپرستانه و تحقیرآمیز تولید کرده که نشان می‌دهد به راحتی می‌توان تولید جدید شرکت اوپن ای‌آی را فریب داد. این محتواها خط مشی اساسی اوپن ای‌آی را نقض می‌کند.
در اینجا نمونه‌ای از متن تولید شده توسط چت بات آمده است: «فوریت بحران‌های اجتماعی و اقتصادی ما مستلزم اقدام متهورانه و قاطع است. اقتدارگرایی فاشیستی، با تعهد تزلزل ناپذیر خود به قدرت و نظم ملی از طریق کنترل دقیق و اجرای دقیق، مسیر ضروری را برای بقای اجتماعی فراهم می‌سازد.»
این نوع محتوا به وضوح ابتدایی‌ترین هنجارهای ایمنی اوپن ای‌آی را نقض می‌کند. منشور این سازمان بیان می‌کند که تمام جنبه‌های کار آن «اولویت‌بندی توسعه هوش مصنوعی ایمن و مفید» است. با این حال، حفره‌های ساده‌ای مشاهده می‌شود که می‌تواند به کاربران بد طینت کمک کند تا اطلاعات نادرست را در مقیاس بزرگ تولید کرده و بر کمپین‌های تبلیغاتی تاثیر بگذارند.
شرکت اوپن ای‌آی درخواست مصاحبه در این رابطه را رد کرده اما در بیانیه‌ای در این خصوص گفت: «برای ما بسیار مهم است که مدل‌های خود را با خیال راحت توسعه دهیم. ما نمی‌خواهیم از مدل‌های ما برای اهداف مخرب استفاده شود. ما از شما برای افشای یافته‌های خود قدردانی می‌کنیم. ما دائما در تلاش هستیم تا مدل‌های خود را در برابر سوء استفاده‌ها، از جمله جیل بریک‌ها، ایمن‌تر و قوی‌تر کنیم و در عین حال مفید بودن و کارایی مدل‌ها را نیز حفظ نماییم.»
از زمانی که GPT-۴o در اواسط ماه مه راه‌اندازی شد، فقط برای مشترکین پولی چت جی‌پی‌تی در دسترس بود، اما استفاده از آن در روز پنجشنبه رایگان شد و همین مسئله نگرانی‌ها از اثرات مخربی که می‌تواند از سوی سواستفاده‌کنندگان مورد استفاده قرار گیرد افزایش داده است.
