[ad_1]
بازاریابان ابزارهای توسعه دهنده AI را به عنوان کارگاه هایی که برای مهندس نرم افزار امروزی ضروری است ، ترویج می کنند. به عنوان مثال ، پلتفرم توسعه دهنده GitLab ، ادعا می کند که دوتایی خود Chatbot می تواند “فوراً یک لیست کارها را تولید کند” که بار “Wading را در طی هفته های تعهدات” از بین می برد. آنچه این شرکت ها نمی گویند این است که این ابزارها با خلق و خوی اگر به طور پیش فرض نباشد ، به راحتی توسط بازیگران مخرب در انجام اقدامات خصمانه علیه کاربران خود فریب می یابد.
محققان شرکت امنیتی Legit روز پنجشنبه حمله ای را نشان دادند که باعث شد دوتایی را به وارد کردن کد مخرب در یک اسکریپتی که به آن دستور داده شده است بنویسد. این حمله همچنین می تواند کد خصوصی و داده های مسئله محرمانه مانند جزئیات آسیب پذیری روز صفر را نشت کند. تمام آنچه لازم است این است که کاربر به چت بابات دستور دهد تا با یک درخواست ادغام یا محتوای مشابه از یک منبع خارج ارتباط برقرار کند.
تیغه دو لبه دستیاران هوش مصنوعی
مکانیسم تحریک حملات البته تزریق سریع است. از جمله متداول ترین اشکال سوء استفاده از چت بابات ، تزریق سریع در محتوا تعبیه شده است که از چت بابات خواسته می شود با آنها کار کند ، مانند ایمیل برای پاسخ دادن ، یک تقویم برای مشاوره یا یک صفحه وب برای خلاصه کردن. دستیاران مبتنی بر مدل بزرگ زبان آنقدر مشتاق هستند که دستورالعمل هایی را دنبال کنند که تقریباً از هر مکانی سفارش می دهند ، از جمله منابعی که توسط بازیگران مخرب کنترل می شوند.
حملات دوتایی هدفمند از منابع مختلفی که معمولاً توسط توسعه دهندگان استفاده می شود ، حاصل شد. مثالها شامل درخواست ادغام ، تعهدات ، توضیحات اشکال و نظرات و کد منبع است. محققان نشان دادند كه چگونه دستورالعمل های تعبیه شده در این منابع می توانند دوئل را گمراه كنند.
اومر مایرز نوشت: “این آسیب پذیری ماهیت دو لبه دستیاران هوش مصنوعی مانند Gitlab Duo را برجسته می کند: وقتی عمیقاً در گردش کار توسعه می یابد ، آنها نه تنها زمینه را به ارث می برند بلکه خطر را به ارث می برند.” “با تعبیه دستورالعمل های پنهان در محتوای پروژه به ظاهر بی ضرر ، ما توانستیم رفتار Duo را دستکاری کنیم ، کد منبع خصوصی را بدرقه کنیم و نشان دهیم که چگونه می توان پاسخ های هوش مصنوعی را برای نتایج ناخواسته و مضر اعمال کرد.”
[ad_2]
منبع:arstechnica
