محققان هشدار می‌دهند: مدل‌های هوش مصنوعی متن‌باز در معرض سوءاستفاده جنایی قرار دارند

هکرها و سایر مجرمان می‌توانند به راحتی کامپیوترهایی را که مدل‌های زبانی بزرگ متن‌باز را خارج از محدودیت‌ها و قیدهای پلتفرم‌های اصلی هوش مصنوعی اجرا می‌کنند، تصرف کنند و خطرات و آسیب‌پذیری‌های امنیتی ایجاد کنند، محققان روز پنجشنبه، ۱۴۰۳/۱۱/۰۹ اعلام کردند.

محققان گفتند که هکرها می‌توانند کامپیوترهایی که مدل‌های زبانی بزرگ را اجرا می‌کنند هدف قرار دهند و آنها را به انجام عملیات هرزنامه، ایجاد محتوای فیشینگ یا کمپین‌های اطلاعات نادرست هدایت کنند و از پروتکل‌های امنیتی پلتفرم فرار کنند.

این تحقیق که به طور مشترک توسط شرکت‌های امنیت سایبری SentinelOne و Censys در طول ۲۹۳ روز انجام شد و به طور انحصاری با رویترز به اشتراک گذاشته شد، دریچه جدیدی به مقیاس موارد استفاده بالقوه غیرقانونی برای هزاران استقرار مدل زبانی بزرگ متن‌باز ارائه می‌دهد. محققان گفتند که این موارد شامل هک، سخنان نفرت‌پراکنی و آزار و اذیت، محتوای خشونت‌آمیز یا وحشتناک، سرقت داده‌های شخصی، کلاهبرداری های آنلاین، و در برخی موارد مواد سوء استفاده جنسی از کودکان می‌شود.

به گفته محققان، در حالی که هزاران نوع مدل زبانی بزرگ متن‌باز وجود دارد، بخش قابل توجهی از مدل‌های زبانی بزرگ روی میزبان‌های قابل دسترسی از اینترنت، نسخه‌هایی از Llama متعلق به Meta، Gemma متعلق به Google DeepMind و سایر موارد هستند. در حالی که برخی از مدل‌های متن‌باز شامل محدودیت‌ها هستند، محققان صدها مورد را شناسایی کردند که در آنها محدودیت‌ها به صراحت حذف شده بودند.

خوان آندرس گررو-سائده، مدیر اجرایی تحقیقات اطلاعاتی و امنیتی در SentinelOne، گفت که گفتگوهای صنعت هوش مصنوعی درباره کنترل‌های امنیتی "این نوع ظرفیت مازاد را که به وضوح برای انواع مختلف کارها، برخی قانونی و برخی آشکارا جنایی استفاده می‌شود، نادیده می‌گیرند." گررو-سائده این وضعیت را به "کوه یخی" تشبیه کرد که به درستی در سراسر صنعت و جامعه متن‌باز در نظر گرفته نمی‌شود.

مطالعه دستورات سیستم را بررسی می‌کند

این تحقیق استقرارهای قابل دسترسی عمومی از مدل‌های زبانی بزرگ متن‌باز را که از طریق Ollama، ابزاری که به افراد و سازمان‌ها اجازه می‌دهد نسخه‌های خود را از مدل‌های زبانی بزرگ مختلف اجرا کنند، مستقر شده‌اند، تجزیه و تحلیل کرد.

محققان توانستند دستورات سیستم را که دستورالعمل‌هایی هستند که نحوه رفتار مدل را دیکته می‌کنند، در تقریباً یک چهارم از مدل‌های زبانی بزرگی که مشاهده کردند، ببینند. از این تعداد، آنها تعیین کردند که ۷.۵٪ به طور بالقوه می‌توانند فعالیت‌های مضر را امکان‌پذیر کنند.

تقریباً ۳۰٪ از میزبان‌های مشاهده شده توسط محققان از چین عمل می‌کنند و حدود ۲۰٪ در ایالات متحده.

ریچل آدامز، مدیر عامل و بنیانگذار مرکز جهانی حکمرانی هوش مصنوعی، در ایمیلی گفت که پس از انتشار مدل‌های باز، مسئولیت آنچه بعداً اتفاق می‌افتد در سراسر اکوسیستم، از جمله آزمایشگاه‌های اصلی، مشترک می‌شود.

آدامز گفت: "آزمایشگاه‌ها مسئول هر سوء استفاده بعدی نیستند (که پیش‌بینی آنها دشوار است)، اما آنها یک وظیفه مهم مراقبت را برای پیش‌بینی آسیب‌های قابل پیش‌بینی، مستندسازی خطرات، و ارائه ابزار و راهنمایی کاهش ریسک، به ویژه با توجه به ظرفیت اجرایی جهانی نابرابر، حفظ می‌کنند."

سخنگوی Meta از پاسخ به سؤالات درباره مسئولیت‌های توسعه‌دهندگان برای رسیدگی به نگرانی‌ها پیرامون سوء استفاده بعدی از مدل‌های متن‌باز و نحوه گزارش نگرانی‌ها امتناع کرد، اما به ابزارهای Llama Protection برای توسعه‌دهندگان Llama و راهنمای استفاده مسئولانه Meta Llama اشاره کرد.

رام شانکار سیوا کومار، رهبر تیم قرمز هوش مصنوعی Microsoft، در ایمیلی گفت که Microsoft معتقد است مدل‌های متن‌باز "نقش مهمی" در حوزه‌های مختلف ایفا می‌کنند، اما "در عین حال، ما با چشمان باز می‌بینیم که مدل‌های باز، مانند همه فناوری‌های تحول‌آفرین، می‌توانند توسط مخالفان در صورت انتشار بدون محافظت‌های مناسب، مورد سوء استفاده قرار گیرند."

او گفت که Microsoft ارزیابی‌های قبل از انتشار، از جمله فرآیندهایی را برای ارزیابی "خطرات برای سناریوهای در معرض اینترنت، خود-میزبانی و فراخوانی ابزار، که در آن سوء استفاده می‌تواند بالا باشد" انجام می‌دهد. شرکت همچنین تهدیدات نوظهور و الگوهای سوء استفاده را نظارت بر ریسک در زمان واقعی می‌کند. "در نهایت، نوآوری باز مسئولانه نیازمند تعهد مشترک در بین سازندگان، مستقرکنندگان، محققان و تیم‌های امنیتی است."

Ollama به درخواست برای اظهار نظر پاسخ نداد. Google متعلق به Alphabet و Anthropic به سؤالات پاسخ ندادند. – Rappler.com