هوش مصنوعی AI Agent وعده تحول در نحوه عملکرد سازمانها را میدهد. برخلاف ابزارهای هوش مصنوعی قدیمیتر که برای خلاصهسازی اسناد یا تولید محتوا طراحی شده بودند، این سیستمها میتوانند بهطور مستقل عمل کنند، وظایف را اجرا کنند و با سیستمهای سازمانی تعامل داشته باشند. برای هیئتهای مدیرهای که بر ریسک فناوری نظارت دارند، این تغییر یک دسته کاملاً متفاوت از نگرانیهای امنیتی را معرفی میکند. Laura I. Harder، معاون رئیس انجمن بینالمللی امنیت سیستمهای اطلاعاتی (ISSA) و افسر سایبری تهاجمی در ذخیره نیروی هوایی ایالات متحده، معتقد است بسیاری از رهبران سرعت بروز این ریسکها را دستکم میگیرند. "ریسک برای سازمانها واقعاً به داشتن آژانس بیش از حد بر میگردد،" Harder میگوید. "AI Agent میتوانند مجوزها را تغییر دهند، عملکرد را تغییر دهند و اقداماتی ایجاد کنند که شاید انتظارش را نداشته باشید." همانطور که سازمانها از آزمایش با هوش مصنوعی به عملیاتیسازی AI Agent خودمختار حرکت میکنند، هیئتهای مدیره نیز باید به همان سرعت حرکت کنند تا ساختارهای حاکمیتی، محافظها و مکانیسمهای نظارتی قادر به مدیریت سیستمهایی را که میتوانند بدون دخالت انسان تصمیم بگیرند و اقدام کنند، ایجاد کنند.
AI Agent معادله امنیت را تغییر میدهد
طی چند سال گذشته، اکثر استقرارهای هوش مصنوعی شرکتی بر ابزارهایی متمرکز بودهاند که اطلاعات را تجزیه و تحلیل میکنند یا خروجی تولید میکنند. این قابلیتها نگرانیهای حریم خصوصی و یکپارچگی دادهها را معرفی کردند، اما خود سیستمها به ندرت اقداماتی را در محیطهای سازمانی اجرا میکردند. AI Agent این پویایی را تغییر میدهد. به جای ارائه توصیهها یا فیلتر کردن رزومهها، AI Agent میتوانند گردش کار را فعال کنند، به پایگاههای داده دسترسی داشته باشند و با سیستمهای نرمافزاری در سراسر سازمان تعامل کنند. "اکنون فقط به ما مشاوره نمیدهد. بلکه اقدام میکند و بهطور مستقل عمل میکند،" Harder میگوید.

این استقلال چالشهای امنیتی جدیدی ایجاد میکند زیرا سیستمها قابل دستکاری هستند. درست همانطور که انسانها میتوانند فریب مهندسی اجتماعی را بخورند، AI Agent میتوانند با تکنیکهایی مانند تزریق دستور فریب بخورند تا وظایف ناخواسته را اجرا کنند. Harder به مثالهای واقعی اشاره میکند که در آن دستورالعملهای پنهان تعبیهشده در ورودیها نحوه رفتار هوش مصنوعی را تغییر میدهند. "هوش مصنوعی بر اساس دستورالعملهایی که به آن داده میشود رفتار خواهد کرد،" او میگوید. این تهدیدها با ماهیت مبهم بسیاری از مدلهای هوش مصنوعی تشدید میشوند. سازمانها اغلب بدون دید کامل نسبت به نحوه تصمیمگیری، به ابزارهای شخص ثالث متکی هستند. نتیجه سیستمی است که قادر به اجرای اقدامات است در حالی که به روشهایی عمل میکند که پیشبینی آنها دشوار است.
ریسک پنهانی که هیئتهای مدیره اغلب نادیده میگیرند
هنگامی که هیئتهای مدیره شروع به ارزیابی AI Agent میکنند، Harder میگوید آسیبپذیرترین مورد دستکم گرفتهشده، مجوزها است. هر AI Agent در شبکهای از سیستمها، منابع داده و برنامهها عمل میکند. سطح دسترسی اعطا شده به آن سیستمها، آسیب احتمالی در صورت بروز مشکل را تعیین میکند. Harder این را به عنوان "شعاع انفجار" سیستم توصیف میکند. یک AI Agent که مجوزهای گستردهای دریافت کرده است ممکن است بتواند با دادهها و زیرساختهای بسیار بیشتری نسبت به آنچه رهبران درک میکنند تعامل داشته باشد.
یک مثال رایج زمانی رخ میدهد که سیستمهای هوش مصنوعی به ابزارهای همکاری داخلی یا مخازن اسناد متصل میشوند. اگر یک پوشه به اشتراک گذاشته شده گسترده حاوی اطلاعات حساس باشد، یک AI Agent که در آن محیط عمل میکند قادر خواهد بود به آن دادهها در چارچوب مجوزهای اعطا شده به کاربر، حساب سرویس یا یکپارچهسازی که تحت آن اجرا میشود، دسترسی داشته باشد و از آن استفاده کند. در عمل، این بدان معناست که AI Agent میتواند اطلاعاتی را که ممکن است بهطور گسترده قابل دسترسی بوده اما بهطور فعال نظارت نشده است، آشکار یا بر اساس آن عمل کند.
خدمات هوش مصنوعی شخص ثالث لایه اضافی از ریسک را معرفی میکنند. "اگر از یک مدل استفاده میکنید، آن مدل به چه اطلاعاتی دسترسی دارد و آیا اطلاعات شما میتواند برای آموزش آن مدل استفاده شود؟" Harder میپرسد. بدون کنترلهای واضح، اطلاعات اختصاصی، مالکیت معنوی یا دادههای حساس مشتری میتواند بهطور ناخواسته از طریق تعاملات هوش مصنوعی سازمان را ترک کند.
ساخت حاکمیتی که میتواند با هوش مصنوعی همگام شود
حاکمیت هوش مصنوعی باید بهعنوان یک برنامه ساختاریافته به جای یک افزونه فناوری در نظر گرفته شود. سازمانها باید با ایجاد یک هیئت حاکمیت اختصاصی هوش مصنوعی شروع کنند که اغلب بر اساس کمیتههای حاکمیت حریم خصوصی یا ریسک موجود مدلسازی میشود. آن گروه باید چارچوبهای تثبیتشده مانند چارچوب مدیریت ریسک هوش مصنوعی NIST یا استانداردهای بینالمللی مانند ISO 42001 را اتخاذ کند. "داشتن حاکمیت هوش مصنوعی و حفاظتهای هوش مصنوعی فقط محصولی نیست که بتوانید خریداری کنید،" او میگوید.
این چارچوبها راهنمایی در مورد سیاستها، ارزیابی ریسک و کنترلهای عملیاتی ارائه میدهند. اما آنها هنوز نیاز دارند که سازمانها تعریف کنند هوش مصنوعی چگونه در محیط خود عمل خواهد کرد و به چه دادههایی اجازه دسترسی خواهد داشت. "شما به سیاستها، رویهها و فهرستها نیاز دارید،" Harder میگوید. "این قطعات به ساخت زیرساختی که تیمهای شما میتوانند از آن کار کنند کمک خواهند کرد." یکی از رویههای نوظهور، ایجاد "لیست مواد AI Agent" است که فهرستی از هر ابزار هوش مصنوعی مورد استفاده در داخل سازمان، سیستمهایی که به آن متصل است و دادههایی که میتواند به آن دسترسی داشته باشد را تهیه میکند. بدون این دید، سازمانها نمیتوانند بهطور کامل قرار گرفتن در معرض ایجاد شده توسط سیستمهای خودمختار که با زیرساخت سازمانی تعامل دارند را درک کنند.
محافظهایی که از خروج هوش مصنوعی از کنترل جلوگیری میکنند
حتی با وجود ساختارهای حاکمیتی، سیستمهای AI Agent به محافظتهای فنی نیاز دارند که نحوه عملکرد آنها را محدود کند. مؤثرترین استراتژی طراحی کنترلهای امنیتی از همان ابتدا است. سیستمها ابتدا باید در محیطهای شبکه آزمایشی بسته و کنترل شده با استفاده از دادههای آزمایشی (نه دادههای تولیدی) و امتیازات محدود توسعه یابند. "هنگامی که سیستم AI Agent خود را میسازید، باید این کار را در یک شبکه آزمایشی انجام دهید،" او میگوید. "این یک محیط کنترل شده است که در آن سیستمهای مصنوعی میتوانند با ریسک پایین و بدون امتیاز عمل کنند."
آزمایش همچنین باید شامل تیم قرمز باشد، جایی که متخصصان امنیتی سعی میکنند سیستم را بشکنند یا رفتار آن را دستکاری کنند. این تمرینها آسیبپذیریها را قبل از استقرار سیستمها در محیطهای تولیدی آشکار میکنند. "داشتن انسان در حلقه تضمین میکند که اگر و زمانی که ابزار هوش مصنوعی شما تصمیم به گرفتن تصمیمی کند که شاید شما آن را نمیخواستید، نوعی محدودیت وجود دارد،" Harder میگوید. تکنیکهای جداسازی نیز میتوانند ریسک را محدود کنند. در برخی معماریها، AI Agent در داخل ماشینهای مجازی محدود میشوند که در آن سیاستها دستوراتی که میتوانند اجرا کنند و سیستمهایی که میتوانند به آن دسترسی داشته باشند را محدود میکنند.
نظارت هیئت مدیره در نهایت اهمیت دارد
برای هیئتهای مدیره، ظهور AI Agent یک چالش حاکمیتی و پاسخگویی است و Harder تأکید میکند که سازمانها مسئول اقداماتی هستند که سیستمهای هوش مصنوعی آنها انجام میدهند. "شما نمیتوانید برگردید و بگویید، 'من نمیدانستم میتواند این کار را انجام دهد'،" او میگوید. "شما باید وظیفه خود را انجام دهید." این مسئولیت پیامدهای قانونی و امانی دارد. هیئتهای مدیره باید اطمینان حاصل کنند که فناوریهای خودمختار با نظارت واضح، اختیار محدود و نظارت بر ریسک در زمان واقعی پیادهسازی میشوند. "AI Agent را به ابزارهای ممتاز متصل نکنید تا زمانی که بتوانید ثابت کنید دارای اختیار محدود، نقاط بررسی انسانی و نظارت است،" Harder میگوید. همانطور که AI Agent از آزمایش به عملیات اصلی حرکت میکند، سازمانهایی که موفق میشوند کسانی خواهند بود که حاکمیت و امنیت را بهعنوان الزامات بنیادین به جای افکار بعدی در نظر میگیرند.
Laura I. Harder را در LinkedIn برای بینشهای بیشتر دنبال کنید.



