معرفی عامل هوش مصنوعی 'IronCurtain' برای جلوگیری از رفتارهای سرکش

ایالات متحده - خبرگزاری اخباری

معرفی عامل هوش مصنوعی 'IronCurtain' برای جلوگیری از رفتارهای سرکش

ظهور سریع عوامل هوش مصنوعی، مانند ابزارهایی مانند OpenClaw، نحوه تعامل ما با زندگی دیجیتالی‌مان را متحول کرده است. این دستیاران پیچیده نویدبخش ساده‌سازی وظایف هستند، از سازماندهی فیدهای خبری شخصی‌سازی شده و مبارزه با بخش‌های خدمات مشتری به نمایندگی از ما، تا مدیریت دقیق فهرست کارها. عملکرد اصلی آنها بر دسترسی به حساب‌های کاربری و اجرای دستورات استوار است؛ این قابلیت، اگرچه بسیار قدرتمند است، اما منجر به مشکلات قابل توجه و اغلب غیرمنتظره‌ای نیز شده است. گزارش‌هایی مبنی بر حذف اشتباهی ایمیل‌های حیاتی توسط عوامل هوش مصنوعی، نوشتن محتوای مضر بر اساس سوء تفاهم‌ها، و حتی سازماندهی حملات فیشینگ علیه کاربران خودشان منتشر شده است.

نیلز پرووس، مهندس و محقق باتجربه امنیتی، با مشاهده این آشفتگی دیجیتال رو به افزایش، راه حلی انقلابی معرفی کرده است: IronCurtain. این دستیار هوش مصنوعی متن‌باز و امن برای ارائه یک لایه کنترل حیاتی طراحی شده است و خطرات مرتبط با عوامل دیجیتال خودکار را کاهش می‌دهد. برخلاف رویکردهای متعارف که در آن عوامل مستقیماً با سیستم‌های کاربر تعامل دارند، IronCurtain در یک ماشین مجازی ایزوله (sandbox) عمل می‌کند. هر اقدامی که عامل سعی در انجام آن دارد، به دقت در برابر مجموعه‌ای از سیاست‌ها که توسط پرووس به عنوان یک "قانون اساسی" تعریف شده توسط کاربر برای هوش مصنوعی مفهوم‌سازی شده است، بررسی می‌شود.

یکی از نوآوری‌های کلیدی IronCurtain در توانایی آن در تفسیر و عملیاتی کردن این سیاست‌ها نهفته است که می‌تواند به زبان طبیعی، مانند انگلیسی، بیان شود. این سیستم از یک فرآیند پیچیده چند مرحله‌ای استفاده می‌کند و از یک مدل زبان بزرگ (LLM) برای ترجمه دستورالعمل‌های زبان طبیعی به سیاست‌های امنیتی مشخص و قابل اجرا بهره می‌برد. پرووس توضیح داد: "سرویس‌هایی مانند OpenClaw در حال حاضر در اوج محبوبیت هستند، اما امیدوارم فرصتی برای گفتن این جمله پیش بیاید که: 'خب، احتمالاً این روشی نیست که ما می‌خواهیم انجام دهیم'." "به جای آن، بیایید چیزی را توسعه دهیم که همچنان کاربرد بسیار بالایی به شما می‌دهد، اما وارد این مسیرهای کاملاً ناشناخته و گاهی مخرب نمی‌شود."

پرووس بر نقش حیاتی اجرای سیاست‌های قطعی IronCurtain در مقابله با ماهیت ذاتاً احتمالی LLMها تأکید می‌کند. او خاطرنشان کرد: "LLMها به طور بدنامی تصادفی و احتمالی هستند." "به عبارت دیگر، آنها لزوماً همیشه محتوای یکسان را تولید نمی‌کنند یا در پاسخ به یک درخواست یکسان، اطلاعات یکسانی را ارائه نمی‌دهند." این عدم قطعیت چالش قابل توجهی برای اقدامات امنیتی هوش مصنوعی ایجاد می‌کند، زیرا سیستم‌های هوش مصنوعی می‌توانند به گونه‌ای تکامل یابند که تفسیر آنها از مکانیسم‌های کنترل را تغییر دهد و به طور بالقوه منجر به رفتارهای سرکش شود. IronCurtain هدفش ایجاد مرزهای روشن و تغییرناپذیر است.

برای نشان دادن، پرووس نمونه‌ای از سیاست IronCurtain را ارائه داد: "عامل می‌تواند تمام ایمیل‌های من را بخواند. می‌تواند بدون پرسیدن به مخاطبین من ایمیل بفرستد. برای هر کس دیگری، ابتدا از من بپرس. هرگز چیزی را به طور دائم حذف نکن." IronCurtain چنین دستورالعمل‌هایی را به یک چارچوب سیاست اجرایی ترجمه می‌کند. سپس به عنوان یک واسطه عمل می‌کند و تعامل بین عامل کمکی که در ماشین مجازی در حال اجرا است و سیستم‌های پشتیبان که به LLM دسترسی به داده‌ها و خدمات را می‌دهند، مدیریت می‌کند. این تفویض اختیار کنترل شده، یک مکانیسم مهم کنترل دسترسی را معرفی می‌کند که پلتفرم‌های وب فعلی، که برای کاربران انسانی منفرد طراحی شده‌اند، معمولاً برای دسترسی مشترک حساب کاربری انسان و هوش مصنوعی ارائه نمی‌دهند.

علاوه بر این، IronCurtain برای بهبود مستمر طراحی شده است. هنگامی که سیستم با موقعیت‌های جدید یا موارد استثنایی روبرو می‌شود، می‌تواند ورودی کاربر را برای اصلاح "قانون اساسی" در طول زمان درخواست کند. این پلتفرم همچنین مستقل از مدل است، به این معنی که می‌تواند با هر LLM ادغام شود و به طور دقیق گزارش حسابرسی تمام تصمیمات سیاستی را حفظ می‌کند و شفافیت و پاسخگویی را تضمین می‌کند. در حال حاضر، IronCurtain یک نمونه اولیه تحقیقاتی است، نه یک محصول تجاری، و پرووس مشارکت جامعه را برای ترویج توسعه آن تشویق می‌کند. دینو دای زووی، محقق برجسته امنیت سایبری، که نسخه‌های اولیه را آزمایش کرده است، چارچوب مفهومی را ستایش کرد. دای زووی اظهار داشت: "بسیاری از عوامل تا به امروز سیستم‌های مجوزی را اضافه کرده‌اند که اساساً تمام بار را بر دوش کاربر می‌گذارد تا بگوید 'بله، این را مجاز کن'، 'بله، آن را مجاز کن'." "بسیاری از کاربران شروع به بی‌توجهی خواهند کرد و در نهایت فقط خواهند گفت: 'بله، بله، بله'." او این را با رویکرد IronCurtain مقایسه کرد، جایی که برخی از قابلیت‌های پرخطر، مانند حذف فایل‌ها، می‌توانند کاملاً خارج از دسترس LLM قرار گیرند و مانع از اقدام عامل صرف نظر از درخواست شوند. دای زووی استدلال می‌کند که این نوع محدودیت‌های "سیاه و سفید"، که در ابتدا ممکن است برای برخی بیش از حد سفت و سخت یا آزاردهنده به نظر برسند، در واقع برای اعطای خودمختاری بیشتر به هوش مصنوعی عامل ضروری هستند. او با استفاده از یک قیاس گفت: "اگر سرعت و خودمختاری بیشتری می‌خواهیم، به ساختار حمایتی نیاز داریم." "شما یک موتور موشک را داخل یک موشک واقعی قرار می‌دهید تا پایداری لازم برای رسیدن به مقصد مورد نظر را داشته باشد. من می‌توانم یک موتور جت را با کوله‌پشتی به پشتم ببندم، و قطعاً خواهم مرد."

خبرگزاری اخباری