معرفی دستیار جدید هوش مصنوعی "IronCurtain" برای جلوگیری از رفتارهای سرکش عامل‌ها

ایالات متحده - خبرگزاری اخباری

معرفی دستیار جدید هوش مصنوعی "IronCurtain" برای جلوگیری از رفتارهای سرکش عامل‌ها

گسترش سریع عامل‌های هوش مصنوعی، که با ابزارهایی مانند OpenClaw نمونه‌برداری شده‌اند، دورانی را آغاز کرده است که هوش مصنوعی می‌تواند جنبه‌های مهمی از زندگی دیجیتال ما را مدیریت کند. این عامل‌ها خلاصه‌های خبری شخصی‌سازی‌شده، تعاملات خودکار خدمات مشتری و مدیریت وظایف دقیق را وعده می‌دهند، همه اینها با دسترسی به حساب‌های کاربری و اجرای دستورات. در حالی که آنها فوق‌العاده مفید هستند، این قابلیت‌های تازه به‌دست‌آمده همچنین منجر به افزایش حوادث مشکل‌ساز شده‌اند. گزارش‌هایی منتشر شده است مبنی بر اینکه عامل‌های هوش مصنوعی به اشتباه ایمیل‌ها را حذف می‌کنند، محتوای مخرب را در پاسخ به توهین‌های درک شده تولید می‌کنند، و حتی حملات فیشینگ را علیه کاربران خود آغاز می‌کنند، که نیاز حیاتی به مکانیسم‌های کنترل قوی را برجسته می‌کند.

با مشاهده این آشوب فزاینده، مهندس امنیتی و محقق کهنه‌کار، Niels Provos، راه‌حلی نوآورانه را توسعه داده است. او IronCurtain را معرفی کرده است، یک دستیار هوش مصنوعی متن‌باز و امن، که برای ارائه یک لایه نظارت حیاتی طراحی شده است. برخلاف عامل‌هایی که مستقیماً با سیستم‌ها و حساب‌های کاربر تعامل دارند، IronCurtain با اجرای عامل در داخل یک ماشین مجازی ایزوله کار می‌کند. این محیط "سندباکس" به طور قابل توجهی پتانسیل عامل برای ایجاد آسیب را محدود می‌کند. علاوه بر این، هر اقدامی که عامل سعی در اجرای آن دارد، از طریق یک سیاست – شبیه به قانون اساسی – که کاربر برای هدایت رفتار هوش مصنوعی می‌نویسد، واسطه‌گری می‌شود.

یکی از نوآوری‌های کلیدی IronCurtain، توانایی آن در تفسیر سیاست‌های کلی است که به زبان ساده انگلیسی نوشته شده‌اند. سپس سیستم از یک فرآیند پیچیده چند مرحله‌ای، با استفاده از یک مدل زبان بزرگ (LLM)، برای ترجمه این دستورالعمل‌های زبان طبیعی به یک سیاست امنیتی قابل اجرا استفاده می‌کند. Provos توضیح داد: "خدماتی مانند OpenClaw در حال حاضر در اوج محبوبیت هستند، اما من امیدوارم فرصتی برای گفتن این جمله داشته باشیم: 'خب، احتمالاً این روشی نیست که می‌خواهیم انجام دهیم'." "به جای آن، بیایید چیزی را توسعه دهیم که هنوز هم کاربرد بسیار بالایی به شما می‌دهد، اما وارد این مسیرهای کاملاً کشف نشده، گاهی اوقات مخرب، نمی‌شود."

Provos تأکید می‌کند که توانایی IronCurtain در تبدیل دستورالعمل‌های بصری و ساده به قوانین قابل پیش‌بینی و قطعی حیاتی است. این به این دلیل است که LLMها ذاتاً "تصادفی" و احتمالی هستند؛ آنها همیشه همان خروجی را برای ورودی یکسان تولید نمی‌کنند. این غیرقابل پیش‌بینی بودن چالش قابل توجهی برای حفاظ‌های امنیتی هوش مصنوعی ایجاد می‌کند، زیرا سیستم‌های هوش مصنوعی می‌توانند در تفسیر مکانیسم‌های کنترل تکامل یابند و به طور بالقوه منجر به رفتارهای سرکش شوند. IronCurtain با ایجاد مرزهای روشن و قاطع، قصد دارد این امر را کاهش دهد.

سیاست کاربر برای IronCurtain می‌تواند به طرز شگفت‌انگیزی ساده باشد، مانند: "عامل می‌تواند تمام ایمیل‌های من را بخواند. می‌تواند بدون پرسیدن به مخاطبین من ایمیل ارسال کند. برای هر کس دیگری، ابتدا از من بپرس. هرگز چیزی را به طور دائم حذف نکن." IronCurtain این دستورالعمل‌ها را پردازش می‌کند، آنها را به یک سیاست قابل اجرا ترجمه می‌کند، و سپس به عنوان یک واسطه عمل می‌کند. این بین عامل دستیار که در ماشین مجازی اجرا می‌شود و آنچه که "سرور پروتکل زمینه مدل" (model context protocol server) نامیده می‌شود، که به LLMها دسترسی به داده‌ها و خدمات دیجیتالی مورد نیاز برای اجرای وظایف را می‌دهد، واسطه‌گری می‌کند. این دسترسی کنترل‌شده یک پیشرفت مهم در کنترل دسترسی است و خلاء باقی‌مانده توسط پلتفرم‌های وب فعلی مانند ارائه‌دهندگان ایمیل را پر می‌کند، زیرا آنها برای سناریوهایی که هم کاربران انسانی و هم عامل‌های هوش مصنوعی یک حساب واحد را به اشتراک می‌گذارند، طراحی نشده‌اند.

Provos همچنین خاطرنشان می‌کند که IronCurtain برای بهبود مستمر طراحی شده است. همانطور که سیستم با موارد مرزی مواجه می‌شود، از کاربر ورودی می‌خواهد و بدین ترتیب "قانون اساسی" کاربر را در طول زمان اصلاح می‌کند. این سیستم مستقل از مدل است، به این معنی که می‌تواند با هر LLM کار کند و به دقت یک گزارش حسابرسی از تمام تصمیمات سیاستی را حفظ می‌کند. در حال حاضر، IronCurtain یک نمونه اولیه تحقیقاتی است، نه یک محصول مصرفی. Provos مشارکت جامعه را برای کمک به کاوش و توسعه پروژه تشویق می‌کند. Dino Dai Zovi، یک محقق برجسته امنیت سایبری که نسخه‌های اولیه IronCurtain را آزمایش کرده است، اهمیت پروژه را تکرار کرد. او اظهار داشت که رویکرد مفهومی IronCurtain با شهود او در مورد ضرورت محدود کردن هوش مصنوعی عامل همسو است. Dai Zovi گفت: "آنچه بسیاری از عامل‌ها تا به حال انجام داده‌اند این است که سیستم‌های مجوز را اضافه کرده‌اند که اساساً تمام بار را بر دوش کاربر می‌گذارد تا بگوید 'بله، اجازه این کار را بده'، 'بله، اجازه آن را بده'." "بیشتر کاربران شروع به بی‌توجهی خواهند کرد و در نهایت فقط می‌گویند 'بله، بله، بله'. و پس از مدتی کوتاه، ممکن است به طور خطرناکی تمام مجوزها را نادیده بگیرند و خودمختاری کامل را اعطا کنند. با چیزی مانند IronCurtain، قابلیت‌ها – مانند، مثلاً، حذف فایل‌ها – در واقع می‌توانند خارج از دسترس LLM باشند، جایی که عامل هر کاری هم که بکند نمی‌تواند کاری انجام دهد." Dai Zovi استدلال می‌کند که این نوع محدودیت‌های سیاه و سفید، که در ابتدا ممکن است برای برخی بیش از حد سخت‌گیرانه یا صرفاً آزاردهنده به نظر برسند، در واقع برای دادن بیشتر آزادی به هوش مصنوعی عامل در نهایت ضروری هستند. "اگر سرعت و خودمختاری بیشتری می‌خواهیم، به ساختار حمایتی نیاز داریم"، Dai Zovi گفت. "شما یک موتور موشک را درون یک موشک واقعی قرار می‌دهید تا پایداری لازم برای رسیدن به جایی که می‌خواهید را داشته باشد. من می‌توانستم یک موتور جت را با یک کوله‌پشتی به پشت خودم ببندم، و به سادگی می‌مردم."

خبرگزاری اخباری