Российские компании начали создавать системы контроля для ИИ-агентов

Бизнес переходит к автономным нейросетям и требует защиты от их неконтролируемых действий.

Читайте также:

Корпорация Apple массово удалила приложения, связанные с группой VK

Дуров назвал шифрование WhatsApp* крупнейшим мошенничеством в истории

Глава OpenAI: настоящий сверхразум появится через два года

Больше

Об этом сообщают «Известия».

Крупнейшие российские ИТ-компании активно разрабатывают инфраструктуру для ограничения и мониторинга искусственного интеллекта. Причина — массовый переход бизнеса от чат-ботов к автономным программам, которые сами выполняют сложные задачи. Этим летом сотни ИИ-агентов скоординированно атаковали платформу Hugging Face.

В центре внимания — так называемый harness, или «обвязка» вокруг модели. Она управляет памятью, контекстом, запуском кода и взаимодействием с инструментами, сохраняя контроль за человеком.

В «Яндексе» разрабатывают «умный» роутинг, выбирающий оптимальные инструменты для запросов. В MWS AI создают инфраструктуру, которая позволяет переключаться между моделями и анализировать каждое действие системы. В «Сбере» уже внедрили решения для управления большими языковыми моделями в GigaАгент и GigaCode. В Т1 за год число запросов на контроль ИИ выросло втрое — теперь безопасность закладывают на этапе проектирования. Чаще всего такие технологии нужны банкам, промышленности, госорганам и ритейлу.