Американские компании разрабатывают многоуровневую защиту от опасного поведения систем искусственного интеллекта. Среди мер — выявление подозрительной активности, остановка ИИ-агентов и изоляция их от необходимых ресурсов.
Представители OpenAI заявили, что компания стремится к созданию полностью автономных процедур отключения при серьёзных проблемах. ИИ-наблюдатель должен предупредить сотрудников об угрозе, а после её подтверждения отключить систему в течение 30 минут. Anthropic сочетает автоматизированный мониторинг с участием сотрудников; в последних тестах система выявила 50% угроз.