Это создаёт серьёзные этические вопросы в кредитовании, найме, страховании и здравоохранении. Исторические данные могут воспроизводить социальные предубеждения, а непрозрачные системы скоринга затрудняют обжалование решений. Поэтому ответственное управление должно включать чётко определённую цель, проверку точности и справедливости для разных групп, защиту персональных данных, объяснение решений и участие человека в ситуациях с существенными последствиями. Проблемы предвзятости, дезинформации и злоупотреблений относятся ко всей политике в сфере ИИ, а не только к чат-ботам.
Генеративный ИИ меняет сам формат взаимодействия с системой: вместо вопроса «К какой категории это относится?» пользователь говорит: «Создай или преобразуй что-то по этой инструкции». Большие модели могут генерировать правдоподобные тексты, изображения, аудио и программный код.
Так появились инструменты для подготовки ответов службы поддержки, перевода, обучения, краткого изложения юридических материалов, помощи в разработке программ и творческой работы. Генеративные системы способны сократить время и стоимость создания первого черновика, предоставить разговорный интерфейс к сложной информации и дополнить работу специалиста, а не просто автоматизировать фиксированное решение.
Генеративная модель может уверенно сообщить выдуманный или неточный факт, источник, юридическую норму, медицинское утверждение или фрагмент кода. NIST использует для этого термин «конфабуляция» — «создание уверенно сформулированного, но ошибочного или ложного контента». В повседневной речи это обычно называют галлюцинацией.
Поэтому там, где важна фактическая точность, необходима проверка. Среди полезных мер — получение сведений из надёжных материалов, ссылки на источники, структурированная оценка качества, тестирование в конкретной предметной области и проверка квалифицированным человеком. Гладко и убедительно сформулированный ответ следует воспринимать как черновик или прогноз, а не как доказательство истинности утверждения.
Генеративный ИИ также ставит вопросы о защите данных, интеллектуальной собственности, дезинформации и происхождении результатов. В рекомендациях Европейской комиссии по использованию ИИ в исследованиях эти риски подчёркиваются отдельно: человек сохраняет ответственность за опубликованную работу, даже если при её подготовке помогала модель.
В образовании возникает похожая проблема. Если учащиеся регулярно передают ИИ написание текстов, рассуждения и решение задач, они могут получать аккуратный результат, реже тренируя навыки, которые за ним стоят. Рекомендации для образовательных учреждений относят к основным рискам неточный или предвзятый контент, вредные материалы, утечки данных, нарушения интеллектуальных прав и проблемы академической добросовестности.
Ошибки особенно опасны в чувствительных разговорах. При недостаточных защитных механизмах генеративная система может создать материалы с ненавистью, насилием, сексуальным содержанием или манипулятивными советами, а также неправильно отреагировать на сообщение о намерении причинить себе вред. NIST относит к рискам опасные и насильственные рекомендации, нарушение приватности и вредную предвзятость. В ситуациях, связанных с угрозой жизни или здоровью, ИИ не должен заменять квалифицированную помощь и человеческий контроль. Системам необходимы корректный отказ от опасных запросов, эскалация к специалисту, защита конфиденциальности и понятный путь к немедленной человеческой поддержке.
Агентный ИИ добавляет к модели цикл действий. Вместо однократного ответа на запрос агент может понять цель, разбить её на этапы, вызвать браузер, среду выполнения кода, почтовый сервис или API, изучить результат, пересмотреть план и продолжить работу.
Стэнфорд описывает агентный ИИ как автономные или полуавтономные системы, которые интерпретируют цели, выстраивают последовательность действий, используют инструменты, реагируют на обратную связь и адаптируются для выполнения задачи в заданных пределах.
Разница между этапами выглядит так:
Пример из разработки ПО — Jules от Google. Компания описывает его как асинхронного агента-программиста, который подключается к репозиториям, клонирует кодовую базу в виртуальную машину в облаке и выполняет задачи, чтобы разработчик позже их проверил. Другой подход представляют открытые инструменты с поддержкой вызова программ, а продукты для рекрутинга, например Hiring Assistant от LinkedIn, показывают, как агентные рабочие процессы могут применяться в поиске и найме сотрудников.
Агенты привлекательны тем, что способны выполнять многоэтапную работу, а не только подсказывать следующий шаг. Агент для разработки может найти ошибку, изменить несколько файлов, запустить тесты и подготовить pull request — запрос на внесение изменений в репозиторий. Агент рабочего процесса может собрать сведения, структурировать их и подготовить сообщения для последующего согласования.
Способность строить план не равна надёжному пониманию ситуации. Агент может неправильно интерпретировать веб-страницу, выбрать неудачную стратегию, выполнить вредоносную инструкцию или превратить небольшую ошибку в цепочку проблем на нескольких этапах. Согласно Stanford AI Index 2026, результативность агентов в OSWorld — бенчмарке реальных компьютерных задач — выросла с 12% примерно до 66%, однако системы по-прежнему не справляются примерно с каждой третьей попыткой.
Ошибка чат-бота может остаться проблемой коммуникации. Но агент, у которого есть учётные данные, доступ к браузеру или право проводить платежи, способен превратить такую же ошибку во внешнее действие. Поэтому управление агентным ИИ должно учитывать не только качество ответов, но и разрешения, обратимость операций и ответственность за результат.
Наиболее серьёзные угрозы возникают там, где агент может повлиять на системы, деньги, данные или других людей:
Меры контроля должны соответствовать возможностям системы и последствиям возможной ошибки.
Для прогнозного ИИ организациям следует определить назначение системы, измерять точность и справедливость результатов, защищать персональные данные и обеспечивать возможность объяснить или оспорить решения с серьёзными последствиями.
Для генеративного ИИ важно проверять существенные утверждения, тестировать систему на галлюцинации и опасные ответы, контролировать работу с конфиденциальными данными, разбираться с происхождением контента и вопросами интеллектуальной собственности. Юридические, медицинские, финансовые решения и решения, связанные с безопасностью человека, должны оставаться под ответственностью квалифицированных специалистов.
Для AI-агентов необходимы дополнительные технические и организационные меры:
Модельная рамочная система управления агентным ИИ, опубликованная сингапурским Управлением по развитию инфокоммуникаций и СМИ (IMDA), предлагает именно такой риск-ориентированный подход. Она предназначена для организаций, которые создают агентов самостоятельно или внедряют сторонние решения. Главный вывод документа — автономность нужно наращивать постепенно: начать с помощи в режиме «только чтение», затем разрешать действия с низким риском, а необратимые или потенциально значимые операции оставлять за явным одобрением человека.
Эволюцию искусственного интеллекта лучше понимать не как три полностью отдельные эпохи, а как расширяющийся стек возможностей. Традиционные системы прогнозируют и классифицируют. Генеративные — создают и преобразуют. Агентные добавляют планирование, использование инструментов и выполнение действий.
Управление должно развиваться с той же скоростью. Точность и справедливость по-прежнему необходимы, но их уже недостаточно. Генеративным системам требуются проверка фактов, контроль происхождения контента и защита от опасных результатов. Агентам дополнительно нужны границы разрешений, обязательные точки согласования, мониторинг безопасности и чёткое распределение ответственности.
Чем больше AI-система умеет делать самостоятельно, тем тщательнее организации должны решать, что именно ей разрешено делать.