Ранние игровые программы показали, что машина может быстро перебирать возможные ходы в ограниченной среде. Позднее похожие методы и статистическое обучение стали применять в практических задачах:
Такие системы особенно эффективны, когда задача узкая, повторяющаяся и поддаётся измерению. Они быстро обрабатывают большие массивы случаев и дают достаточно стабильные результаты. Правила также нередко проще проверять, чем сложные модели: логика их решений задана явно.
Традиционный ИИ не обязательно понимает, почему произошло то или иное событие. Модель может обнаружить статистическую связь, не доказывая причинность. Если её обучали на предвзятых исторических данных, она способна воспроизвести или усилить эту предвзятость.
Правила бывают хрупкими за пределами условий, для которых их создавали, а сложные прогнозные модели — трудными для объяснения. Кроме того, качество может снижаться при изменении реального мира — это обычно называют дрейфом данных.
Поэтому в таких сферах, как кредитование, найм, страхование, правоприменение и медицина, нужны проверки качества данных, тестирование на дискриминацию, понятные объяснения, участие человека, мониторинг и возможность обжаловать решение.
Генеративный ИИ изучает закономерности в больших массивах текста, изображений, аудио, видео или программного кода и использует их для создания новых результатов. Большие языковые модели генерируют текст последовательно, а мультимодальные системы могут работать сразу с несколькими форматами.
Это изменило взаимодействие человека с технологией. Вместо выбора из фиксированного набора команд пользователь может описать цель обычным языком и попросить систему подготовить, преобразовать или объяснить материал.
Главные преимущества — скорость, снижение затрат на подготовку черновиков, естественный интерфейс и возможность быстро получать несколько персонализированных вариантов. Но правдоподобный текст ещё не означает надёжное экспертное суждение.
Галлюцинации и излишняя уверенность. Большие языковые модели могут выдавать выдуманную, неточную, предвзятую или чрезмерно упрощённую информацию уверенным тоном. Исследования по проверке и обоснованию ответов указывают на галлюцинации, вредоносный контент, манипуляции, нарушение авторских прав, проблемы конфиденциальности и безопасности.
Обучение и академическая добросовестность. Крупный эксперимент в школах показал: ИИ-репетитор улучшал результаты, пока был доступен, но учащиеся, полагавшиеся на него без достаточных ограничений, могли хуже справляться после отключения инструмента. Это указывает на возможное снижение самостоятельного усвоения навыков. Подсказки, разработанные учителем, оказались полезнее, чем простая выдача готового ответа. Генеративные инструменты также упрощают плагиат и затрудняют проверку того, действительно ли ученик освоил материал.
Авторские права и происхождение контента. Вопросы о происхождении обучающих данных, имитации стиля и результатах, воспроизводящих защищённые материалы, остаются предметом споров. Образовательные рекомендации относят нарушение интеллектуальных прав к существенным рискам наряду с неточным, предвзятым и небезопасным контентом.
Вредоносный и манипулятивный контент. Генеративные системы могут создавать дезинформацию, материалы для травли, сексуальный или жестокий контент и опасные инструкции. Поэтому нужны тестирование, защитные механизмы, ведение журналов и постоянный мониторинг — нельзя рассчитывать, что модель всегда будет вести себя так, как задумано.
Безопасность детей и благополучие пользователей. Исследования рисков генеративного ИИ для несовершеннолетних выделяют проблемы психического здоровья, поведения и социального развития, токсичности, конфиденциальности, злоупотреблений и эксплуатации. Особенно опасной ситуация становится, когда чат-бот воспринимают как замену квалифицированной помощи человека.
Конфиденциальность. В запросах могут оказаться персональные данные, коммерческие тайны, клиентские материалы или сведения, защищённые юридической тайной. Организациям нужны чёткие правила, определяющие, какие данные разрешено передавать конкретным сервисам. Непроверенные инструменты не следует использовать для чувствительной информации.
Разумный минимум — считать ответ модели черновиком, а не доказательством. Важные фактические утверждения нужно проверять по авторитетным источникам. Для медицинских, юридических, финансовых, кадровых и критически важных для безопасности решений следует предусматривать обязательную проверку человеком.
Полезны поиск по одобренным источникам с указанием ссылок, тестирование методом «красной команды», фильтры контента, возрастные ограничения, журналы аудита, уведомление пользователя об использовании ИИ, а также политики работы с данными, учебными заданиями, происхождением контента и авторскими правами. Государственные рекомендации также обращают внимание на неточные и предвзятые ответы, утечки данных, нарушение интеллектуальных прав и проблемы академической добросовестности.
Агентный ИИ добавляет к модели слой действий. Агент способен понять цель, разбить её на этапы, обратиться к браузеру, репозиторию кода, базе данных или почте, проверить промежуточный результат и продолжить работу — в пределах выданных ему полномочий.
Именно это отличает агента от обычного чат-бота, даже если оба используют большую языковую модель. Чат-бот может составить письмо, а агент — найти информацию, подготовить письмо, отправить его и обновить другую систему. Помощник программиста может объяснить ошибку, тогда как агент способен изучить кодовую базу, изменить файлы, запустить тесты и подготовить изменения к проверке.
К заметным примерам относятся агент для разработки Google Jules, инструмент автоматизации рекрутинга LinkedIn Hiring Assistant и персональный агентный проект OpenClaw. В материалах проекта OpenClaw описывается как персональный помощник с открытым исходным кодом, работающий на устройствах пользователя и подключающийся к каналам связи и инструментам. Его реальные возможности зависят от включённых интеграций и разрешений.
Агентные системы могут:
Это потенциально делает сложные процессы доступнее для небольших организаций и отдельных пользователей. Но главный вопрос меняется: вместо «Насколько точен ответ?» нужно спрашивать «Что системе разрешено делать и как проверить её действия?»
Генеративная модель может ошибиться в ответе. Агент способен превратить ошибочный вывод, вредоносную инструкцию или скомпрометированный инструмент во внешнее действие.
Например, агент с доступом к финансам может совершить несанкционированный платёж, покупку, перевод или отмену операции. Агент с доступом к электронной почте, браузеру или облачному хранилищу может попасть под влияние вредоносной веб-страницы или документа, раскрыть учётные данные или отправить конфиденциальные файлы.
Избыточные разрешения, слабая идентификация и плохо разделённые обязанности способны превратить небольшую ошибку модели в серьёзный инцидент. Определить ответственность также сложнее, когда результат возникает из взаимодействия модели, инструкций, данных, инструментов и других агентов. Поэтому оператору необходимо видеть не только итог, но и предлагаемое действие, его обоснование и использованные разрешения.
Для всех трёх этапов развития ИИ действуют общие принципы: назначить ответственного владельца, ограничить систему определённой целью, защищать данные, тестировать её до запуска, отслеживать работу, иметь план реагирования на инциденты и обеспечивать содержательный человеческий контроль или возможность отмены решения.
Агентам, которые взаимодействуют с внешними системами, нужны дополнительные меры:
Сингапур 22 января 2026 года представил Model AI Governance Framework for Agentic AI — рекомендации для организаций, внедряющих такие системы, а не отдельный закон об искусственном интеллекте. В центре подхода находятся ответственность человека и организации, а также управление рисками и меры контроля, соответствующие уровню автономности агента.
Для финансового сектора документ Monetary Authority of Singapore под названием SAFR описывает управление на этапе выполнения операции. Структурированная запись должна фиксировать, что агент намерен сделать, почему он намерен это сделать и какие доказательства лежат в основе предлагаемого действия.
Эволюция ИИ — это не переход от «старого» искусственного интеллекта к «новому». Правила и прогнозные модели по-прежнему остаются лучшим выбором для многих ограниченных задач. Генеративный ИИ добавляет гибкое создание контента и взаимодействие на естественном языке. Агентный ИИ делает следующий шаг — позволяет системе добиваться цели с помощью инструментов и внешних действий.
По мере роста возможностей расширяются и требования к управлению. Прогнозы нужно проверять на точность, предвзятость и дрейф данных. Генерацию — на достоверность, безопасность, конфиденциальность и происхождение. Действия требуют всех этих мер, а также контроля разрешений, подтверждений, ответственности и планов восстановления. Поэтому наиболее надёжные ИИ-продукты — это не просто сильные модели, а сочетание возможностей модели с продуманной архитектурой системы и человеческим надзором.