Обучение пользователей в AI Governance: что важно знать каждому сотруднику

Как превратить рядовых сотрудников в осознанных пользователей ИИ-систем? Наш эксперт рассказал, какие компетенции необходимо формировать у персонала, как структурировать программу обучения и почему это не разовый курс, а часть стратегии ответственного и безопасного внедрения искусственного интеллекта.

Николай Павлов, архитектор безопасности, отказоустойчивости ИИ-систем (MLSecOps) и стратегического управления ИИ-системами (AI Governance), Академия АйТи (ГК Softline)

AI Governance (Artificial Intelligence Governance, AIG) — это новейшая стратегическая система управления и развития ИИ-систем, обеспечивающая ответственное, безопасное внедрение искусственного интеллекта на всех этапах его жизненного цикла с учетом внутренних стандартов компании, общественной этики и внешнего нормативно-правового регулирования. В 2026 году AIG продолжает стремительно развиваться, расти и стало отдельным, инновационным направлением сферы ИИ.

Периметр данного направления включает нормативно-правовые рамки сферы ИИ, этические принципы, управление рисками, контроль качества данных, алгоритмический аудит, механизмы прозрачности и подотчётности, мониторинг инцидентов, ускорение процессов по внедрению ИИ в работу компании, ежедневный поиск форматов этого внедрения, изучение передовых практик AIG, а также кросс-функциональные процессы, синхронизирующие технологические возможности ИИ с бизнес-целями. Однако даже безупречно выстроенная политика остаётся декларацией без людей, которые ежедневно применяют ИИ-инструменты, поэтому центральным операционным элементом системы AIG становится обучение персонала. 

Обучение пользователей в рамках развития AI Governance — это целенаправленное формирование культуры ответственного, этичного и безопасного использования искусственного интеллекта. Ключевая задача в том, чтобы каждый сотрудник, работающий с ИИ-системами, понимал не только как быстро и результативно с ними работать, но и какие риски они несут, какой возможен ущерб, какие уже были инциденты, как пострадает репутация компании в случае таких инцидентов. А главное — как действовать корректно,  чтобы не навредить и при этом выполнить задачу.

Обучение пользователей в рамках развития AI Governance — это не очередной курс по промпт-инжинирингу или основам машинного обучения. Это целенаправленное формирование культуры ответственного и безопасного использования искусственного интеллекта.

У внутрикорпоративной обучающей программы по AI Governance могут быть следующие разделы:

Блок 1. Базовая ИИ-грамотность

Сотрудники должны понимать фундаментальные принципы работы ИИ и его ограничения, особенно на примерах из практики Вашей компании. Здесь важно сформировать не слепое доверие ИИ-системам, а критическое отношение к результатам их работы:

• Знать о феномене «галлюцинаций» моделей и уметь их распознавать.

• Обязательно проверять и перепроверять ключевые выводы, особенно если они существенно влияют на бизнес-решения.

• Помнить, что ответственность за принятое решение всегда остаётся на сотруднике, а не на модели.

И, безусловно, в случае выявления ошибок в работе ИИ-систем (или даже подозрения на ошибки), сотрудники должны четко знать, куда и к кому им обратиться. Следует также установить жесткий регламент такого реагирования (например, в течение часа в рабочее время, либо даже в любое время).

Блок 2. Безопасность данных, используемых при работе ИИ-систем

Пожалуй, это самый важный блок обучения. Сотрудники должны чётко знать:

• Какие типы данных являются конфиденциальными: персональные данные, коммерческая тайна, технологические решения, врачебная тайна и другие.

• Принципы классификации данных и алгоритм действий, если чувствительная информация случайно все же попала в запрос к ИИ.

• Как маскировать чувствительную информацию перед отправкой в модель, если это необходимо для решения задачи.

• Особенности работы с внутренними и внешними ИИ-инструментами с точки зрения политик безопасности.

Здесь крайне важным является реализация инициативы по внедрению шаблонов промптов, когда компания устанавливает для сотрудников определенные строгие паттерны работы с ИИ-системами, и в дальнейшем выборочно проверяет соблюдение установленных регламентов. Одновременно, компания должна гарантировать максимально быстрое согласование и внедрение нового паттерна работы с ИИ-системой, если он безопасен, этичен и необходим для целей бизнеса.

Блок 3. Этика и предвзятость

Пользователи должны уметь замечать признаки дискриминации (или, иначе, “bias”, “смещения”) в результатах работы ИИ-систем, например:

• При подборе кандидатов — возможна дискриминация по полу, возрасту, региону, наличию/отсутствию фотографии.

• При оценке кредитоспособности — необоснованные отказы определенным группам клиентов (например, если при обучении модели по данным группам было относительно мало данных, и это не проверили, не выявили своевременно).

• При генерации контента — стереотипы или некорректные выходы (такое происходит в том числе из-за некорректных, размытых формулировок).

Опять же здесь важно не только распознавать такие случаи, но и знать, куда и как их эскалировать для дальнейшего разбора.

Блок 4. Промпт- и контекст-инжиниринг: качество запроса = качество ответа

Даже рядовому пользователю полезно освоить базовые принципы работы с ИИ-системами и техники эффективного промпт-инжиниринга, контекст-инжиниринга:

• Как чётко формулировать задачу и предоставлять релевантный контекст.

• Как разбивать сложные запросы на отдельные шаги.

• Как валидировать ответы модели на полноту и корректность.

• Как очищать от лишней информации избыточный контекст, накопившийся в диалоговом окне для повышения эффективности работы ИИ-системы.

Это повышает эффективность работы и снижает риск получения некорректного или опасного результата из-за двусмысленной формулировки.

Блок 5. Распознавание манипуляций и угроз

Наконец, сотрудники должны быть настороже и уметь идентифицировать:

• Промпт-инъекции и джейлбрейки, то есть попытки «взломать» модель через подающийся текст (промпты) для получения запрещённой информации.

• Социальную инженерию с использованием дипфейков или сгенерированного контента.

• Фишинговые письма, созданные с помощью ИИ.

Для этого следует использовать базовое правило цифровой гигиены - выборочно проверять источники, на которые ссылается модель, и немедленно сообщать в службу безопасности о любом подозрительном поведении ИИ-систем, например, когда информация в ответе модели не полностью соответствует первоисточнику или даже противоречит ему.

Дифференцированный подход: не всем нужно учить всё в одинаковом объёме

Базовые знания AI Governance, безусловно, необходимы всем сотрудником компании, прямо или косвенно использующих в работе ИИ-системы. В то же время есть категории сотрудников, которым эти знания особенно необходимы:

Сфера ИИ меняется стремительно, и эти изменения только ускоряются (экспоненциально, а то и гиперэскпоненциально).

Еженедельно, а то и ежедневно появляются новые модели, поступает информация о новых уязвимостях, возникают новые регуляторные требования. Обучение пользователей в AI Governance не может быть разовым мероприятием, это направление инновационно и перспективно.

Специалисты по AI Governance своими действиями приносят высокий экономический эффект, и в России, как и во всем остальном мире, спрос на них будет только расти.

Николай Павлов
Архитектор MLSecOps и AI Governance 
Академия АйТи FabricaONE.AI (акционер - ГК Softline)
Telegram
VK