ИИ «накодил» и молчит
Друг, ребенок или враг ИИ в операционных системах – разбирались ИТ-разработчики за круглым столом
В современную эру цифровых технологий искусственный интеллект (ИИ) становится неотъемлемой частью операционных систем, трансформируя способы взаимодействия пользователей с устройствами и оптимизируя процессы разработки программного обеспечения. Однако внедрение ИИ несет с собой серьезные вызовы, связанные с безопасностью, доверием и подготовкой кадров. На круглом столе «Безопасность операционных систем в контексте искусственного интеллекта» на конференции OS DAY 2025 эксперты обсудили ключевые аспекты влияния ИИ на безопасность операционных систем, проблемы доверия к ИИ, а также перспективы использования мультиагентных систем и изменения в подготовке новых специалистов.
Классические инструменты и искусственный интеллекта в анализе кода
В современной разработке программного обеспечения, особенно в контексте операционных систем, критически важно сочетать традиционные методы анализа кода с возможностями искусственного интеллекта (ИИ). Классические инструменты, такие как статический и динамический анализ, доказали свою эффективность в выявлении ошибок и уязвимостей на ранних этапах разработки. Такую позицию высказал в ходе круглого стола «Безопасность операционных систем в контексте искусственного интеллекта» на конференции OS DAY 2025 вице-президент, директор департамента перспективных технологий «Лаборатория Касперского» Андрей Духвалов.
Искусственный интеллект все еще не может качественно «кодить» на уровне программистов, когда нужно написать хорошую программу, рассказал в ходе круглого стола представитель «НТЦ ИТ РОСА» Михаил Новоселов. Эксперт отметил, что машина совершает ошибки и без управления программистом-человеком не сможет создавать рабочие решения. Поэтому ни о какой замене программистов пока не приходится говорить. Генеративный ИИ, по его мнению, пригоден только для отдельных частных задач, например, связанных с преобразованием данных.
Руководитель экспертизы по сопровождению СУБД департамента развития платформы данных «Газпромбанка» Екатерина Свиридова также видит узкий сегмент для применения ИИ — задачи по переработке кода запросов для переноса бизнес-логики. Также перенос кода с одного языка на другой. Однако и тут нужен ручной контроль.
Специалист отдела технологий защиты вычислительных сетей НТП «Криптософт» Егор Васин назвал серьезной угрозой ошибки в датасетах, которые использовались для обучения нейросетей. По общему мнению участников дискуссии, серьезный риск создают также так называемые галлюцинации ИИ. Они могут проявляться и при создании программного кода.
Руководитель отдела безопасности разработки программного обеспечения «Базальт СПО» Николай Костригин назвал перспективной задачей анализ кода, в том числе для выявления уязвимостей. В «Базальт СПО» применение ИИ для таких задач уже тестируют. Руководитель исследовательской группы по разработке и применению ИИ-инструментов в программной инженерии ИСП РАН Константин Сорокин считает ИИ лишь ассистентом, которых нужно встраивать в инструментарий для специалистов по DevSecOps.
Михаил Новоселов предположил, что ИИ может взять на себя и управление системными ресурсами, будь то процессорное время или оперативная память. В частности, он может взять на себя часть функций планировщика задач. Это позволит сделать гибче управление системой в зависимости от сценария использования системы.
Статический анализ позволяет исследовать исходный код без его выполнения, выявляя потенциальные дефекты и нарушения стиля, а динамический анализ — тестировать поведение программы во время выполнения, обнаруживая ошибки, которые не видны при статическом анализе. Тем не менее, у этих методов есть ограничения. Например, генерация таргетов для фазинга (fuzzing) может быть сложной, а иногда статический анализ не позволяет точно определить суть ошибки. Здесь на помощь приходит искусственный интеллект, выступая в роли ассистента, который способен интегрировать информацию из истории разработки, предыдущих ошибок и прочих релевантных данных, чтобы помочь понять и локализовать проблему.
Совместное использование классических методов и ИИ позволяет улучшить точность анализа. ИИ помогает фильтровать ложные срабатывания классических анализаторов и выявлять скрытые уязвимости. Можно верифицировать сгенерированный код. Поскольку языковые модели обучаются на больших объемах данных из интернета, существует риск генерации уязвимого кода. Инструменты статического и динамического анализа выступают гарантом качества и безопасности такого кода.
Таким образом, комплементарное использование классических методов и искусственного интеллекта создает синергетический эффект, повышая надежность и безопасность программных продуктов.
ИИ: «Ты мне доверяешь?»
Модели ИИ, особенно языковые модели, могут ошибаться или генерировать небезопасный код. Возникает парадокс доверия: люди склонны больше доверять другим людям, даже если они менее квалифицированы, чем ИИ, что тормозит внедрение автоматизации.
Современное поколение Y критично относится к ИИ и предпочитает проверять полученную информацию. Поколения Z и Alpha уже больше полагаются на ИИ, а поколение Beta, рожденное с 2025 года, может воспринимать ИИ как абсолютную истину. Это создает новые риски, связанные с доверием и безопасностью данных, считает начальник отдела продуктовой экспертизы «Открытой мобильной платформы» Сергей Аносов.
Поскольку ИИ может генерировать код, в том числе уязвимый, необходимы новые методы контроля качества и безопасности, включая статический и динамический анализ. С развитием ИИ затраты на подготовку атак снижаются, что увеличивает риск эксплуатации уязвимостей.
Для решения этих проблем важны: разработка методологий контроля и верификации кода, сгенерированного ИИ; создание уровней изоляции и мониторинга ИИ в ядре ОС; повышение культуры безопасности и обучение пользователей критическому отношению к результатам ИИ.
Искусственный интеллект кардинально меняет способы взаимодействия пользователей с операционными системами. Уже сегодня голосовые помощники и ассистенты интегрируются через API, позволяя управлять устройствами голосом и автоматизировать повседневные задачи. В ближайшем будущем ожидается появление более продвинутых ИИ-агентов, способных адаптироваться к поведению пользователя и предугадывать его нужды.
Существует несколько примеров эволюции взаимодействия: «Контекстуальная адаптация», «Персонализация сервисов» и «Единое окно взаимодействия».
Контекстуальная адаптация. Устройства смогут распознавать особенности пользователя, например, стиль набора текста, положение телефона, и автоматически блокироваться при подозрении на несанкционированный доступ.
Персонализация сервисов. ИИ будет предлагать услуги, исходя из текущего местоположения и привычек пользователя, например, автоматически подставлять нужную банковскую карту в магазине.
Единое окно взаимодействия. В перспективе пользователи смогут создавать приложения и сервисы, формулируя задачи в виде простых запросов (промтов), которые ИИ преобразует в работающий код, скомпилированный под нужную архитектуру.
Эти изменения подразумевают, что операционные системы станут не просто платформами для запуска программ, а интеллектуальными помощниками, существенно упрощающими и ускоряющими рабочие процессы.
Перспективы интеграции мультиагентных систем в операционные системы
Мультиагентные системы представляют собой совокупность автономных агентов, которые взаимодействуют друг с другом для достижения общих целей. В контексте операционных систем интеграция таких систем обещает значительные улучшения в пользовательском опыте и автоматизации рутинных задач.
Преимущества мультиагентных систем в совместном управлении задачами. Разные агенты, встроенные в ОС и приложения, смогут эффективно обмениваться контекстом и координировать свои действия, обеспечивая плавный и непрерывный пользовательский опыт. Другой пример, автоматизация рутинных процессов. Например, установка и настройка программ, управление ресурсами и безопасность могут быть делегированы специализированным агентам. Также упрощение интерфейса — за счет мультиагентных систем будут удаляться избыточные элементы управления, делая интерфейс более интуитивным и ориентированным на задачи пользователя.
Основной вызов — создание стандартов взаимодействия и передачи контекста между агентами, что позволит избежать фрагментации и обеспечит прозрачность процессов. Аналогия с мобильными платформами, где App Store централизует управление приложениями, показывает, что подобные решения уже существуют, но требуют адаптации и развития под новые требования.
Оптимизация планировщика процессов ОС с помощью ИИ
Планировщик процессов в ядре операционной системы отвечает за распределение времени процессора между запущенными задачами. Классические алгоритмы, такие как Completely Fair Queuing (CFQ) в Linux, обеспечивают справедливое распределение ресурсов, но часто уступают в отзывчивости, особенно при высокой нагрузке.
Возможности применения ИИ в планировщике включают сбор и анализ телеметрии. Использование большого объема данных о поведении пользователя и работе системы для обучения моделей, способных предсказывать приоритеты задач. Также динамическое переключение алгоритмов, когда ИИ может выбирать наиболее подходящий алгоритм планирования в зависимости от текущих условий, меняя его в режиме реального времени. Возможно и улучшение интерактивности. Предсказание пользовательских действий позволит выделять ресурсы для задач, связанных с непосредственным взаимодействием, снижая задержки.
Однако применение ИИ на этом уровне требует решений по обеспечению максимальной скорости принятия решений, которые не должны уступать по производительности классическим алгоритмам. Это предполагает использование компактных моделей, способных работать без мощных вычислительных ресурсов, выполняя inference в реальном времени.
Применение ИИ как пользователя ОС
Рассмотрение искусственного интеллекта в роли пользователя операционной системы — интересная концепция, предполагающая, что ИИ может напрямую взаимодействовать с интерфейсом через клавиатуру, мышь и экран, обладая правами администратора. Такая модель может быть полезна для автоматизации задач, например, в качестве драйвера для устройств, отсутствующих в системе, или для управления сложными сценариями.
Преимущества состоят в автоматизация сложных действий. ИИ может выполнять повторяющиеся и рутинные операции, освобождая время пользователя. Но есть и риски контроля. Перехват управления устройством ИИ требует надежных механизмов мониторинга и возможности вмешательства человека в любой момент. Идеально, когда ИИ работает фоново, не отвлекая пользователя, помогая ему выполнять задачи быстрее и эффективнее. Для реализации такой модели необходимы продуманные механизмы безопасности, разграничения прав и прозрачности действий ИИ, чтобы избежать ситуаций, когда автоматизация приводит к потере контроля.
Безопасность данных и приватность при использовании ИИ
Использование искусственного интеллекта в операционных системах связано с высокой степенью рисков утечки данных и нарушений приватности. Большинство современных моделей обучаются на обширных, зачастую не полностью контролируемых данных, что порождает вопросы контроле над данными, потенциальных утечках, корпоративных рисках.
Большинство пользователей и компаний не полностью осознают, что данные, отправляемые ИИ, могут сохраняться и использоваться для обучения моделей третьими сторонами. Потенциальные утечки видны на примере с DeepSeek, где данные хранились с дефолтным паролем, показывают уязвимость систем.
Компании, использующие облачные сервисы ИИ, рискуют раскрыть коммерческие тайны через непреднамеренное обучение моделей. Для повышения безопасности развивается практика разворачивания собственных локальных моделей, что минимизирует риски утечек.
Для снижения рисков необходимы: политики обработки и хранения данных, соответствующие требованиям GDPR и других стандартов; технологии анонимизации и шифрования; внедрение систем контроля и аудита взаимодействия ИИ с данными.
Почему ИИ портит джунов
Искусственный интеллект значительно меняет традиционные подходы к обучению программистов, особенно начинающих специалистов (джунов), считает руководитель проектов по внедрению ИИ в компании РЕД СОФТ Егор Смирнов.
Автоматизация рутинных задач с помощью ИИ может привести к сокращение практического опыта. Если ИИ берет на себя простые задачи, джуны могут лишиться возможности учиться на реальных ошибках и решениях. От новичков потребуется умение эффективно взаимодействовать с ИИ, правильно формулировать запросы (промты) и применять инструменты ассистирования. Преподаватели должны адаптировать методики, уделяя внимание пониманию базовых концепций, а не простому копированию решений ИИ. Важным становится формирование ответственности за код, умение критически оценивать результаты, включая сгенерированные ИИ.
Также ИИ открывает новые возможности для ускоренного обучения, предоставляя быстрый доступ к документации, объяснениям и примерам. В дальнейшем собеседования и оценка квалификации будут учитывать способность кандидата работать с ИИ-инструментами, а не только традиционные навыки программирования.
Роль культуры разработки и код-ревью
С внедрением искусственного интеллекта в процесс разработки возрастает важность культуры командной работы и систем контроля качества кода. Генерация кода ИИ-моделями часто приводит к появлению решений, которые требуют дополнительной переработки и проверки.
Команды должны уделять больше внимания ревью, чтобы предотвратить попадание уязвимостей и ошибок в production. Встраивание автоматических проверок с использованием статического анализа и тестирования становится обязательным для обеспечения качества. Важно развивать навыки критического анализа кода и умение работать с ассистентами, используя их как инструмент, а не как замену экспертизе.
Нужно формировать ответственности за безопасность и качество кода, даже если большая часть написана с помощью ИИ. Такая культура позволит не только повысить качество продукта, но и использовать ИИ как эффективного партнера в процессе разработки.
Интеграция искусственного интеллекта в ядро операционной системы требует выработки новых методологий, обеспечивающих безопасность и надежность. Основные подходы включают изоляция компонентов ИИ. Модули ИИ должны быть изолированы от критически важных частей ОС, чтобы сбои или уязвимости не приводили к компрометации всей системы.
Искусственному интеллекту поручаются только те функции, которые не нарушают базовые принципы безопасности. Использование ИИ для управления доступом на уровне сервисов, дополняя традиционные механизмы ролевого управления. Внедрение механизмов, которые могут останавливать или ограничивать действия ИИ в случае подозрений на неправильное поведение. Разработка методов аудита и верификации решений ИИ, чтобы избежать эффекта «черного ящика».
Эти меры позволят сохранить баланс между инновациями и безопасностью, обеспечивая устойчивость операционных систем с ИИ.
Искусственный интеллект становится фундаментальной частью современных операционных систем, но его развитие сопровождается многочисленными вызовами, требующими комплексного подхода.
Иван Измайлов
Фото: оргкомитет OS DAY
