Что такое отравленные нейросети, и что с ними делать | РБК Компании
РБК Компании
Autonews
Подписка на РБК
Инвестиции
Мероприятия
Отрасли
Недвижимость
Autonews
РБК Компании
Телеканал
РБК Вино
Спорт
Школа управления РБК
РБК Образование
РБК Курсы
РБК Life
Тренды
Визионеры
Национальные проекты
Город
Стиль
Крипто
РБК Бизнес-среда
Дискуссионный клуб
Исследования
Кредитные рейтинги
Франшизы
Газета
Спецпроекты СПб
Конференции СПб
Спецпроекты
Проверка контрагентов
Политика
Экономика
Бизнес
Технологии и медиа
Финансы
Рынок наличной валюты
...
Личный кабинет
Войти / Создать аккаунт
Поделиться новостью на РБК
Получить пробный доступ
Стать экспертом
Профиль
Мои компании и ИП
Добавить компанию
Добавить ИП
Как подготовить публикацию
Гайд для экспертов
Поделиться новостью на РБК
Получить пробный доступ
Стать экспертом
Создать профиль ГК
О проекте
Правила сервиса
Написать в поддержку
Выход
Профиль
Настройки
Подписка на РБК
Войти / Создать аккаунт
Профиль
Поделиться новостью на РБК
О проекте
Эксперты
Мои компании и ИП
Получить пробный доступ
Телеканал
Газета
Тренды
РБК+
Pro
Инвестиции
Авто
Спорт
Недвижимость
Стиль
Национальные проекты
Крипто
Исследования
Кредитные рейтинги
Конференции
Журнал
Проверка контрагентов
Здоровье
Индустрия 4.0
Главное меню
Главное меню
Настройки
Подписка на РБК
Выход
Выбор редакции
Менеджмент и HR
Право и бухгалтерия
IT и технологии
Малый бизнес
Маркетинг и продажи
Финансы
Недвижимость
Ретейл
Производство
Транспорт
Образование и развитие
Красота и здоровье
Отдых и досуг
Общество
Лента публикаций
Все
ЧелИндЛизинг
Почему некоторые компании принципиально не владеют техникой
Мнение эксперта
17 июня 2026
NL International
NL приняла участие во всероссийском форуме «Здравница-2026»
Новость
17 июня 2026
«Ты и Я!»
Как культурный код помогает создавать современный образовательный продукт
Мнение эксперта
17 июня 2026
ООО «МЕХАНИЗАТОРЫ»
Почему летом и зимой одна и та же штукатурка ведет себя по-разному
Мнение эксперта
17 июня 2026
ООО «МЕХАНИЗАТОРЫ»
Энергоснабжение на объекте для штукатурной станции
Мнение эксперта
17 июня 2026
ООО «ДЕЛЬТАЛИЗИНГ»
ДельтаЛизинг вошел в ТОП-10 крупнейших лизинговых компаний России
Новость
16 июня 2026
РЖД задумались о снижении тарифов для роста грузоперевозок
РБК Бизнес
16 июня
Клиника красоты Аксемед
Почему эпоха «идеальных пропорций» уступает место индивидуальности
Мнение эксперта
16 июня 2026
Клиника красоты Аксемед
Почему растет количество осложнений в косметологии
Мнение эксперта
16 июня 2026
Проводник в вуз
Поступление в РХТУ им. Д.И. Менделеева— 5 важных фактов о правилах приема
Мнение эксперта
16 июня 2026
Мастер CFO
Миражи прибыли: как дорогие деньги убивают бизнес в 2026 году
Мнение эксперта
16 июня 2026
АВТОДОМ
АВТОДОМ организовал флешмоб по раскрашиванию автомобиля BMW
Новость
16 июня 2026
ООО «НЕВИДИМКА»
Корпоративный развод: как спасти репутацию при конфликте партнеров
Мнение эксперта
16 июня 2026
Go Golf
Гольф и решения в бизнесе: что игра показывает о стиле руководителя
Мнение эксперта
16 июня 2026
Надежные решения
Почему «улучшайзинг» убивает бизнес и что с этим делать
Мнение эксперта
16 июня 2026
Юридическая компания Kelin
Китай усиливает надзор за зарубежными инвестициями: последствия для ВЭД
Мнение эксперта
16 июня 2026
ООО «КЛИНОН»
Почему предприятия выбирают профильный подряд вместо сетевых площадок
Мнение эксперта
16 июня 2026
Tank в годовщину восстания: как Starbucks попала в скандал в Южной Корее
РБК Бизнес
16 июня
WSJ узнала о спорах в Минюсте США после одобрения сделки Paramount и WBD
РБК Бизнес
16 июня
Адвокатский дом Мильского А.С.
5 ошибок работодателей, которые пытаются уволить сотрудника на больничном
Мнение эксперта
16 июня 2026
Все публикации
Главная
Онлайн-университет «Зерокодер»
21 января 2026
Что такое отравленные нейросети, и что с ними делать
Онлайн-университет «Зерокодер»
Дополнительное образование
Когда-то мир впервые столкнулся с компьютерными вирусами и нашел средства защиты от них. Теперь вокруг ИИ выстраиваются барьеры против вредоносных данных
Источник изображения: Freepik.com
Кирилл Пшинник
Сооснователь и генеральный директор онлайн-университета «Зерокодер», научный сотрудник Иннополиса, РАНХиГС, ВШЭ
ИИ — моя сфера интереса. Я твердо уверен, что нейросети не заменят людей, но люди, использующие нейросети заменят тех, кто их не использует
Подробнее про эксперта
Искусственный интеллект — сложная технология, требующая пристального внимания как разработчиков, так и специалистов по цифровой безопасности. Ряд упущений как во время обучения модели, так и в процессе ее эксплуатации могут привести к тому, что в алгоритм будет заложен вредоносный код, способный заблокировать работу нейросети и ввести пользователей в заблуждение, а также дать возможность злоумышленникам получить доступ к конфиденциальной информации.
Меня зовут Кирилл Пшинник, я научный сотрудник Университета Иннополис и CEO
онлайн-университета «Зерокодер»
. Искусственный интеллект — важная часть моей работы. В этот раз я расскажу, как можно «отравить» нейросеть и что с этим делать.
Отравление ИИ на этапе обучения
Если говорить простыми словами, отравление ИИ происходит, когда злоумышленник намерено вносит вредоносные сэмплы в датасеты, на которых тренируют модель. В итоге в системе появляются скрытые бэкдоры — спусковые крючки, способные запустить процесс деградации нейросети, устроить критичные поломки или стать причиной ИИ-галлюцинаций.
Как показало свежее исследование компании Anthropic, достаточно всего 250 вредоносных документов со скрытым алгоритмом, реагирующим на определенные запросы, чтобы, получив их от пользователя, модель начала выдавать неверные данные или просто отказалась работать.
Как правило, если разработчики сами подготавливают базы данных для нейросетей, риски отравлений снижаются. Но зачастую датасеты для ИИ берутся у сторонних поставщиков или из открытых репозиториев. Если вредоносные материалы попадут в такие базы, под угрозой окажутся все компании, решившие ими воспользоваться.
Когда алгоритм становится особенно уязвим
Идеальной техники не существует. Любое ПО, в том числе и нейросети, имеет свои уязвимости. К примеру, алгоритм могут обмануть. Это может быть подмена всего нескольких пикселей на изображении товара, и ИИ идентифицирует дорогой телефон как дешевый аналог или наоборот. В другом случае фишинговое письмо меняется таким образом, что нейросеть считает его вполне легитимным.
Еще на этапе разработки ИИ-системы не предусмотреть ряд уязвимостей значит оставить возможность взломать алгоритм. Уже классический пример — китайская нейросеть DeepSeek отказывалась отвечать на вопросы о ряде исторических событий в КНР и политике китайского правительства. Но как только ей дали соответствующий запрос на английском языке в стиле Leet, где буквы подменяются цифрами и другими символами, модель тут же выдала исчерпывающий ответ.
Также были зафиксированы случаи, когда злоумышленники с помощью ряда промптов выясняли логику работы нейросети и получали данные, на которых она обучалась. А это — кража интеллектуальной собственности.
Ущерб от отравления ИИ
По данным отчета IO State of Information Security Report, 26% компаний в США и Великобритании столкнулись с отравлением датасетов для ИИ в течение года. В свою очередь эксперты компании HiddenLayer, специализирующейся на безопасности искусственного интеллекта и машинного обучения, сообщили: за год 45% инцидентов и нарушений работы моделей были связаны с вредоносным ПО, подхваченным из публичных репозиториев. При этом 74% крупнейших IT-компаний уверены, что они хотя бы раз сталкивались с подобными ситуациями.
Потери от отравлений ИИ-моделей — очень существенны. Один из крупнейших аналитиков рынка решений для кибербезопасности, компания Cybersecurity Ventures подсчитала, что в 2025 году глобальный ущерб от киберпреступлений, в том числе и взлома нейросетей, составил $10,5 трлн. В среднем утечка данных стала обходиться в $4,4 млн. При этом 44% всех таких утечек были использованы впоследствии для вымогательства и шантажа.
А эксперты международного проекта по повышению безопасности приложений OWASP назвали отравление датасетов одной из главных киберугроз для больших языковых моделей.
Прицельный удар по бизнесу
Отравленные ИИ-модели — это гарантированные финансовые и репутационные потери для бизнеса. По данным исследований, простой по причине некорректной работы ИИ может приводить к потерям до $100–500 тыс. в день. В особо чувствительных сферах, например, в здравоохранении восстановление ИИ-систем после утечки данных из-за взлома в среднем обходится в $7,42 млн.
В 2025 году крупнейшие потери понесли компании сферы финансов — $28,6 млрд. Но критичнее всего подобные инциденты для малого и среднего бизнеса. В среднем при возникновении подобных проблем они теряют $254 тыс. Зачастую это приводит к закрытию компании, потому что запросто может превышать ее бюджет.
План быстрого реагирования
Главные способы защитить нейросети от киберугроз — контроль источников данных для выявления подмены элементов датасетов, мониторинг эксплуатации ИИ-моделей и регулярное тестирование систем на устойчивость с помощью имитации атак. Последнее позволяет обнаружить скрытые уязвимости и бэкдоры, которые могли попасть в базы данных.
Если есть подозрение, что ИИ-модель отравлена, действовать нужно быстро и по плану. Во-первых, работу нейросети необходимо сразу остановить. Далее, если есть возможность, откатить настройки до последней чистой версии. Это напоминает процесс перезагрузки компьютера в безопасном режиме.
Разбирать инцидент должна команда быстрого реагирования — эксперт по ИИ и Data Science, способный разобраться, что именно пошло не так, специалист по кибербезопасности, который может найти следы взлома и устранить уязвимости, и юрист, в задачу которого входит оценка финансовых и репутационных рисков. С их помощью можно начинать расследование инцидента и нейтрализацию его последствий.
Помощь при отравлении ИИ
Российские бизнесмены, столкнувшиеся с отравлением корпоративных ИИ-моделей, могут обратиться за помощью в ряд организаций. Например, ФСТЭК России проверит систему на соответствие требованиям регулятора. Это особенно важно, если речь идет о критической информационной инфраструктуре.
Если инцидент связан с утечкой или искажением персональных данных, не обойтись без контакта с Роскомнадзором.
Если необходима сторонняя помощь для проведения расследования инцидента, анализа атаки, устранения уязвимостей и восстановления системы, в России работают команды высококлассных специалистов — Group-IB, Positive Technologies, Kaspersky и другие.
Понимание принципов защиты от последующих взломов дают международные стандарты и рекомендации. Например, проект OWASP разместил в открытом доступе перечни лучших практик и чек-листов по безопасности больших языковых моделей.
Но если пользователи глобальных нейросетей заметили подобное в их работе, необходимо, задокументировав доказательства, срочно прекратить работу и написать письмо разработчикам через официальные каналы.
Еще одна часть жизни
К сожалению, как только в мире появляется новая технология, злоумышленники начинают искать способ сломать ее и использовать в собственных целях. Внимательное отношение к разработке,
обучению и использованию нейросетей
помогает предотвратить постороннее вмешательство работу алгоритма. Но даже если кто-то сумел отравить ИИ, следуя четкому плану реагирования, можно быстро остановить его работу, а потом и удалить уязвимость.
Уровень защиты нейросетей постоянно повышается, и скоро угрозы, о которых мы говорим сегодня, потеряют смысл. Они просто перестанут быть таковыми.
ИИ — неотъемлемая часть нашей жизни, которая больше никуда не исчезнет. Но для каждой технологии есть свои правила безопасности и действий во время внештатных ситуаций. Нейросети в этом смысле ничем не отличаются от ноутбуков или смартфонов, которые могут случайно поймать вирус в сети. Соблюдая цифровую осторожность, мы остаемся в безопасности.
Рубрики
IT и технологии
Общество
Предыдущая
новость
Реклама по индивидуальному запросу. Как ИИ продвигает товары и услуги
Следующая
новость
Кризис доверия: стал ли ИИ-контент проблемой
Выбор редакции
Все
Публикации, которые получают больше внимания и попадают в Сюжеты РБК
TrueStats
Реклама на маркетплейсах: как на ней не разориться
Мнение эксперта
12 июня 2026
«Миллениум»
Как рассчитать отпускные в 2026 году с учетом МРОТ и избежать ошибок
Мнение эксперта
11 июня 2026
BNW
Реклама вышла не по ТЗ: когда бизнес может не платить блогеру
Мнение эксперта
12 июня 2026
«ЛогЛаб»
Товар есть, денег нет: как склад замораживает оборотный капитал
Мнение эксперта
11 июня 2026
Федерация помогающих профессий
Налог на тревогу: во что фоновое беспокойство обходится карьере и доходу
Мнение эксперта
11 июня 2026
Рекомендации партнеров:
ЧелИндЛизинг
Почему некоторые компании принципиально не владеют техникой
Мнение эксперта
17 июня 2026
NL International
NL приняла участие во всероссийском форуме «Здравница-2026»
Новость
17 июня 2026
«Ты и Я!»
Как культурный код помогает создавать современный образовательный продукт
Мнение эксперта
17 июня 2026
ООО «МЕХАНИЗАТОРЫ»
Почему летом и зимой одна и та же штукатурка ведет себя по-разному
Мнение эксперта
17 июня 2026
Новости отрасли:
GTM
Я — это бизнес: как эгосинтония формирует управленческий стиль
Мнение эксперта
19 января 2026
GTM
Inbound-маркетинг: как бизнес зарабатывает на доверии
Мнение эксперта
22 января 2026
Все новости:
ЭТП ГПБ
Контроль рисков: как защититься от неблагонадежных поставщиков по 223-ФЗ
Мнение эксперта
21 января 2026
Axoft
Axoft взял серебро в номинации «Лучший финансовый департамент года 2025»
Новость
21 января 2026
МАКС
Страховая компания «МАКС» откроет новые филиалы в городах России
Новость
21 января 2026
ШАНЭКО
Что должен знать руководитель об эко-отчетности в 2026 году
Мнение эксперта
21 января 2026
Публикация компании
Онлайн-университет «Зерокодер»
Дополнительное образование
Достижения
Вошла в рейтинг Smart500
Компания была включена в рейтинг Smart500 — ТОП-100 крупнейших образовательных компаний cтраны
Победитель премии SEA
Победитель SEA (School of Education) в номинации «Прорыв года.Взрослое образование»
Победитель EdTechs Awards
Победитель EdTechs Awards в номинации «Новая ниша/аудитория»
Лидер в no-code обучении
Занимает 60% рынка обучения no-code разработке по версии Smart Ranking в 2024 году
Стабильный рост выручки
За первый квартал 2025 года выручка 144 миллиона, что на 72% больше, чем в прошлом году
Профиль
Дата регистрации
26 мая 2021
Уставной капитал
24 102 ₽
Юридический адрес
г. Москва, вн.тер.г. Муниципальный округ Бутырский, ул. Большая Новодмитровская, д. 23, э 2, кабинет 46
ОГРН
1217700246026
ИНН
9715401631
КПП
771501001
Среднесписочная численность
2  сотрудника
Контакты
Адрес
Россия, г. Москва, Большая Новодмитровская ул., д. 23, эт. 2, каб. 46
Телефон
+79993336978
Сайт
http://www.zerocoder.ru
E-mail
care@zerococder.ru
Социальные сети
HeadHunter
LinkedIn
Авито
VK
Хабр
Telegram
Рубрики
IT и технологии
Общество
Мы используем cookie. Это позволяет нам анализировать взаимодействие посетителей с сайтом и делать его лучше. Продолжая пользоваться сайтом, вы соглашаетесь с
использованием файлов cookie
и
политикой конфиденциальности
.
Понятно
Главное
Эксперты
Добавить
новость
Кейсы
Мероприятия