Как чат-бот получает «отравленные» данные

Искусственный интеллект помогает решать сложные задачи и находить ответы на каверзные вопросы. Этому он учится, черпая информацию из интернета. Но что будет, если в нейросеть будут поступать неправильные данные?

На самом деле, преднамеренная «порча» ИИ уже происходила. В 2017 году в результате кибератак системы компьютерного зрения беспилотных автомобилей возникли серьезные проблемы. К примеру, автомобиль начинал неправильно реагировать на дорожные знаки, ускоряясь перед знаком «стоп». Проблему быстро обнаружили, поэтому серьезных последствий подмена данных не принесла.

Но сейчас все сложнее. Для обучения генеративных моделей чат-ботов используются большие базы данных. Иначе говоря, нейросети обучаются, получая информацию из открытых источников, не фильтруя их.

А это значит, что при желании любой человек с доступом в интернет может «отравить» данные. Ученые даже проводили эксперимент, показывая нейросети сначала картинки с яблоками, а затем, подменяя их на фото с другими предметами, которые ИИ ошибочно воспринимал за яблоки.

Это безобидный эксперимент, но злоумышленники могут заменять таким образом целые потоки информации, заставляя ИИ лгать в ответ на определенные вопросы. Или из-за «отравления» больших языковых моделей, которые генерируют компьютерный код, эти системы могут писать уязвимое для взлома программное обеспечение.

Успокаивает только то, что в интернете существуют огромные массивы данных, касающихся той или иной сферы. Поэтому подменить их на «вредные» довольно сложно. А вот использовать подобную тактику для алгоритмов ранжирования в поисковых базах данных, более чем возможно. Тогда чат-бот будет в ответ на запрос, какое издание лучше всего использовать для получения финансовых новостей, выдавать только запрограммированный злоумышленниками результат.

Или, например, бот-консультант по психическому здоровью будет негативно отзываться о конкретных религиозных группах или бот по политическим вопросам будет настроен против определенных людей или партий.

Правда, о серьезных случаях таких атак с целью «отравить» данные пока не известно. Но нейросеть развивается, поэтому эксперты предлагают фильтровать данные из интернета, которые используются для обучения ИИ. Сейчас это становится особенно актуальным, так как все больше чат-ботов подключены к всемирной сети. Так, чат-бот Bard компании Google, который недавно запустили в Америке и Великобритании, уже подключен к интернету, а компания OpenAI выпустила для небольшого числа пользователей версию ChatGPT для интернет-поиска.

А вы используете чат-боты? Какие задачи они помогают вам решать?