В фантастической драме-антиутопии «Особое мнение» главный герой, убегающий от копов, приходит к хирургу-подпольщику, чтобы тот пересадил ему глазные яблоки другого человека. Эта операция нужна человеку, чтобы скрыться под чужим именем от «большого брата» — биометрических камер, установленных повсюду в городе. Сегодня обмануть искусственный интеллект проще, чем в фильме, пугающем мрачным будущим в киберпанке. И цели тех, кто делает это, — прозаичнее. Рассказываем, как можно ввести компьютер в заблуждение и что надо делать, чтобы у вас так не случилось.

Обмануть компьютерное зрение

Алгоритмы, способные распознавать объекты, уже представлены во многих сферах нашей жизни. Камеры на автодорогах «видят» номера машин, в метро — отслеживают забытые сумки, на улицах — выхватывают лица прохожих и проверяют их по базе МВД. Есть нейросети, которым не нужны «глаза» в виде камер. Они анализируют графические изображения. Подобные «умные алгоритмы» широко используются для диагностики различных болезней, от сердечно-сосудистых заболеваний до рака. 

Алгоритм, управляющий беспилотным автомобилем, должен «видеть» с помощью камер и по внутренним картам, дорожную разметку, пешеходов, другие машины, мотоциклы, мелких животных, препятствия и так далее. Разберем способы обмана на его примере. 

Чтобы научить автопилота узнавать дорожные знаки, его обучают на большом наборе данных (датасете). Это часто гигабайты изображений и видео. Чтобы беспилотник понимал знак «Стоп», нужно показать ему десятки тысяч таких знаков: чистых, пыльных, грязных, слегка покореженных, наполовину закрытых деревьями... 

Следующая цель — научить адекватно реагировать на то, что он «видит», останавливаться перед нужным знаком или на красный сигнал светофора, как это делает обычный водитель. Нетрудно понять, насколько важно, чтобы алгоритм корректно работал — от этого зависит общая безопасность. И если злоумышленники захотят его обмануть, то у них есть несколько проверенных способов.

Насколько умен будет алгоритм — не перепутает ли он знаки, зависит от качества датасета. Если он недостаточно большой, некорректный — система будет ошибаться. Но даже если с набором данных все хорошо, то при желании и слабой защищенности злоумышленники могут хакнуть его и «покормить» алгоритм ложными данными — adversarial examples. 

В результате беспилотник будет воспринимать знак «Стоп», допустим, как поворот налево и действовать соответственно. Причем, это качество он может проявить не на этапе тестирования, а в непредсказуемый момент. 

Способ второй. Показать компьютеру «ложную картинку», чтобы не узнал… 

Злоумышленники могут вмешаться не только на стадии обучения, но и в период полноценной работы. Например, дать беспилотнику ложную картинку по пути следования. Это не значит, что хакеры пойдут зарисовывать дорожные знаки. Есть возможность удаленно вмешаться в работу системы и наложить на изображение какого-либо объекта цветной шум. В таком случае машина может просто не заметить знак или проинтерпретировать его рандомным образом. 

Здесь исследование, доказывающее, что такая помеха способна исказить восприятие искусственного интеллекта. Ученые из института Карнеги использовали очки с разноцветной оправой, чтобы ввести алгоритм, распознающий лица, в заблуждение. У авторов эксперимента получилось выдавать себя за других людей почти со 100% результатом. 

… или, чтобы не отличил от копии другого человека 

В 2018 году журналист Forbes распечатал на 3D-принтере гипсовую копию своей головы и попытался авторизоваться с ее помощью на смартфонах пяти моделей. Это LG G7 ThinQ, Samsung S9, Samsung Note 8, OnePlus 6 и iPhone X. Четыре попытки были успешными — не поддался только iPhone X. 

Сегодня биометрические системы, распознающие по лицу, используются не только в смартфонах, но и для доступа на какие-либо объекты — от секретных производств до банковских помещений, а также в аккаунты с конфиденциальной информацией. Нетрудно догадаться, что если злоумышленники получат биометрические данные любого авторизованного сотрудника компании, то могут попробовать использовать их для несанкционированного входа. 

Как эти данные окажутся у них? Например, в результате кибератак число утечек персональных данных растет с каждым годом. И хотя разработчики говорят, что создают меры защиты, не позволяющие открыть «умную» дверь по чужой фотографии или слепку отпечатка пальцев, мы знаем, что полностью неуязвимых систем не бывает.

Способ третий. Остаться незамеченным 

Польский дизайнер Ева Новак разработала маску-очки для защиты от технологии распознавания лиц. Аксессуар, правда, скорее привлечет к вам внимание, чем позволит остаться незамеченным в толпе. Зато алгоритм DeepFace, «узнающий» пользователей Facebook, не распознал в нем Новак. 

Сегодня в крупных городах мира, в том числе и в Москве, становится больше биометрических камер, установленных по инициативе властей. Не все в восторге от «большого брата», уже есть разные разработки, позволяющие избежать слежки — от приложений с картами, где нанесены все «умные» камеры и рекомендованы маршруты, до специальной «бликующей» одежды. 

В мире появляется все больше кейсов, которые называют киберпанк-протестами. В июне в Гонконге участники протестов направляли на такие камеры мощные лазеры и «ослепляли» их. По всей видимости, таких примеров будет больше. Но сегодня нас в первую очередь интересует, как не дать злоумышленникам обмануть алгоритмы, чтобы получить доступ к конфиденциальной информации или внести изменения в программы.

Как не допустить утечек информации и обмана ИИ

Многие утечки происходят потому что технические специалисты ставят слабые пароли, забывают закрывать доступ к хранилищам, компрометируют их из-за некорректных настроек при организации совместной работы. Для администраторов таких систем существуют свои правила кибергигиены, к которым относится использование защиты конфиденциальных данных.

Например, у компании IBM есть семейство продуктов для защиты информации — IBM Security Guardium. Решения выполняют весь спектр задач по информационной безопасности. Это поиск и классификация уязвимостей, указание возможных источников угроз, автоматическая блокировка доступа, рекомендации по устранению потенциальных проблем и помощь в шифровке данных. 

Как именно работают эти инструменты

Одно из решений IBM Security Guardium - Data Protection for Databases. Оно следит за тем, кто и как использует данные, и какие операции с ними проводит. Например, сообщает про необычные операции, вроде массового копирования, изменения или удаления файлов. При этом, как только инструмент замечает подозрительное поведение пользователя, он может заблокировать ему доступ к потоку данных.

Некоторые решения по своей функциональности похожи на работу пентестера — специалиста, который ищет уязвимости. Vulnerability Assessment сканирует системы в поисках «слабых мест», находит их и предлагает способы устранения. Например, можно применить инструмент Data Encryption, который позволяет зашифровать важную информацию. Продукты семейства IBM Security Guardium легко объединять друг с другом и таким образом повышать уровень защиты. 

Любые проверки систем с помощью инструментов IBM Security Guardium проводятся как по запросу, так и в автоматическом режиме. По результатам анализа формируются подробные и визуально удобные отчеты. Решения совместимы с любой IT-инфраструктурой и могут быть адаптированы и масштабированы по мере ее развития.

Количество киберугроз продолжит увеличиваться в будущем. Даже если ваша компания еще не сталкивалась с попытками взлома, все может измениться в любой момент. Сегодня такие решения как IBM Security Guardium — это уже не дополнительная страховка, а объективная необходимость для бизнеса.