Как нейросети «видят» человека в очках?

Очки для зрения

Если первые нейросети для распознавания лиц можно было легко сбить с толку широкой оправой, то нынешние ИИ легко справляются с задачей «узнавания» пользователя.

Современные протоколы нейросетей узнают людей даже с бликующими линзами, поскольку используют множество точек для распознавания – не только форму бровей, рисунок радужки и форму глаза, но и другие особенности лица.

Бумажные очки

В феврале 2023 года вышла статья о результатах исследования из Университета Карнеги-Меллона, в котором группа ученых пыталась «обмануть» нейросеть Face++, основной код которой «натренирован» распознавать лица свыше 2,5 тысяч знаменитостей.

Для обмана нейросети ученые использовали обычную пластиковую оправу без стекол, на которую была нанесена обычная бумага с печатью, содержащая ритмичный цветной принт. В результате проведенного эксперимента из 143 добровольцев нейросеть не смогла узнать никого из тех, кто носил эти специально подготовленные очки.

Однако при изменении кода сети и «тренировки» ее на 10 добровольцах, программа успешно справлялась с распознаванием большинства испытуемых. Так что такой обман – только вопрос правильного процесса обучения робота и задача для следующего цикла его развития.

Светодиоды в оправе

Еще одним способом «ослепить» нейросеть стали светодиоды в оправе, которые широко использовались во время уличных протестов в США. Фокус прост: яркая подсветка попросту слепила камеры и не давала провести биометрию лица.

Однако фокус проходил не всегда – успех сокрытия личности сильно зависит от ракурса и условий освещенности окружения. Сейчас очки со встроенными свеодиодами эволюционировали и превратились в киберпанковские полушлемы, которые более эффективно затрудняют считывание личности.

Темные очки и маска

Другой эксперимент с очками был проведен авторами из отечественной компании ProductivityInside еще в 2021 году. Автор исследования также брал за основу сеть Face++ и пытался обмануть ее различными методами: закрывал лицо ладонью, маской, а также изображениями других людей. В результате робот «ослеп» только в одном случае: когда автор одновременно надел на себя солнечные очки с широкими линзами и медицинскую маску.

Результаты эксперимента объясняются тем, что натренированный алгоритм перестает видеть «опорные точки», по которым он производит анализ индивидуальных черт лица. Если и глаза, и контур лица, и его черты остаются одновременно закрытыми, робот перестает распознавать объект на изображении как человеческое лицо – и не считывает его вообще.