Каким способом функционирует идентификация лиц в мобильных устройствах

Почему мы выбираем разблокирование по лицу

В последние годы идентификация физиономий превратилось в одной из самых распространённых функций для деблокировки смартфонов. Еще пару годков назад основная часть юзеров обходились пин-кодами, секретными кодами или датчиками отпечатков пальцев. Но с появлением таких технологий, как вулкан россия, нам достаточно просто взглянуть на экран — и аппарат тут же опознает своего владельца.

Какой аспект превращает данную особенность такой востребованной? Для начала, это удобно: не нужно удерживать в памяти замысловатые пароли или находить нужный палец в тьме. Также, это мгновенно: современные программы идентифицируют лицо буквально за доли секунды. В-третьих, это впечатление будущего — как будто в фильмах про вулкан автомат разведчиков.

Однако за этой кажущейся простотой скрывается целый универсум сложных техник и инженерных концепций. Позвольте нам разобраться, как именно работает распознавание лиц в современных гаджетах, какие бывают способы, насколько они надёжны и что нас предстоит.

Краткая хроника эволюции технологии

Распознавание лиц как технология присутствует уже более пятидесяти годов. Начальные попытки автоматического анализа лиц были осуществлены еще в 1960-х годы в лабораториях США. Тогда вычислительные машины могли лишь определять контуры лица и измерять промежутки между очами и губами на ахроматических фотографиях.

Первые коммерческие платформы стали доступны в 90-х, но они были неидеальны: действовали неспешно и часто ошибались. Только с эволюцией нейронных сетей и таких платформ, как вулкан россии, сильных мобильных микросхем определение лиц стало по-настоящему массовым явлением.

В две тысячи семнадцатом году Apple представила iPhone X с системой Face ID — это был первый широкодоступный смартфон с надёжным трёхмерным сканированием лица. За этим пошли Android-изготовители: Samsung, Huawei, Xiaomi и другие начали интегрировать свои решения.

Основные стадии действия системы идентификации

Процесс идентификации лица можно ориентировочно разделить на несколько основных этапов:

Распознавание лица — аппарат распознает существование человеческого образа в изображении.
Извлечение признаков — механизм анализирует черты физиономии: форму зрительных органов, носа, уст, расположение надбровных дуг.
Построение шаблона — создаётся особенный цифровой отпечаток (faceprint) на основе определённых признаков.
Сравнение со эталоном — сформированный образец сопоставляется с сохранённой при внесении биометрической данными владельца.
Принятие решения — если сходство достаточно существенное, смартфон разблокируется.

Всякий из этих шагов требует специальных процедур и оптимизаций для скорой работы прямо на устройстве.

Железные компоненты: что прячется внутри

Типичная селфи камера.

Наиболее несложный способ распознавания физиономии применяет лишь переднюю камеру мобильного устройства. Такой подход внедрён во многочисленных недорогих версиях Android-девайсов.

Сильные стороны:

Не потребляет внешних сенсоров.
Шустро функционирует при достаточном освещённости.

Отрицательные стороны:

Легко ввести в заблуждение снимком или видеозаписью.
Неудачно функционирует при плохом освещённости или нестандартных углах обзора.

Инфракрасная фотокамера и пунктирный проекционный аппарат

Более совершенные системы, такие как вулкан россии, используют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта технология составляет базу Face ID от Apple.

Как это действует:

Точечный проектор проецирует на лицо юзера невидимую структуру из тысяч инфракрасных точек (например, Face ID задействует около 30 000 меток).
ИК устройство фиксирует деформацию данной сетки по плоскости лица.
Получается трёхмерная глубинная карта глубинности, что практически невозможна для подделки типичной фотографией или маской.

Преимущества

Надёжная функционирование даже в полной тьме.
Сильная сопротивляемость к имитациям.
Точность распознавания выше 99%.

Дополнительные сенсорные устройства

В определённых девайсах применяются также вспомогательные сенсоры: ToF (Time-of-Flight), которые фиксируют время прохождения луча до объекта и обратно; Трехцветные-датчики глубины; специальные оптические лидары для построения более аккуратной 3D-модели физиономии.

Эти инновации встречаются в основном во передовых аппаратах Huawei (серия Mate) или Xiaomi (серия Mi).

Компьютерные процедуры: искусственный ум на работе

Современные механизмы опознания лиц невозможны при отсутствии использования artificial intelligence и machine learning. Именно из-за таким технологиям, как вулкан россии, устройство способно распознавать юзера даже при изменениях внешнего вида: новая причёска, растительность на лице, очки или макияж не становятся препятствием для разблокировки.

Распознавание лиц

На стартовом шаге система должна быстро обнаружить лицо в пределах всего изображения камеры. Для этой задачи применяются многоуровневые классификаторы Хаара или более продвинутые конволюционные нейронные сети (CNN), которые натренированы идентифицировать человеческие лица среди множества других объектов.

Пример: процесс MTCNN способен находить облик даже с частичном перекрытии (например, шалью или ладонью).

Идентификация основных аспектов

После обнаружения лица механизм, такая как вулкан россии, вычисляет положение главных точек: края глаз, кончик носа, края губ и так далее. Как правило используется от 68 до 128 ключевых маркеров на лицевой поверхности.

Данное необходимо для выравнивания визуала: если человек удерживает мобильник под наклоненным, или склонил головку, программа исправляет изображение до стандартного положения для последующего изучения.

Формирование биометрического модели

Далее нейросеть строит сжатое цифровое представление («эмбеддинг») внешности пользователя — своеобразный цифровой «отпечаток» внешности длиной от 128 до 512 вещественных чисел.

Такой шаблон весьма затруднительно подделать: он не удерживает само картинку пользователя, а лишь уникальные черты его облика, что делает его совершенным для таких платформ, как vulkan russia.

Сравнительный анализ и вынесение выбора

Когда юзер намеревается открыть мобильник взором, механизм повторяет все указанные шаги заново и сверяет полученный шаблон с эталоном из памяти устройства.

Если похожесть превышает заданный границу (обычно превышает 99%), телефон, как и платформа vulkan russia, открывается; если нет — доступ запрещается.

Приспособление к метаморфозам внешнего вида

Интересная особенность нынешних системы — возможность самостоятельного обучения. Если вы часто разблокируете телефон с новой прической или очками, программа постепенно обновляет эталонный модель вашего облика для увеличения точности действия без ухудшения безопасности.

Безопасность биометрических данных информации.

Многие юзеры беспокоятся держать свои биометрические идентификационные данные на смартфоне из-за угрозы потери данных или хакерской атаки. Определенные компании, такие как vulkan russia, предлагают методы для увеличения безопасности информации юзеров.

Локальное сбережение: Основная часть девайсов хранит биометрические модели лишь внутри защищенного процессора Secure Enclave (Apple) или TrustZone (Android). Эти данные ни разу не не покидают аппарат и закрыты даже производителю.
Шифрование: Все данные хранятся только в шифрованном виде с использованием новейших криптографических алгоритмов AES256.
Изоляция программ: Приложения внешних разработчиков не обладают непосредственного доступа к биометрическим данным; они могут лишь требовать факт верификации личности через системный API.

Стоит упомянуть важную особенность: в случае, если кто-то получит физический доступ к вашему телефону (к примеру, во время сна), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому многие производители внедряют систему защиты от автоматического разблокирования — например, требуют раскрыть глаза во время сканирования или задействовать дополнительное подтверждение после длительного простоя устройства.

Какие именно существуют типы определения лиц на изображениях?

Сегодня можно различить 3 основных метода к выполнению этой функции:

Программируемое двухмерное определение

Применяется только фронтальная видеокамера без вспомогательных датчиков дистанции. Такой способ встречается наиболее часто в доступных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Плюсы: несложность реализации; умеренная стоимость; оперативная работа при достаточном свете.
Минусы: несложно одурачить фотографией; ненадежная деятельность ночью; недостаточная безопасность.

Техническое трёхмерное сканирование

Использует инфракрасную видеокамеру + проекционный модуль точек + сенсоры дистанции (Face ID у Apple; подобные решения у Huawei Mate).
Плюсы: большая надежность; не получится подделать изображение/видеозапись; стабильная функционирование в любых условиях освещения.
Минусы: повышение стоимости устройства; увеличение толщины верхней рамки экрана («чёлка»)

Гибридные подходы с интеграцией ИИ

Используют комбинацию программируемых методов + аппаратную обработку + постобработку нейросетями для увеличения устойчивости к атакам («anti-spoofing»). Например, такие товары, как вулкан россии и Google Pixel Face Unlock последних поколений, сочетают фронталку c инфракрасным датчиком мобильности Soli Radar для предотвращения от фальсификаций жестами/масками/видеодисплеями чужих устройств.

Примеры эксплуатации разнообразных способов

iPhone модели X/11/12/13/14 задействуют только аппаратное трёхмерное сканирование в 3D
Xiaomi Mi8 Explorer Edition в первый раз предложил эквивалент Face ID в числе Android.
Samsung Galaxy S10 версия/S20 обеспечивают как программное обеспечение плоское распознавание по снимку селфи-камерой, так и датчик глазного ириса.
Huawei Mate20 Pro задействует комплекс из ИК-освещения + Dot Projector + ToF-датчик

Трудности безопасности и ложные тревоги

Несмотря на впечатляющий успехи инноваций за последние годы, безупречных системы пока не наблюдается:

Шанс мошенничества: Недорогие смартфоны легко открываются четкой фотографией хозяина или видео с дисплея иного гаджета.
Идентичные близнецы: Даже самые совершенные системы могут ошибиться между однояйцевыми близнецами либо родичами с очень похожей внешностью.
Трансформации облика: Внезапное утрата веса/набор веса, косметические процедуры либо повреждения иногда требуют повторной регистрации биометрии.
Условия записи: Интенсивная освещённость солнцем или плотная затенение могут уменьшить верность определения признаков.

Вот пара рекомендаций для защищённому использованию:

Для критически важных операций всегда используйте двухфакторную аутентификацию;
Не запускайте опцию «Разблокировка по лицу» на недорогих аппаратах без ИК-сенсоров;
Регулярно обновляйте прошивку ПО телефона для защиты от современных угроз;
Включайте функцию «Требовать раскрытых глаз» в тех местах, где она есть.

В каких местах дополнительно применяется технологии кроме смартфонов?

Хотя предмет данной публикации касается именно портативным гаджетам, следует отметить прочих направлениях внедрения технологии:

Управление доступа в рабочих помещениях и многоквартирных зданиях;
Платёжные терминалы банков («Face Pay»);
Виртуальные паспорта последнего типа;
Установки видеомониторинга городских подразделений;
Автоматизация регистрации посещаемости образовательных учреждений/институтов;
Аутентификация юзеров компьютеров/ноутбуков.

Например: В городском метро уже испытывается система оплаты проезда по лицу («Face Pay») — хватит пройти через турникет без пластика или мобильника! Аналогичные инициативы развиваются в Поднебесной (Шэньчжэнь), Южной Корее и некоторых европейских странах.

Каким способом изменяется технический процесс в наше время?

Любой годик проявляются современные идеи для усовершенствования уровня функционирования систем идентификации лиц:

Увеличивается чёткость датчиков — чем больше элементов фиксируется видеокамерой/глубинными сенсорами, тем меньше шанс погрешности;
Улучшаются искусственные интеллекты — новейшие конструкции модели MobileNetV3 позволяют быстро адаптироваться к свежим особенностям облика обладателя напрямую на гаджете без пересылки информации в облачное хранилище.
Совершенствуются способы антиспуфинга — теперь мобильные устройства способны различать подлинные живые лица от фиксированных фотографий/маскировок по микроскопическим движениям кожи.
Синхронизация со интеллектуальными приборами — умные часы могут самостоятельно блокировать смартфон, если обладатель ушёл далеко.
Возникают смешанные механизмы — к примеру совмещающие голосовую идентификацию + физиономию + пальцевой отпечаток.

Вот, те тренды в особенности востребованы в данный момент:

1) Уменьшение деталей

Производители стараются уменьшить величину прорези («чёлки») под сенсоры на дисплее за счёт интеграции компактных ИК-проекторов прямо под стекло дисплея либо высувных модулей камеры.

2) Переработка прямо на устройстве

Для повышения приватности всё более расчётов происходит внутри устройства без пересылки информации во дополнительный облачный сервис.

3) Стандартизация регламентов

Гугл активно пропагандирует эталон BiometricPrompt API, для того чтобы аналогичные системы, как вулкан россия, и все Android-приложения могли работать с различными типами биометрии единообразно.

Что решить на сегодня?

Когда тебе необходима предельная безопасность данных, подбирайте флагманские модели с интегрированным ИК-проектором или ToF-датчиком глубины.

iPhone всех существующих новейших моделей
Huawei Mate/P Series линейки
Mix Expert
Vivo X модели
Оппо Найти Х серий.

Если бюджет скромен – лучше предпочесть традиционным способам защиты (PIN-код/сканер пальца), а функцию «разблокировка по лицу», такую как в вулкан россия, применять только как дополнительную опцию удобства.

Каким образом повысить практичность использования возможности?

Есть пара хитростей для тех, кто уже использует функцию распознавания лица:

Часто обновляйте свою изображение-шаблон, если сильно трансформируется внешний вид.
Не упускайте из виду очищать линзу фронтальной камеры – загрязнения могут уменьшить четкость!
Включайте настройку “Raise to Wake” (“Поднять чтобы проснуться”) – так смартфон сам включает фотоаппарат когда вы поднимаете его.
В процессе регистрационного процесса постарайтесь сохранять лицо прямо перед видеоустройства не допуская резкого наклона головы.
Задействуйте возможность “Attention Aware” (“Реакция на внимание”) – она закрывает телефон, если вы отвели взгляд от экрана.

Перспективы развития технологии

В ближайшие времена можно предполагать развития полностью бесконтактных способов распознавания человека сразу по нескольким биометрическим данным параметрам одновременно: облик + звучание + манера ходьбы + движения рук!

Также предполагается возникновение новых методов обеспечения личной информации – к примеру, переменное изменение диджитал паттерна после каждой результативной авторизации, чтобы затруднить его копирование злоумышленниками.

Идентификация лиц – одна из очень увлекательных инноваций нашего эпохи! Она обеспечивает взаимодействие со смартфоном проще чем раньше, и такие программы, как vulkan russia, могут в разы оптимизировать ваш опыт, но запрашивает осознанного отношения к вопросам безопасности личных данных и грамотного выбора подходящей модели устройства под ваши задачи.

Теперь, раз вы понимаете, как функционирует эта технология изнутри, – сумеете более осмысленно подбирать свой следующий девайс!