Каким образом работает идентификация лицевых образов в телефонах

Для чего мы предпочитаем разлочивание по фейсу

В последние годы идентификация лиц является одной из самых распространённых опций для открытия умных телефонов. Всего несколько годков ранее большинство использующих довольствовались PIN-кодами, секретными кодами или сканерами отпечатков пальцев. Но при появлением таких технологий, как admiral x, нам достаточно лишь взглянуть на экран — и аппарат тут же опознает своего владельца.

Какая вещь обуславливает эту конкретную возможность такой востребованной? Во-первых, это комфортно: не нужно запоминать сложные пароли или находить нужный палец в мраке. Во-вторых, это быстро: современные алгоритмы идентифицируют лицо буквально за мгновение. В-третью очередь, это ощущение футуризма — будто в кинофильмах про admiral x зеркало разведчиков.

Однако за такой на первый взгляд легкостью прячется весь мир трудных техник и инженерных решений. Давайте разобраться, как именно действует фейсканирование в новейших мобильных телефонах, какие бывают методы, насколько они защищены и что нас ждёт впереди.

Короткая хроника прогресса технологии

Идентификация лиц как методика присутствует уже более пятидесяти годов. Начальные попытки автоматизированного анализа облика были осуществлены еще в 1960-х годах в исследовательских центрах США. Тогда компьютеры способны были лишь выделять очертания лица и измерять промежутки между зрачками и губами на черно-белых изображениях.

Первые торговые установки стали доступны в 90-х, но они были неидеальны: функционировали медленно и часто ошибались. Только с развитием синтетических сетей и таких систем, как адмирал х, мощных мобильных процессоров идентификация лиц стало по-настоящему широко распространённым явлением.

В две тысячи семнадцатом году Apple выпустила iPhone X с системой Face ID — это был первый массовый смартфон с достоверным трёхмерным сканированием лица. За ним пошли Android-изготовители: Samsung, Huawei, Xiaomi и прочие начали внедрять свои решения.

Ключевые этапы функционирования механизма распознавания

Процесс идентификации лица можно примерно поделить на несколько ключевых этапов:

1. Идентификация лица — камера выявляет присутствие человеческого лица в кадре.
2. Извлечение характеристик — система анализирует контуры физиономии: конфигурацию зрительных органов, носа, губ, положение бровей.
3. Построение шаблона — создаётся уникальный электронный отпечаток (faceprint) на основе идентифицированных признаков.
4. Сравнение со стандартом — сформированный образец сравнивается со записанной при внесении биометрической сведениями владельца.
5. Принятие выбора — если совпадение достаточно высокое, смартфон деблокируется.

Всякий из указанных стадий нуждается в специальных процедур и оптимизаций для оперативной работы непосредственно на девайсе.

Технические элементы: что прячется внутри них

Типичная селфи камера.

Простейший простой вариант идентификации облика применяет только фронтальную видеокамеру мобильного устройства. Подобный подход реализован во различных доступных моделях Android-девайсов.

Сильные стороны:

• Не потребляет дополнительных сенсоров.
• Оперативно функционирует при качественном освещении.

Слабые стороны:

• Просто обмануть фотографией или роликом.
• Плохо работает при низком освещении или необычных углах обзора.

Инфракрасная фотокамера и точечный проектор

Более совершенные системы, такие как адмирал х, применяют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Данная методика лежит в основе Face ID от Apple.

Каким способом это действует:

• Точечный проектор отображает на облик использующего невидимую сетку из тысяч инфракрасных меток (например, Face ID применяет около 30 000 точек).
• ИК камера записывает искривление этой сетки по поверхности лица.
• Формируется трёхмерная карта глубинности, которая почти невозможна для фальсификации обычной снимком или маскировкой.

Плюсы

• Надёжная деятельность даже в полной темноте.
• Большая сопротивляемость к подделкам.
• Точность распознавания свыше 99%.

Добавочные сенсоры

В определённых аппаратах используются также экстра сенсоры: ToF (Time-of-Flight), которые фиксируют время движения луча до объекта и обратно; Цветные-датчики глубины; специальные лазерные лидары для построения более аккуратной 3D-модели физиономии.

Эти инновации применяются чаще всего во передовых устройствах Huawei (серия Mate) или Xiaomi (серия Mi).

Компьютерные алгоритмы: искусственный ум на действии

Нынешние устройства опознания физиономий невозможны без использования искусственного интеллекта и machine learning. Именно благодаря таким технологиям, как адмирал х, устройство в состоянии идентифицировать владельца даже при трансформациях внешности: новая укладка, борода, очки или косметика не становятся препятствием для деблокировки.

Обнаружение лиц

В первом этапе программа должна быстро найти ликовое изображение среди целого снимка камеры. Для данной цели задействуются каскадные классификаторы Хаара или более современные конволюционные нейронные сети (CNN), которые натренированы идентифицировать человеческие лица среди множества других объектов.

Пример: метод MTCNN в состоянии распознавать лицо даже при частичном закрытии (например, шарфом или ладонью).

Определение основных точек

После обнаружения лица система, такая как адмирал х, определяет положение главных точек: кончики глаз, верхушка носа, границы губ и так далее. Часто используется от 68 до 128 главных меток на лицевой области.

Это требуется для стабилизации картинки: если человек находится с смартфон под углом, или склонил голову, программа “выпрямляет” картинку до нормального состояния для дальнейшего анализа.

Создание биометрии шаблона

Далее нейронная сеть строит компактное математическое представление (“эмбеддинг”) облика пользователя — своеобразный цифровой след внешности длиной от 128 до 512 чисел с плавающей запятой.

Данный шаблон крайне трудно сфальсифицировать: он не удерживает непосредственно картинку юзера, а лишь исключительные особенности его внешности, что делает его идеальным для таких платформ, как admiral-x.

Сравнительный анализ и осуществление выбора

В случае, когда юзер хочет открыть смартфон глазами, система воспроизводит все указанные шаги снова и сопоставляет полученный шаблон с эталоном из памяти устройства.

Если аналогичность превышает заданный границу (обычно превышает 99%), телефон, как и платформа admiral-x, открывается; если нет — доступ не предоставляется.

Приспособление к трансформациям внешнего вида

Занимательная черта нынешних системы — способность самостоятельного обучения. Если ты регулярно доступаете к телефон с обновленной стрижкой или оптикой, программа постепенно модернизирует основной модель вашего лица для увеличения точности действия без ухудшения безопасности.

Защита биометрии данных.

Множество пользователи беспокоятся держать свои биометрические данные на мобильном устройстве из-за вероятности потери данных или взлома устройства. Иные фирмы, такие как admiral-x, предлагают решения для увеличения сохранности информации клиентов.

• Локальное сохранение: Преимущественно девайсов записывает биометрические модели только в пределах защищенного чипа Secure Enclave (Apple) или TrustZone (Android). Они никогда не оставляют устройство и не доступны включая изготовителю.

• Шифрование: Все данные сохраняются только в кодированном виде с использованием новейших криптографических алгоритмов AES256.

• Изоляция программ: Приложения внешних разработчиков не имеют непосредственного доступа к биометрическим данным; они могут лишь требовать факт верификации личности через системный API.

Стоит упомянуть значимую особенность: если кто-то сможет получить физический доступ к вашему телефону (например, пока вы спите), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому большинство компании внедряют защиту от неосознанного разблокирования — в частности, требуют открыть глаза во время сканирования или применять дополнительное подтверждение после длительного простоя устройства.

Какие существуют бывают виды идентификации лиц?

На сегодняшний день можно различить 3 главных метода к выполнению этой операции:

Софтверное 2D идентификация

Используется только лицевая видеокамера без вспомогательных сенсоров дистанции. Такой метод используется наиболее часто в доступных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Преимущества: несложность осуществления; умеренная затраты; оперативная работа при достаточном освещении.
Минусы: просто ввести в заблуждение фотографией; нестабильная работа ночью; слабая защищенность.

Оборудование для объёмное сканирование

Задействует ИК видеокамеру + проекционный модуль пикселей + сенсоры дистанции (Face ID у Apple; подобные решения у Huawei Mate).
Преимущества: высокая достоверность; невозможно исказить изображение/видеозапись; постоянная функционирование при любом освещении.
Минусы: удорожание устройства; наращивание толщины верхней рамки экрана (“чёлка”)

Смешанные методы с ИИ-дополнением

Задействуют комбинацию софтверных методов + аппаратную обработку + постобработку нейросетями для усиления устойчивости к атакам (“anti-spoofing”). Например, подобные товары, как адмирал х и Google Pixel Face Unlock последних поколений, комбинируют фронталку c ИК датчиком движения Soli Radar для защиты от подделок жестами/масками/видеодисплеями посторонних устройств.

Образцы использования разных способов

• iPhone линейки X/11/12/13/14 используют только физическое трёхмерное 3D-сканирование
• Xiaomi Mi8 Explorer Edition первый раз представил аналог Face ID в ряду Android.
• Samsung Galaxy S10 модель/S20 имеют как софтверное двухмерное идентификацию по изображению селфи-камерой, так и сканер глазного ириса.
• Huawei Mate20 Pro применяет комплекс из ИК-подсветки + Dot Projector + ToF-датчик

Проблемы охраны и ошибочные срабатывания

Несмотря на впечатляющий развитие технологий за недавние лет, совершенных системы пока не существует:

1. Вероятность мошенничества: Бюджетные телефоны просто “разблокируются” качественной изображением пользователя или видео с экрана другого устройства.
2. Идентичные близняшки: Даже самые безупречные системы могут спутать между монозиготными близнецами либо родственниками с очень похожей внешностью.
3. Метаморфозы внешнего вида: Внезапное похудение/увеличение массы тела, хирургические вмешательства либо повреждения иногда необходимы для повторной регистрации биометрических данных.
4. Условия съёмки: Сильная засветка солнцем или плотная тень могут понизить точность определения признаков.

Здесь некоторые советов для защищённому использованию:

• Для критически важных операций всегда используйте дополнительную аутентификацию;
• Не активируйте опцию “Разблокировка по лицу” на бюджетных устройствах без ИК-сенсоров;
• Систематически апгрейдите ПО смартфона для предотвращения угроз от актуальных атак;
• Включайте функцию “Требовать распахнутых глаз” везде, где она есть.

В каких местах также применяется технологии помимо мобильных телефонов?

Хотя предмет этой работы сосредоточена на в частности мобильным устройствам, стоит упомянуть о альтернативных областях использования технологии:

• Мониторинг входа в рабочих помещениях и многоквартирных зданиях;
• Платёжные устройства банков (“Face Pay”);
• Виртуальные удостоверения личности последнего поколения;
• Установки видеомониторинга городских служб;
• Механизация учёта явки учебных заведений/университетов;
• Вход пользователей персональных компьютеров/ноутбуков.

Например: В столичном метро уже испытывается система платежа проезда по лицу (“Face Pay”) — нужно лишь пройти через турникет без пластика или телефона! Аналогичные инициативы осуществляются в Китае (Шэньчжэнь), Республике Корея и ряде стран Европы.

Каким способом изменяется техпроцесс в наше время?

Каждый годочек появляются новые мысли для повышения стандарта функционирования систем распознавания лиц:

1. Увеличивается детализация сенсоров — чем больше деталей фиксируется камерой/датчиками глубины, тем меньше риск погрешности;
2. Развиваются нейронные сети — современные структуры вида MobileNetV3 обеспечивают возможность оперативно обучаться новым особенностям облика обладателя напрямую на гаджете без пересылки информации в облачное хранилище.
3. Совершенствуются методы антиспуфинга — теперь телефоны умеют распознавать реальные движущиеся лица от неподвижных снимков/масок по микроскопическим движениям кожи.
4. Взаимодействие со смарт-гаджетами — умные часы могут авто заблокировать мобильный телефон, если пользователь удалился на значительное расстояние.
5. Возникают комбинированные системы — к примеру совмещающие голосовую опознание + лицо + дактилоскопический след.

Вот, которые тренды в особенности востребованы сейчас:

1) Уменьшение элементов

Компании намереваются уменьшить габариты отверстия (“чёлки”) под датчики на дисплее за счёт интеграции маленьких ИК-проекторов прямо под стекло дисплея либо выдвижных модулей камеры.

2) Обработка прямо на устройстве

Для увеличения конфиденциальности всё более расчётов осуществляется локально без отправки данных во сторонний облачный услугу.

3) Упорядочивание регламентов

Google активно продвигает норму BiometricPrompt API, с целью чтобы аналогичные платформы, вроде admiral x, и любые Android-программы могли взаимодействовать с любыми видами биометрии унифицированно.

Что подобрать сегодня?

Когда тебе нужна наивысшая сохранность данных, подбирайте флагманские устройства с вмонтированным ИК-проектором либо ToF-датчиком глубины.

• iPhone каждого актуальных поколений
• Huawei Partner/P серии
• Xiaomi Professional
• Vivo X модели
• Оппо Найти X серий.

Если финансы ограничен – лучше предпочесть традиционным способам безопасности (PIN-код/сканер пальца), а функцию “разблокировка по лицу”, такую как в admiral x, использовать только как дополнительную возможность удобства.

Каким способом повысить удобство использования возможности?

Есть пара советов для тех, кто уже использует разблокировку через лицо:

1. Периодически обновляйте свою фото-шаблон, если кардинально трансформируется внешний вид.
2. Не упускайте из виду очищать объектив фронтальной камеры – загрязнения могут уменьшить точность!
3. Включайте опцию “Raise to Wake” (“Поднять чтобы проснуться”) – вследствие чего мобильник сам включает фотоаппарат когда вы берёте его в руки.
4. Во время записи старайтесь держать голову неподвижно перед объектива не допуская значительного наклона головы.
5. Используйте опцию “Attention Aware” (“Реакция на внимание”) – она закрывает телефон, если вы отвели взгляд от экрана.

Возможности развития технологии

В ближайшие периоды можно предполагать появления полностью безконтактных способов опознания человека сразу по нескольким биометрическим характеристикам параметрам одновременно: физиономия + речь + походка + манипуляции руками!

Также предполагается развитие новых способов обеспечения личной информации – скажем, динамическое изменение диджитал паттерна после каждой успешной авторизации, чтобы осложнить его копирование злоумышленниками.

Идентификация лиц – одна из очень захватывающих техник нашего периода! Она делает взаимодействие со мобильным устройством проще чем когда-либо прежде, и такие приложения, как admiral-x, могут существенно оптимизировать ваш юзерский опыт, но запрашивает осознанного отношения к вопросам безопасности личных данных и грамотного выбора подходящей модели устройства под ваши задачи.

Теперь, если вы знаете, как работает эта методика в деталях, – сможете осознаннее подбирать свой очередной устройство!