UP Face: нейросеть, которая помогает хирургам рассчитать асимметрию лица по фотографии
Сервис позволяет узнать ключевые параметры человека (пол, возраст, расу и т.п.) по фото.
Так же определить пропорции лица, выявить асимметрию и узнать на кого из знаменитостей похож человек.
Так же определить пропорции лица, выявить асимметрию и узнать на кого из знаменитостей похож человек.
UP Face
Клиент
Сеть клиник пластической хирургии. Подробности — под NDA.
О проекте
Нейросеть для клиник пластической хирургии, которая оценивает асимметрию лица по фотографии.
Сеть клиник пластической хирургии. Подробности — под NDA.
О проекте
Нейросеть для клиник пластической хирургии, которая оценивает асимметрию лица по фотографии.
Цели разработки
Помочь клиентам принять решение
UP Face измеряет лицо по 75 параметрам и показывает степень асимметрии в цифрах. На основе этих данных клиент решает нужна ли ему операция.
Ускорить и улучшить прием
Точные данные о пациенте до начала приема ускоряют прием и изучение анамнеза.
Помочь клиентам принять решение
UP Face измеряет лицо по 75 параметрам и показывает степень асимметрии в цифрах. На основе этих данных клиент решает нужна ли ему операция.
Ускорить и улучшить прием
Точные данные о пациенте до начала приема ускоряют прием и изучение анамнеза.
Первые этапы
Чтобы показать, как работает нейросеть, мы сделали демостенд. Демостенд распознает точки на лице, пол, возраст, расу, цвет волос, прическу, цвет глаз, наличие шрамов, пирсинга, тату других отличительных признаков.
Чтобы показать, как работает нейросеть, мы сделали демостенд. Демостенд распознает точки на лице, пол, возраст, расу, цвет волос, прическу, цвет глаз, наличие шрамов, пирсинга, тату других отличительных признаков.
Процесс разработки
У клиента уже работало приложение. Нам оставалось сделать, обучить и интегрировать в него нейросеть.
У клиента уже работало приложение. Нам оставалось сделать, обучить и интегрировать в него нейросеть.
Нейросеть работает так:
Клиент загружает фотографию, а система показывает опорные точки на лице с помощью скрипта на базе библиотеки OpenCV и фреймворка Caffe. На основе опорных точек нейросеть строит линии для оценки симметрии и размеров лица.
Клиент загружает фотографию, а система показывает опорные точки на лице с помощью скрипта на базе библиотеки OpenCV и фреймворка Caffe. На основе опорных точек нейросеть строит линии для оценки симметрии и размеров лица.
Эмоции, волосы, цвет кожи
После асимметрии мы научили нейросеть определять шесть типов эмоции, длину волос, седину, шрамы, макияж, татуировки, пирсинг, морщины, цвет кожи.
Вот некоторые показатели и технические подробности.
После асимметрии мы научили нейросеть определять шесть типов эмоции, длину волос, седину, шрамы, макияж, татуировки, пирсинг, морщины, цвет кожи.
Вот некоторые показатели и технические подробности.
Эмоции
Точность определения эмоций на этом этапе — 65%.
- Злость
- Презрение
- Страх
- Счастье
- Нейтральные эмоции
- Печаль
Точность определения эмоций на этом этапе — 65%.
Цвет волос
Для снижения переобучения добавлены два слоя dropout.
- Блондин
- Брюнет
- Шатен
- Седой
- Крашенный
Для снижения переобучения добавлены два слоя dropout.
Длина волос
Точность на тестовой выборке ~ 86%.
- Короткая
- Длинная
- Хвост
- Без волос
Точность на тестовой выборке ~ 86%.
График ошибок и accuracy последней архитектуры.
Точность на тестовой выборке ~ 96%.
Точность на тестовой выборке ~ 96%.
Седина и шрамы
Мы применяли технологию семантической сегментации и маскирования. Коэффициент срабатывания — 1% наличия заданного цвета. Точность обнаружения — 83%.
- Седина есть
- Седины нет
- Шрам есть
- Шрама нет
Мы применяли технологию семантической сегментации и маскирования. Коэффициент срабатывания — 1% наличия заданного цвета. Точность обнаружения — 83%.
Цвет глаз
- Голубые
- Серо-голубые
- Коричневые
- Серо-коричневые
- Темно-коричневые
- Зеленые
- Серо-зеленые
- Неопределенные
Итог
Система работает. Результаты просчитываются на внешнем сервере и передаются по API. При обработке фотографии клиент и врач получают точные данные в цифрах.
Система работает. Результаты просчитываются на внешнем сервере и передаются по API. При обработке фотографии клиент и врач получают точные данные в цифрах.
Так выглядит результат работы: клиент загружает фотографию лица, а система показывает его параметры. Те же данные поступают врачу.
Команда
- Два дата сантиста
- DevOps
- Аналитик и руководитель проекта
Сроки проекта
Четыре месяца
Четыре месяца