Ученые из Университета Неймегена создали нейронную сеть, которая умеет воссоздавать цветные фотографии по зарисовкам. Работа авторов размещена на сайте .
Для обучения сверточной нейросети, состоящей из 11 слоев, исследователи использовали 200 тысяч фотографий лиц людей. С помощью компьютерной программы они были превращены в контурные, черно-белые или цветные эскизы. В ходе тренировки нейросеть должна была самостоятельно превратить зарисовку в реалистичную фотографию, которую могла бы сделать обычная фотокамера.
Затем ученые проверили ее работу с помощью новой базы данных. В итоге, наиболее качественными оказались фотографии, сделанные по эскизам, где были обозначены только контуры лица (индекс структурного сходства 0,85), причем нейросеть могла создавать цветные изображения даже на основе черно-белых скетчей. Наименьшее сходство с оригинальными фотографиями достигалось, если за основу были взяты черно-белые зарисовски (индекс структурного сходства 0,65). Кроме того, для теста ученые ввели в систему автопортреты известных художников — Ван Гога, Рембрандта и Эшера — сделанные с помощью карандаша. Нейросети также удалось создать реалистичные цветные изображения на основе картин художников.
Некоторые трудности возникали, когда в скетчах, сделанных с помощью простого карандаша, не было достаточного количества теней. «Это можно объяснить отсутствием таких признаков в обучающих данных», — комментируют авторы работы и замечают, что эти трудности можно преодолеть просто включив в базу изображений эскизы, которые больше будут похожи на настоящие работы художников. Ученые предлагают использовать свою работу для воссоздания портретов знаменитых художников, которые не оставили после себя фотографий, но оставили наброски, и для фотороботов преступников. Недавно нейрофизиологам также удалось реконструировать изображения лиц при помощи нейросети, однако в этом случае за основу были взяты данные томографии, сделанной во время того, как они смотрели на цветные фотографии людей.