Круче, чем фотошоп: программист ЮУрГУ научила нейросеть мгновенно удалять лишние предметы с фото
Программист ЮУрГУ Татьяна Долгих написала компьютерную программу, которая быстро и бесследно удаляет с фотографии посторонние предметы. У этой разработки есть несколько важных отличий от работы фотошопа.
— В фотошопе можно удалять объекты и в качестве заплатки брать фон, на котором они изображены, — объясняет программист отдела автоматизации ЮУрГУ Татьяна Долгих. — Но, если, к примеру, птица сфотографирована так, что задевает небо и дерево, в фотошопе на месте ее удаленного силуэта будет только небо. А у меня частично будет и дерево, и все будет выглядеть естественно.
Поводом для создания новой программы стала одна неудачная свадебная фотосессия: в кадр с женихом и невестой попала мусорка, которая портила всю романтику. Благодаря этому снимку Татьяна решила взяться за работу.
Чтобы научить нейронную сеть U-Net удалять лишнее, Татьяна взяла из открытого доступа набор данных PASCAL VOC 2012, в нем четыре категории — люди, животные, транспорт и мебель. Для того, чтобы удалить лишний объект с фотографии, нужно просто ткнуть на него курсором — нейросеть все поймёт и удалит почти моментально.
— В сервисах, которые используются сейчас, надо выделять ненужный объект, иногда приходится делать это по несколько раз, — рассказывает Татьяна Долгих. — Зачастую идеально выделить предмет не удается, можно задеть какие-то соседние части. То есть, волшебную кисть ты должен водить сам. А в моей программе просто кликнул и всё. Я заранее обучила нейронную сеть сопоставлять объекты. Когда мы загружаем оригинальное исходное изображение, она показывает полученную сегментацию, то есть все объекты, которые нашла. А затем уже работает с объектом, который необходимо удалить.
Программа Татьяны уникальна для нашей страны, уже оформлен патент. Изобретение пригодится профессиональным фотографам, дизайнерам и другим специалистам, работающим с изображениями. Чтобы сделать программу доступной для всех желающих, программисту нужны партнеры.
В будущем Татьяна намерена обучить нейронную сеть вычислять и удалять около ста категорий объектов — от дамской сумочки и зонтика до велосипедов и автомобилей. Следующий шаг — научить искусственный интеллект удалять такие объекты на видео.
Фото: ЮУрГУ
Читайте также:
Челябинские ученые создали 3D-модель древнего кургана и объяснили, как он строился
К началу ХХ века он хорошо сохранился, но за столетие не раз подвергался разграблениям: здесь искали уголь, сокровища, любые ценности.
