Смартфон "научили" копировать объекты из реального мира в Photoshop

Французский разработчик Сириль Дианье продемонстрировал работу своего приложения AR Cut & Paste, которое позволяет "копировать" реальные объекты и вставлять в Adobe Photoshop с помощью технологии дополненной реальности и искусственного интеллекта, передает Tengrinews.kz со ссылкой на Twitter программиста.

Французский разработчик Сириль Дианье продемонстрировал работу своего приложения AR Cut & Paste, которое позволяет "копировать" реальные объекты и вставлять в Adobe Photoshop с помощью технологии дополненной реальности и искусственного интеллекта, передает Tengrinews.kz со ссылкой на Twitter программиста.

Французский дизайнер и разработчик Сириль Дианье в своем Twitter продемонстрировал возможности приложения AR Cut & Paste, которое с помощью камеры смартфона позволяет быстро оцифровать реальный объект, вырезав его из окружения на фото, и вставить в Photoshop через монитор компьютера с открытым графическим редактором.

4/10 - Cut & paste your surroundings to Photoshop

Code: https://t.co/cVddH3u3ik

Book: @HOLOmagazine
Garment: SS17 by @thekarentopacio
Type: Sainte Colombe by @MinetYoann @ProductionType
Technical Insights: ↓#ML #AR #AI #AIUX #Adobe #Photoshop pic.twitter.com/LkTBe0t0rF
— Cyril Diagne (@cyrildiagne) May 3, 2020

По словам Дианье, в основе приложения лежат технологии дополненной реальности и искусственный интеллект. Для распознавания объектов и удаления фона применяется библиотека машинного обучения BASNet. Алгоритм OpenCV SIFT позволяет импортировать фото с объектом в редактор - система способна определить точки на экране компьютера, на которые направлена камера смартфона.

And again, the OpenCV SIFT trick to find where the phone is pointing at the screen.

I also packaged it as a small python library: https://t.co/en0EyGSklp

Send a camera image + a screenshot and you get accurate x, y screen coordinates! pic.twitter.com/OOCFrrZseZ
— Cyril Diagne (@cyrildiagne) May 3, 2020

Разработчик отмечает, что приложение все еще находится на стадии разработки, однако уже сейчас на "захват объекта" с помощью камеры смартфона требуется около 2,5 секунды, а на перенос в компьютер через монитор - примерно четыре секунды. Традиционный способ копирования изображения объекта занимает намного больше времени, так как сначала необходимо сфотографировать предмет, затем перенести фото в компьютер, после вручную вырезать фон и вставить объект в Adobe Photoshop.

Right now, latency is about ~2.5s for cut and ~4s for paste.
There are tons of ways to speed up the whole flow but that weekend just went too fast ??‍♂️

Anyway that’s it for now. Let me know if you have any question. Otherwise see you next week for another AI+UX prototype! pic.twitter.com/hyArPgy2Bq
— Cyril Diagne (@cyrildiagne) May 3, 2020

Программист пока не уточняет, когда работа над приложением завершится. В описании сервиса на сайте GitHub сообщается, что на данном этапе AR Cut & Paste может переносить объекты только в Adobe Photoshop, однако в ближайшем будущем разработчик расширит количество графических сервисов, с которыми сможет работать приложение.

Ранее сообщалось о новом сервисе компании Google, который с помощью искусственного интеллекта позволяет перерисовывать фотографии в стиле великих художников.

Также напомним, что благодаря нейросетям один из первых фильмов в истории кинематографа получил обновление технических характеристик разрешения до 4К и 60 кадров в секунду.

Новости Казахстана. Сегодня и прямо сейчас. Видео и фото. Подписывайся на @tengrinews в Telegram