Еще недавно компьютеры с трудом обрабатывали готовые фотографии, а теперь они способны буквально штамповать картинки пачками. Что уж говорить про 3D-графику, которую раньше делали только на профессиональных системах, а сейчас десятки бесплатных нейросетей позволяют создавать практически блокбастеры, причем все это в рамках браузера. В том числе сейчас можно превратить любой объект на фотографии в трехмерную модель.
Seed3D создает очень реалистичные объекты. Изображение: arxiv.org
Нейросеть для создания 3D-моделей
Китайский технологический гигант ByteDance, создатель TikTok, представил инструмент под названием Seed3D. Это нейросеть, которая превращает обычные двухмерные фотографии в фотореалистичные трехмерные модели. Новая технология обучена на огромных массивах данных, и, по заявлениям компании, превосходит существующие решения как по качеству текстур, так и по точности их геометрии.
Seed3D работает поэтапно, но внешне это выглядит как «нажал — получил». Изображение: bytedance.com
Алгоритм работает в два этапа: сначала определяет форму и глубину объекта, а затем создает текстуры с привязкой к оригинальным точкам. Это позволяет добиваться идентичных размеров и форм при изменении ракурса, что важно для сфере дополненной и виртуальной реальности.
Как сделать 3D-модель из обычной фотографии
В компании отмечают, что новая система, имея всего около 1,5 млрд параметров, демонстрирует качество, сопоставимое или даже превосходящее решения с вдвое большим объемом. Так что созданные модели можно использовать не только для визуализации, но и в системах симуляции и для обучения искусственного интеллекта, который используется в VR. Убедиться в этом можно самостоятельно: для этого можно перейти на официальный сайт проекта и зарегистрироваться. Но для этого придется разжиться китайской симкой.
Как видите, не только Seed3D выдает отличный результат. Например, также неплохо работает Meshy. Изображение: meshy.ai
А если у вас нет зарубежного номера, предлагаем протестировать похожие возможности в другом сервисе под названием Meshy. Это тоже довольно мощная нейросеть, которая умеет не только конвертировать 2D-объекты в трехмерные модели, но и предлагает еще много чего полезного. Например, она также создает 3D по текстовому запросу, делает картинки и даже может сгенерировать видео с вашей 3D-моделью.
Попробовать все функции Meshy можно бесплатно, так как система каждый день насыпает бонусные монеты на счет. Нужно лишь зарегистрироваться на сайте, а после авторизации выбирать, что хотите сделать.
Можно что-нибудь создать с нуля или использовать уже готовые материалы
Нам нужен инструмент под названием «Изображение в 3D». Выбираем его, отправляем фото и ждем примерно минуту. Это обойдется в 20 золотых монеток (внутренняя валюта). На выходе получаем трехмерную модель (в нашем случае это собака породы Чау-чау).
Исходник сложный для обработки, но нейросеть справилась
Но это еще не все: для полноты картины нам нужно текстурировать модель, сделать ее цветной и реалистичной.
Неплохой итог. Недочетов, конечно, много, но результат все равно впечатляет
Результат, на самом деле, впечатляет. Так что появление подобных инструментов первой версии знаменует собой новую эру генеративных технологий. Ведь раньше для создания графического интерьера или 3D-объектов приходилось фотографировать объекты с нескольких сторон, затем все вручную перерисовывать в программе, а теперь у пользователей есть возможность быстро создавать реалистичные трехмерные объекты всего по одной фотографии. И для этого не нужен ни мощный компьютер, ни знания в соответствующей области. Это открывает перспективы для множества отраслей: от игр, кино и дизайна до робототехники и современной архитектуры.
