Как Image2Lego превращает 2D-изображения в 3D-модели

Конструктор LEGO — это популярное развлечение, позволяющее собрать все, что только можно вообразить, из простых строительных кубиков.

Однако, чтобы упростить построение более сложных изображений, полезными станут инновационные модели конструктора. Поэтому благодаря недавнему исследованию был открыт метод, как создать 3D-модели частей LEGO непосредственно из 2D-изображений. Для того, чтобы данная модель была воплощена в реальность, нужно было знать, как работают нейронные сети.

Модель преобразует двумерное изображение в скрытое представление и декодирует его в трехмерную воксельную модель. Затем новый алгоритм преобразует вокселизированную модель в трехмерные блоки. Тот же подход можно распространить на другие творческие приложения. Например, современные модели могут создавать 2D-мозаику из изображения лица.

Как программировать нейронные сети знают только подготовленные люди. Если вам также интересна эта тема, рекомендуем курсы программирования или IT-блог DevEducation.

С помощью предложенного подхода можно создать трехмерное лицо из одного двухмерного изображения. Также создателями инновации предлагается инструмент, который напрямую преобразует воображаемый рисунок в модель LEGO. Исследование улучшает доступность персонализированных творений конструктора.

Как Image2Lego превращает 2D-изображения в 3D-модели

Почему Image2Lego?

Создание индивидуальных сборок, которые могут соответствовать сложности, демонстрируемой реальными или воображаемыми предметами, такими как изображения, эскизы или физические объекты, было сложной задачей. Группа исследователей из Массачусетского технологического института придумала решение. В документе под названием «Image2Lego: создание индивидуализированного набора LEGO из изображений» представлен инновационный проект, толчком для которого стали нейронные сети.

Как известно, LEGO — это датская компания по производству потребительских товаров, занимающаяся детскими игрушками, видео и онлайн-играми. Также в арсенале продуктов компании есть товары для детей, которые помогают им развивать свои творческие способности, и, конечно же, новаторские игры и учебные мероприятия.

Создание 3D-моделей из изображений и создание LEGO из 3D-моделей всегда оставалось сложной задачей. Модель, представленная в статье, восполнила этот пробел и представляет собой законченный конвейер Image2LEGO. Следовательно, он открывает двери для тех, кто хочет создавать собственные модели LEGO из 2D-изображений. Проще говоря, Image2Lego — это искусственный интеллект, позволяющий создавать 3D-конструкторы LEGO из отдельных 2D-изображений.

Работа включает три последовательных компонента:

  • преобразование 2D-изображений в скрытое представление;
  • декодировка скрытых представлений в трехмерную воксельную модель;
  • применение алгоритма преобразования векселизированной модели в 3D-кубики LEGO.

Методология модели

Представленная модель представляет собой сочетание:

  1. Сети генерации октодерева, состоящая из сверточного блока в самой его структуре, которая последовательно повышает (или понижает) разрешение трехмерной модели с коэффициентом два в каждом пространственном измерении.
  2. Сети TL-Embedding, которая выполняет реконструкцию из изображения в 3D, одновременно обучая автокодировщика сжатию представления 3D-модели в скрытый вектор и активизируя кодировщика изображений для прогнозирования скрытого представления модели из одного 2D-изображения.

Все начинается с обучения авто-энкодера на векселизированных 3D-моделях. Декодер этой сети адаптирован из сети генерации октодерева. Он состоит из нескольких блоков, каждый из которых увеличивает разрешение в два раза в каждом измерении (то есть, в структуре октодерева) и изменяет количество каналов, начиная со скрытого представления, параметризованного как 256-мерный вектор. Так разработку описывают ее создатели.

На следующем этапе они обучают отдельную сеть кодировщика предсказанию 256-размерных скрытых представлений, полученных от 3D-авто-энкодера, с использованием визуализированных одиночных 2D-изображений объектов. Кроме того, исследователи используют AlexNet — оригинальную классификацию изображений для разработки своего кодировщика. Теперь, на последнем этапе, векселизированные 3D-модели преобразуются в кубики LEGO. Это выполняется с помощью алгоритма, адаптированного из проекта ColouredVoxels2Lego. Алгоритм преобразует каждый вексель в кубик LEGO размером 1 на 1, а затем выполняет итерацию по каждому слою в координате z модели, чтобы найти оптимальные группы кубиков, которые нужно объединить в кубики большего размера.

Очень важно учитывать, что цвет является решающим фактором в модели лиц LEGO. Поскольку сеть TL-Octree не может добавлять цвета, реконструкция лиц LEGO была выполнена с помощью сети объемной регрессии (VRN). Однако, это придает цвету некоторую неоднородность. В результате алгоритм кластеризации k-средних был задействован в обеспечении единообразия цветов.

Авторы считают, что эта работа значительно улучшит доступность творческих, персонализированных творений LEGO для пользователей любого уровня навыков и всех возрастов.

Шаг вперед

Использование искусственного интеллекта может еще больше помочь LEGO стимулировать рост бизнеса. Корпорация была признана одной из крупнейших мировых производителей игрушек в 2019 году по размеру выручки, опередив такие компании, как Mattel и Hasbro. Согласно отраслевому отчету, за последнее десятилетие (2010–2020 годы) выручка компании выросла с 2,2 млрд евро до 5,87 млрд евро, что означает скачок более чем на 166%. Последняя представленная разработка позволяет компании предложить несколько инновационных игровых приложений на основе искусственного интеллекта для дальнейшего роста доходов.