Почему нейросеть так плохо генерирует руки
Почему нейросеть так плохо генерирует руки

Почему нейросеть так плохо генерирует руки

admin Theya  —  17.02.2023

У Midjourney и других нейросетей для генерации картинок, все очень плохо с изображением рук, пальцев и других конечностей. Разбираемся, почему же искусственный интеллект до сих пор не научился правильно рисовать руки.

Сложная и изменчивая форма

Одной из самых больших проблем при создании реалистичных изображений с помощью нейронных сетей является моделирование сложной 3D-геометрии рук. Это связано с высоким уровнем детализации, а также изменчивостью формы и положений конечностей человека.

Человеческие руки от Midjourney
Человеческие руки от Midjourney

Одним из способов решения этой проблемы является включение предварительных знаний о геометрии рук и конечностей в архитектуру нейронной сети. Например, в некоторых моделях используются специализированные модули, предназначенные для улавливания геометрической структуры рук и пальцев, а в других — ограничения или штрафы, побуждающие генерируемые изображения соответствовать определенным геометрическим свойствам.

Другой подход заключается в использовании генеративных состязательных сетей (GAN). Они состоят из двух частей: генератора, создающего изображения, и дискриминатора, который пытается отличить реальные изображения от созданных. Обучив генератор создавать изображения, неотличимые от реальных, GAN могут создавать более реалистичные и анатомически точные руки.

Цветок в руках, от нейросети Midjourney
Цветок в руках, от нейросети Midjourney

Недостаток изображений или недостаточное количество обучающих данных тоже может внести свой вклад в проблему генерации рук в нейронных сетях для генерации изображений. Тренировочные данные, используемые для обучения этих моделей, должны быть разнообразными и охватывать широкий спектр сценариев, поз и условий освещения. Это гарантирует, что полученная модель способна генерировать высококачественные изображения, точно отражающие реальный мир.

Иногда имеющиеся данные для обучения могут не включать достаточное количество примеров рук в различных позах. Из-за этого нейросети будет сложно генерировать реалистично выглядящие руки и конечности. Это может существенно повлиять на общее качество генерируемых изображений.

С этой ладонью явно что-то не так

Отсутствие референсов

Еще одна причина плохой генерации рук: отсутствие фотографий людей в полный рост в датасетах. Нейросети достаточно хорошо научились рисовать лица, одежду, тела и пейзажи, но когда на картинке появляются руки, то сгенерированные изображения можно легко отличить от работы реального художника.

В процессе исследования данного явления, компания Stability AI, занимающаяся разработкой нейросетей, сообщила, что для обучения ИИ-художников используются масштабные датасеты, состоящие из десятков миллионов изображений. Чем больше в датасетах присутствует частей человеческого тела, тем лучше нейросеть будет рисовать человека. Но проблема заключается в том, что на фотографиях руки не являются главным объектом съемки, и обычно на исходных изображениях занимают мало места. Также, руки довольно редко бывают сфотографированы крупным планом.

Драгоценности в руках
Драгоценности в руках

Некоторые фото рук, которые есть в датасетах, могут быть не самого высокого качества и изображать лишь отдельные пальцы кисти. Если нейросеть получает много таких фотографий, то она начинает думать, что именно так и должны выглядеть руки. Для того чтобы улучшить работу нейросетей с изображениями рук, нужно дополнительное обучение, которое позволит им не только узнавать внешний вид рук, но и также понимать, как они функционируют и какие ограничения существуют у человеческих конечностей.

Кроме того, руки и конечности представляют собой сложные структуры. Точное моделирование их в двумерном изображении может оказаться сложной задачей для любой нейронной сети. Это может привести к тому, что модель будет генерировать нереалистичные руки даже при наличии достаточного количества обучающих данных.

Исследования в этой области продолжаются. Разрабатываются новые методы и технологии для улучшения способности нейронных сетей генерировать реалистичные изображения рук. Так что в ближайшем будущем, AI обязательно справится с этой задачей.

Почитать другие статьи о нейросетях можно в этом разделе.

Добавить комментарий

Популярные материалы
Самое обсуждаемое
Гайд по авиасимуляторам MFS 2020, X-Plane и прочим Как начать летать Вступление: Приобретая новую видеокарту, или производя апгрейд системы у вас может возникнуть желание погонять свой ...
2 недели назад 1
Нейросеть рисует: знаки зодиака Посмотрели как нейросеть сгенерирует знаки зодиака в стиле японского художника Ёситаку Амано, иллюстраторов Сэма Спратта и Ника Клейна.
4 недели назад 0
Sons of the Forest: где найти лопату Найти лопату в Sons of the Forest — целое приключение. Рассказываем, как быстро отыскать этот полезный инструмент в игре.
4 недели назад 0
Sons of the Forest: Как найти и получить Вирджинию в качестве компаньона В этом руководстве мы расскажем, как получить Вирджинию в компаньона, что она умеет делать и как ей сменить одежду.
4 недели назад 0
Sons of the Forest: читы и консольные команды С помощью консольных команд вы сможете включить режим бога, создавать различные предметы, менять время суток или погоду, бегать и ...
4 недели назад 0
Wo Long: Fallen Dynasty — Время выхода игры и вся информация, которую вам нужно знать Пристегните ремни и приготовьтесь к невероятному приключению в новой экшен-RPG от Team Ninja — Wo Long: Fallen Dynasty.
4 недели назад 0
Wo Long: Fallen Dynasty — Советы и хитрости для новичков В этом гайде мы собрали все советы и подсказки, которые пригодятся для начинающих игроков.
4 недели назад 0
Во что поиграть в марте. Подборка новинок игр Март обещает быть горячим: в этом месяце выйдет несколько динамичных экшенов, ремастеры хоррора Fatal Frame и старого-доброго Resident Evil.
4 недели назад 0
Готовим с нейросетью: рецепты блюд из игр от ChatGPT От острых деликатесов Borderlands до изысканных блюд Final Fantasy — эти рецепты наверняка понравятся как геймерам, так и любителям ...
3 недели назад 0
Как пользоваться новым чат-ботом Bing Чат-бот Bing понимает запросы на 100 языках, может отвечать на вопросы, публиковать выдержки из статей, генерировать креативный ...
3 недели назад 0
X