Творчество сквозь призму данных: как нейросети помогают искусствоведам и в чем возникают сложности?

Выставка «От слепка до пикселя. Искусство через призму данных» открылась в Пушкинском музее 20 ноября 2024 года. ГМИИ им. А.С. Пушкина представил совместный проект со Сбером, в котором использовались возможности 3D-сканирования и реконструкции изображений от Sber Metaverse Tech.

О процессе создания выставки

Проект нацелен на изучение возможностей нейросетей в рамках работы искусствоведа.

Сперва научные сотрудники отобрали 15 произведений искусства, которые с течением времени потеряли свою изначальную форму и дошли до нашего времени лишь фрагментарно.
Картины, скульптуры и другие артефакты были отсканированы и загружены в систему искусственного интеллекта. Далее искусствоведы задали промт¹ примерно такого формата: «Представь, что нн-ый художник создал это произведение искусства и оно сохранилось до наших дней, как бы оно выглядело?». С помощью такой методики восстановили внешний вид статуи сидящего Гудеа и расписного кувшина в форме лежащей кошки.
Следующим этапом исследований была загрузка картины «Мадонна с Младенцем» Лукаса Кранаха Старшего в генеративную модель² «Kandinsky» от Сбера. На холсте фигуры смещены в правую сторону, из-за чего предполагается, что произведение живописи было обрезано. Используя нейросеть, специалисты воссоздали несколько возможных вариантов первоначального вида картины, написанной в 1520-х годах.
Опыт работы с нейросетями в рамках выставочного проекта заставил кураторов задуматься о цифровом сохранении произведений искусства³.
Выставка также включает экспонаты, иллюстрирующие эволюцию технологий репродуцирования произведений искусства с XVI по XX век.

Как нейросети видят искусство?

В мае 2024 года редакция Сбер AI сообщила, что искусственный интеллект способен считывать похожие образы с помощью нейросети-детектора: он сканирует объекты на фото и присваивает его к определенному классу. Технология распознавания образов с помощью нейросетей анализирует изображения и видео, сравнивая данные с базой изображений.
Однако во время дискуссии на тему «Кандинский или Кранах? Искусствоведы в диалоге с искусственным интеллектом» руководитель направления Сбер AI Ксения Кузнецова рассказала участникам дискуссии, что проблема нейросетей в работе с искусством заключается в восприятии технологии. Искусственный интеллект считывает произведения попиксельно, а не мазками и образами. Именно поэтому достаточно сложно научить нейросети воспринимать искусство подобно человеку.

Слабое место — руки

Наша редакция поговорила с промт-инженером⁴ проекта «От слепка до пикселя. Искусство через призму данных». Евгения Бессараб поделилась волнующей ее проблемой: «У человека, созданного нейросетью, иногда вылезает 6 пальцев, 107 пальцев или получается ухо, вместо носа».
Создатели нейросети Stable Diffusion объяснили, что модели искусственного интеллекта обучаются на массивах данных, включающих миллионы изображений. Качество изображения отдельных частей тела, например, рук, в этих данных напрямую влияет на способность ИИ⁵ точно их воспроизводить. Однако, поскольку руки реже, чем другие части тела, представлены на изображениях в обучающих наборах, нейросети испытывают сложности с их реалистичным изображением.
«Принято считать, что в датасетах, на которых обучают ИИ, человеческие лица более заметны, чем руки. Кроме того, руки довольно редко показывают крупным планом, так что на исходных изображениях они обычно занимают мало места».
Ассоциированный профессор Университета Флориды, Амелия Вингер-Берскин, специалист в области искусственного интеллекта и искусства, объясняет проблемы ИИ с изображением рук следующим образом: «ИИ ориентируется на то, как руки выглядят на изображениях из датасета, но там есть множество нюансов. Обычно руки что-нибудь держат, иногда — держатся за кого-нибудь. На изображениях руки редко бывают такими (профессор показывает растопыренную пятерню). Если бы они были такими на всех изображениях, то ИИ идеально бы их воспроизводил». Кроме того, частое присутствие в обучающих данных лишь фрагментов кистей или пальцев приводит к искаженному представлению о том, как должны выглядеть руки. Вингер-Берскин считает необходимым дополнительное обучение ИИ, чтобы он не только распознавал визуальные характеристики рук, но и понимал их функциональность и анатомические ограничения.

1. Промпт (от англ. prompt) — это запрос к нейросети с целью получить желаемое изображение или текст. Чем четче и правильнее прописан промпт, тем более релевантным будет результат.
2. Генеративная модель — это математическая или статистическая модель, которая способна создавать новые данные, имитируя распределение вероятностей исходного набора данных. Такие модели используются в различных областях, включая машинное обучение, искусственный интеллект и анализ данных.
3. Цифровое сохранение произведений искусства — это процесс создания цифровых копий (сканирование, фотографирование, 3D-сканирование и т. п.) и последующая их оцифровка для хранения в цифровом виде. Это позволяет уберечь произведения искусства от физического износа, порчи, утраты или стихийных бедствий. Кроме того, цифровые копии обеспечивают доступ к произведениям искусства для широкого круга людей, в том числе для тех, кто имеет ограниченные возможности здоровья.
4. Промт-инженер — это специалист, который создаёт и настраивает промпты для языковых моделей. Он формулирует запросы и инструкции для моделей искусственного интеллекта, чтобы они могли генерировать тексты, отвечать на вопросы, создавать изображения и выполнять другие задачи в соответствии с заданными параметрами.
5. Искусственный интеллект