ИА "Ореанда-Новости". Специалисты из Израиля разработали нейросеть, которая может создать изображение на основе крупного словесного описания объекта без чётких данных о его визуализации. Для примера учёные создали при помощи нейросети фотографии блюда по текстовому рецепту, говорится на сайте Корнеллского университета.

Разработчики используют алгоритмы нейросетей для решения различных задач, связанных с визуальной составляющей. Зачастую это задачи классифицировать картинки либо их обработать. Однако существует массивный пласт задач, связанных с воссозданием изображения с нуля на основе имеющегося текстового описания. В ход обучения такому алгоритму нейросеть учится связывать слова с соответствующими визуальными признаками.

Учёные Тель-Аваиского университета во главе с Нетанелем Йозефианом сумели создать нейросеть, которая формирует изображение даже на основе текста без четких сведений о его визуальных данных.

Разработчики подчёркивают, что в основу их работы легли научные труды других исследователей, которые смогли сформировать базу данных из почти 800 тысяч пар рецептов и изображений блюд.

Алгоритм, который удалось создать израильским учёным, берёт в работу полноценные рецепты с полным списком ингредиентов и поэтапным описанием приготовления. Описание при этом занимает десятки строк.  На начальном этапе алгоритм считывает отдельно рецепт и ингредиенты, после чего переводит их в отдельные вектора. Затем вектора проходят процедуру совместного вложения, в ходе которой появляется единый вектор. Условная генеративно-состязательная нейросеть StackGAN-v2, с которой исследователи работали, превращает этот вектор уже в изображение блюда.

Нейронная сеть представляет собой систему соединённых и взаимодействующих между собой простых процессоров . Как правило,  такие процессоры обычно просты, каждый фрагмент сети имеет дело только с сигналами, которые он периодически получает, и сигналами, которые он периодически посылает другим процессорам. Когда сигналы соединяются в достаточно большую сеть с управляемым взаимодействием, нейросеть способна выполнять довольно сложные задачи. Разработки в сфере нейронных сетей начались в 1943 году.