Ученые создали нейросеть, в которой можно рисовать словами

Корейские разработчики из Сеула создали интерфейс для нейронных сетей, позволяющий создавать картины, используя только слова. Об этом сообщает интернет-издание Tproger.

Интерфейс работает следующим образом. Перед пользователем размеченный холст и меню со словами: «вода», «трава», «холм», «горы» и так далее. С помощью курсора он по желанию располагает их на листе, а нейросеть превращает эту словесную схему в изображение. Теперь для создание иллюстраций не нужны эскизы — ИИ все сделает за вас.

Код интерфейса доступен по ссылке.

При написании кода разработчики использовали технологию sg2im. Ее суть в генерации изображений по графу сцены — структурированному представлению визуального контента. Где узлы — объекты, а ребра — отношения между ними. Например, вы задает алгоритм «зебра» – «стоит на» – «земля» и «небо» – «над» – «земля». На выходе программа сгенерирует изображение одинокой зебры, стоящей прямо на горизонте.