//Нейросеть научили определять рецепты по фото из Instagram
Нейросеть научили определять рецепты по фото из Instagram

Нейросеть научили определять рецепты по фото из Instagram

Фотографии еды в Instagram долгое время остаются одним из ключевых трендов популярного сервиса. Но такие снимки демонстрируют лишь итоговый результат воплощения рецепта в жизнь и не всегда сопровождаются его подробным описанием. Специалисты Facebook анонсировали оригинальный алгоритм, способный разобрать любое блюдо на ингредиенты, просто «взглянув» на его изображение.

Особенностью ИИ-алгоритма Recipe1M стал генеративный подход при распознавании изображения. По заявлению разработчиков, нейросеть не только определяет видимые ингредиенты, сравнивая их с уже имеющейся базой данных, но и прогнозирует полный состав блюда, а также способ его приготовления на основе внешнего вида продуктов, подвергнутых разным видам обработки. Затем кодировщик ингредиентов и декодер команд генерируют заголовок для рецепта и выводят итоговый результат в виде инструкции по приготовлению на экран гаджета.

По сравнению с базовыми алгоритмами распознавания Recipe1M «предсказывает» неочевидные составляющие готовых продуктов — например, масло в составе круассанов. В перспективе разработчики планируют добавить к списку кулинарных умений нейросети и другие полезные опции — например, счётчик калорий. Кроме того, представленный вид обучения ИИ может использоваться для любой задачи, которая требует прогнозирования структурированного текста на основе анализа изображения.