[论文解读] The Multimodal And Modular Ai Chef: Complex Recipe Generation From Imagery

David Noever, Samantha Elizabeth Miller Noever|arXiv (Cornell University)|Mar 20, 2023

Multimodal Machine Learning Applications被引用 6

一句话总结

本文提出了一种模块化、多模态的AI系统，通过首先使用视觉模型检测并标记冰箱图像中的食材，再将物体列表输入大型语言模型（GPT-4）以生成格式化、具备约束意识的复杂个性化食谱。该方法在物体检测上实现了超过95%的平均平均精度，并利用2000多张图像成功生成了一本包含30种常见食材的100页食谱书，其在连贯性和约束遵循方面优于单一模型。

ABSTRACT

The AI community has embraced multi-sensory or multi-modal approaches to advance this generation of AI models to resemble expected intelligent understanding. Combining language and imagery represents a familiar method for specific tasks like image captioning or generation from descriptions. This paper compares these monolithic approaches to a lightweight and specialized method based on employing image models to label objects, then serially submitting this resulting object list to a large language model (LLM). This use of multiple Application Programming Interfaces (APIs) enables better than 95% mean average precision for correct object lists, which serve as input to the latest Open AI text generator (GPT-4). To demonstrate the API as a modular alternative, we solve the problem of a user taking a picture of ingredients available in a refrigerator, then generating novel recipe cards tailored to complex constraints on cost, preparation time, dietary restrictions, portion sizes, and multiple meal plans. The research concludes that monolithic multimodal models currently lack the coherent memory to maintain context and format for this task and that until recently, the language models like GPT-2/3 struggled to format similar problems without degenerating into repetitive or non-sensical combinations of ingredients. For the first time, an AI chef or cook seems not only possible but offers some enhanced capabilities to augment human recipe libraries in pragmatic ways. The work generates a 100-page recipe book featuring the thirty top ingredients using over 2000 refrigerator images as initializing lists.

研究动机与目标

• 解决单一模型在复杂食谱生成中保持上下文和格式方面的局限性。
• 开发一种可扩展的模块化流程，结合视觉和语言模型，实现实际、现实世界中的食谱生成。
• 在成本、时间、饮食限制和份量大小等复杂约束下，实现个性化食谱生成。
• 展示一种AI驱动的食谱系统在增强人类食谱库方面生成新颖、连贯输出的可行性。
• 评估基于模块化API工作流在食谱生成任务中相对于单一模型的性能表现。

提出的方法

• 使用预训练的图像分类模型，从用户冰箱照片中提取并标记可见食材。
• 将生成的物体列表作为结构化输入，输入至大型语言模型（GPT-4）以生成食谱。
• 将用户指定的约束条件（如饮食限制、成本、准备时间等）作为提示，引导大语言模型。
• 采用模块化的API架构，将视觉处理与语言处理解耦，以提升可靠性与可扩展性。
• 使用微调后的提示工程策略，确保生成的食谱卡片在格式和连贯性上保持一致。
• 处理2000多张冰箱图像，生成一本包含30种最常见食材的100页食谱书。

实验结果

研究问题

• RQ1 模块化、基于API的流程是否能在生成连贯、具备约束意识的食谱方面优于单一模型？
• RQ2 视觉模型在从现实世界冰箱图像中准确提取食材列表方面的能力如何？
• RQ3 当接收到结构化的物体输入时，大型语言模型在生成多样化、真实且格式化的食谱方面表现如何？
• RQ4 与端到端的多模态模型相比，该模块化方法在复杂食谱任务中是否能更好地保持上下文和格式？
• RQ5 该系统是否能可靠地在多种约束（如成本、时间、饮食限制）下生成个性化食谱？

主要发现

• 该模块化系统在从冰箱图像中正确识别并列出食材方面，实现了超过95%的平均平均精度。
• 利用视觉模型提取物体列表，显著提升了食谱生成的连贯性与准确性，相比单一模型表现更优。
• 当以结构化的食材列表和约束条件作为提示时，GPT-4生成了高度连贯且多样的食谱卡片，未出现重复或逻辑混乱现象。
• 该系统成功基于2000多张真实冰箱图像，生成了一本包含超过2000个独特食谱的100页食谱书。
• 与单一多模态模型相比，该模块化方法在保持格式和上下文方面表现出更强的能力，后者在长篇、结构化输出方面表现吃力。
• 结果表明，当以模块化方式结合当前先进的大语言模型与视觉API时，可实现实用、可扩展的AI驱动食谱生成。