[论文解读] Product Title Generation for Conversational Systems using BERT

Mansi Ranjit Mane, Shashank Kedia+3 more|arXiv (Cornell University)|Jul 23, 2020

Topic Modeling参考文献 20被引用 6

一句话总结

本文提出了一种基于 BERT 的生成式序列到序列模型，用于从短小、适合展示的网页商品标题生成自然、口语化的商品标题，适用于语音激活的电子商务系统。尽管标注数据有限，该 BERT 模型在自动指标（ROUGE）和人工评估中均优于基线的序列到序列模型和 Ptr-Net 模型，生成的标题更加流畅、重复更少且事实准确，同时有效保留了品牌和数量信息。

ABSTRACT

Through recent advancements in speech technology and introduction of smart devices, such as Amazon Alexa and Google Home, increasing number of users are interacting with applications through voice. E-commerce companies typically display short product titles on their webpages, either human-curated or algorithmically generated, when brevity is required, but these titles are dissimilar from natural spoken language. For example, "Lucky Charms Gluten Free Break-fast Cereal, 20.5 oz a box Lucky Charms Gluten Free" is acceptable to display on a webpage, but "a 20.5 ounce box of lucky charms gluten free cereal" is easier to comprehend over a conversational system. As compared to display devices, where images and detailed product information can be presented to users, short titles for products are necessary when interfacing with voice assistants. We propose a sequence-to-sequence approach using BERT to generate short, natural, spoken language titles from input web titles. Our extensive experiments on a real-world industry dataset and human evaluation of model outputs, demonstrate that BERT summarization outperforms comparable baseline models.

研究动机与目标

• 解决将简短、非对话式的网页商品标题转换为语法正确、自然口语化标题的挑战，以适用于语音助手。
• 为大规模、动态的电商商品目录开发一种低资源、可扩展的解决方案，用于生成个性化、口语化表达的商品标题。
• 评估预训练语言模型（如 BERT）在数据稀缺条件下用于电商摘要生成（抽象式摘要）的有效性。
• 通过生成能自然融入对话流程的标题，提升语音购物的用户体验。

提出的方法

• 微调一个基于 BERT 的序列到序列模型，用于将商品网页标题抽象式摘要为口语化标题。
• 使用自回归生成的解码器，从输入标题生成流畅、语法正确的标题。
• 应用注意力机制和位置编码，以保留输入与输出之间的语义和结构关系。
• 利用 BERT 在大规模文本上预训练的优势，提升泛化能力，尤其针对未登录词和罕见商品术语。
• 实施覆盖损失和软长度约束，以减少词语重复并控制输出长度。
• 在真实世界电商数据集上进行训练与评估，该数据集仅包含有限的人工标注真实标签。

实验结果

研究问题

• RQ1 基于 BERT 的抽象式模型能否有效从简短、网页优化的标题中生成自然、口语化表达的商品标题？
• RQ2 在流畅性、事实一致性和重复性方面，基于 BERT 的摘要方法与传统序列到序列模型及 Ptr-Net 模型相比表现如何？
• RQ3 在低资源设置下，BERT 对未登录词和罕见商品属性的泛化能力如何？
• RQ4 该模型在生成的标题中是否有效保留了关键事实属性，如品牌、数量和商品类型？
• RQ5 与基线模型相比，人工评估者如何评价 BERT 生成标题的质量和自然度？

主要发现

• 该 BERT 模型在所有模型中平均重复词数最低（0.17262），显著低于 Transformer 模型（0.18795），有效减少了重复。
• 在人工评估中，尽管 Transformer 模型的 ROUGE 分数略高，但 BERT 模型在整体质量评分上更高。
• 该 BERT 模型在 ROUGE-1、ROUGE-2 和 ROUGE-L 指标上均优于所有基线模型，表明摘要整体质量更优。
• 该模型在大多数情况下成功保留了关键属性，如品牌名称（例如 'Great Value'、'Lucky Charms'）和正确的单位（例如 '20.5 ounce box'、'6 count'）。
• 在某些情况下，BERT 模型纠正了真实标签中错误或不一致的数量信息，体现出更强的鲁棒性和事实一致性。
• 带有覆盖损失的 Ptr-Net 模型表现不如标准 Ptr-Net，表明在此情境下，覆盖损失可能对词语多样性与流畅性产生了负面影响。