题  目：Is Relevancy Everything? A Deep Learning Approach to Understand the Effect of Image-Text Congruence（图文一致最好？基于深度学习方法来探索图文一致性对消费者选择的影响）

时  间：2024年10月29日（星期二），13:30-15:00

地  点：后主楼1722会议室

主讲人：曹竞存 助理教授（香港大学）

主持人：龚诗阳 教授（北京师范大学）

摘要：Firms increasingly use a combination of image and text description when displaying products and engaging consumers. Existing research has examined consumers' response to text and image stimuli separately but has yet to systematically consider how the semantic relationship between image and text impacts consumer choice. In this research, we conduct a series of multi-method empirical studies to examine the congruence between image- and text-based product representation. First, we propose a deep-learning approach to measure image-text congruence by building a state-of-the-art two-branch neural network model based on Wide Residual Networks (WRN) and Bidirectional Encoder Representations from Transformers (BERT). Next, we apply our method to data from an online reading platform and discover a U-shape effect of image-text congruence: consumers' preference towards a product is higher when the congruence between the image and text representation is either high or low than when the congruence is at the medium level. We then conduct experiments to establish the causal effect of this finding and explore the underlying mechanisms. We further explore the generalizability of the proposed deep learning model and our substantive finding in two additional settings. Our research contributes to the literature on consumer information processing and generates managerial implications for practitioners on how to strategically pair images and text on digital platforms.

公司在展示产品和吸引消费者时，越来越多地使用图像和文字描述的组合。现有研究已经分别广泛地探索了消费者对文字和图像的反应，但尚未系统地考虑图像和文字之间的语义关系如何影响消费者选择。在这项研究中，我们通过一系列多方法实证研究来研所基于图像和文字的产品语义一致性，对于消费者选择的影响。首先，我们提出了一种深度学习方法，通过构建一个基于WRN和BERT的双分支神经网络模型，来测量图文一致性。接下来，我们将我们的方法应用于来自真实场景下的数据，并发现图文一致性对消费者偏好有U形效应：当图像和文字表示的一致性较高或较低时，消费者对产品的偏好比一致性处于中等水平时更高。然后，我们进行实验以确定这一发现的因果效应并探索其潜在机制。我们的研究对消费者信息处理的文献作出了贡献，并为在数字媒体平台上如何优化配对图像和文字来提高运营效率，提供了管理学启示。

演讲嘉宾简介：

曹竞存博士，香港大学经管学院市场营销系助理教授。曹博士获得美国印第安纳大学凯莱商学院市场营销学博士学位，博士辅修统计学。曹博士的研究兴趣主要集中在机器学习在市场营销学中的应用，大数据量化营销，新媒体营销，互联网营销，手机应用手机应用（APP）生态等领域的实证研究。曹博士擅长使用多元化的分析方法，包含机器学习、计量经济学、统计学、田野实验等实证方法，研究消费者行为和企业营销战略决策。曹博士在与企业合作，对企业进行数据赋能、流量变现、精准营销、品牌定位等方面有着丰富的经验。曹博士在美国印第安纳大学和香港大学教授市场学原理、大数据营销、数据科学家等本科及高管类课程。曹博士的研究曾发表于Journal of Marketing Research, Management Science, PNAS等国际期刊。