收录于话题
【编者按】商业广告的根本目的是要促进产品销售或提升品牌认知。通常而言，衡量广告传播效果的关键指标包括销售与转化效果、投资回报率、触达率、点击率、品牌感知度和受众反应等，其中，又以受众反应为最根本指标。倘若受众对一则广告无感甚至反感，那么这次广告传播就是失败的，无论是促进销售，还是品牌建设，都无从谈起。
注：ACMMM会议是由国际计算机学会（ACM）主办的多媒体领域的顶级国际学术会议，同时也是中国计算机学会推荐的A类国际学术会议（CCF-A）。自1993年举办以来，今年是第32届。会议议题涵盖多媒体计算的各个方面，如多媒体内容分析、多媒体检索、多媒体安全、人机交互、计算机视觉等。
吴明辉，连续创业者，拥有20年企业级服务领域创业和管理经验，25年软件工程开发和算法研究经验，拥有130余项国内外发明专利。于2006年创立中国最大的互联网用户行为和营销数据分析平台秒针系统；于2014年，创立明略数据，不仅将业务范围从线上商业领域拓展至政府服务和线下商业的数字化转型，还将技术能力从大数据延伸到了人工智能领域。2019年，成立明略科技集团。
对视频创意和内容的理解往往因人而异，不同年龄、职业和性别的人的关注点和认知水平也存在差异。目前，业内缺乏这方面的研究，没有可以进行评测的基础，大多数现有的基准都存在两个主要缺点：一是模态数量有限，题目多为选择题，难以测量逻辑推理过程；二是视频中的内容和场景过于单调，仅涉及到对视频内容的客观描述。为此，依托新的评测标准，明略科技创新研发了超图多模态大语言模型（HMLLM），探索不同人口统计、视频元素、脑电图和眼动追踪指标之间的关联。
超图（Hypergraph）简单来说，是数学图论中的一个概念。超图在包括计算机科学、生物学、社会网络分析等在内的许多领域都有广泛应用，比如，在社交网络分析中，超图可以用于表示多人同属一个兴趣小组等复杂关系。
在生成式人工智能领域，超图有着非常重要的意义。其中之一便是超图能够自然地表示复杂的关系和层次结构。例如，在生成文本、图像或音乐时，模型需要理解并生成各种元素之间的关系。超图可以帮助模型更好地捕捉和推理这些关系。进而，通过超图表示复杂的关系和结构，生成式人工智能模型能够更准确地捕捉和理解输入数据的本质特征，从而生成更高质量的内容。
多模态（Multi-modal）是指多种感官，如听觉、视觉、触觉等。一种感官就是一个模态。生成式人工智能通常涉及多种模态的数据，如文本、图像、声音等。超图可以用于表示这些数据之间的复杂关系，实现多模态数据的融合与理解。例如，在生成跨模态内容（如根据文字生成图像）时，超图可以帮助模型更好地理解不同模态数据之间的内在联系。
在HMLLM中，明略科技引入大规模的视频主观多模态评估数据集Video-SME这一新基准。通过收集不同人群在观看相同视频内容时脑电图（EEG）和眼动追踪区域的真实变化，设立了新的任务和协议，分析和评估不同受试者对相同视频内容的认知理解程度。HMLLM可以弥合丰富模态之间的语义差距，并集成视频画面帧与帧之间的信息以执行逻辑推理。明略科技在Video-SME和其他基于视频的生成性能基准上设计了实验，大量实验评估证明了该方法的有效性。
了解一则广告的受众反应，是广告人做消费者洞察时的重要功课。在生成式AI的加持下，广告人可以降本增效地针对不同的人群产出不同的创意内容。让不同的消费者看到不同的内容。但是，只有从消费者主观视角出发，把握不同的消费者看到广告时的主观感受差异，广告的效用才能被最大化释放出来。
以好莱坞动作明星尚格云顿为沃尔沃卡车拍摄的经典广告为例，应用HMLLM可以在视频广告播出的同时，屏幕上显示出机器模拟真实消费者看到视频后的情绪变化，并且主要在三个维度上进行测算：消费者是否理解视频内容，消费者看到视频后的情绪是正面还是负面的，消费者的注意力是否被视频吸引。除此之外，HMLLM还可以对不同的人群进一步分解，对比不同人群观看视频后的反应差异。
更为重要的是，HMLLM还可以对机器模拟人类对收看视频后所产生的主观反应进行详细的归因叙述，也就是不仅可以了解视频中的哪些内容让人产生了不同的反应，而且还可以说明之所以产生这些反应的原因，从而能够为更高质量地生产更高效用的广告内容提供更多的启发与指导。
HMLLM作为一种全新的范式，能够为广告营销领域研究人员解决非标准模态问题，提供宝贵经验与启示，从而促进大模型领域向人机协同的美好未来迈进。此外，根据明略科技的研判，让机器学习、理解和模拟人类的主观感受，可能是赋予机器主观意识的开端。明略科技提出的新基准Video-SME有望成为该领域的新起点，标志着机器对视频的理解从客观维度向主观维度的转变。
其次，HMLLM创新性地提出了数据集的采集与整合方法。在构建这个数据集的过程中，明略科技面临了多模态数据融合的挑战。部分视频包含脑电数据，部分则只有文字描述，还有些视频既无脑电数据也无文字描述。为了克服这些难题，明略科技开发了一套复杂的数据整合流程，并结合专家评审来确保数据的质量和准确性。此外，明略科技还特别设计了模态缺失的场景，以挑战和提升算法在多模态处理中的鲁棒性。在贡献数据集的同时，HMLLM也注重了数据集的统计学特性，确保样本具有广泛的代表性。这一贡献不仅为AI研究提供了更为真实和复杂的数据环境，还推动了多模态数据处理技术的发展。
其三，针对广告营销行业，HMLLM不仅可以协助广告内容的生成，还可以大幅降低广告前测的成本与泄密风险，特别是能够在助力中国品牌出海方面大有可为。当前，中国品牌出海方兴未艾，了解、尊重和遵守出海目标市场的风土人情、文化习俗、法律法规也是确保出海成功的一项必修课，因此，具有一定样本规模的广告前测必不可少。然而，一来广告前测的成本较高。据了解，在国外一个市场上对一支广告片进行前测的费用至少是一万美元起步，这对于出海的中小企业而言，是一笔不小的开支。二来广告前测时有发生内容提前泄露的风险。那么，在大幅降低前测成本、有效规避泄密风险方面，HMLLM可以成为出海品牌的得力助手。
下一步，明略科技将在提高HMLLM能力和拓展HMLLM服务范围两方面下功夫。在提升模型能力方面，明略科技将利用在社交媒体舆情监测与分析方面积累的成果注入HMLLM当中，极大扩充机器所模拟的人类角色数量到170个以上。在拓展服务范围方面，明略科技将建立AI驱动的全球化创意测试及优化平台，首期将来自全球五大洲的5万个广告案例收集入数据库，了解不同文化背景的人群在观看这些广告时所产生的情绪与情感变化数据。为了实现这一目标，明略科技将把之前展示的产品以SAAS（软件即服务）的形式直接推向海外市场。这意味着，无论是中国品牌出海，还是进入其他国家和地区的市场，明略科技都能提供一种高效且成本相对较低的方法，帮助企业在当地快速测试广告片的文化反馈。
在讲座的最后，李西沙会长与吴明辉就本次讲座的内容进行了深入交流，进一步探讨了HMLLM这项最新的研究成果在广告营销领域的应用场景，特别是对于当下流行的微短剧、短视频以及直播带货等新兴营销形式的适用性。
李西沙会长指出，科技在推动营销领域变革中发挥着重要作用，明略科技的这项研究具有很强的学术前沿性。接下来，要充分应用研究成果，精准洞察消费者，更深入地了解不同受众的真实反应。不仅能为制定更高效的广告策略提供科学依据，还可以为政府治理微短剧和直播带货领域内存在的问题发挥效。
吴明辉表示，目前已有客户在使用HMLLM进行广告前测，并且这种测试不仅限于脑电和眼动数据，还可以整合点击率、转化率等多种指标进行预测。然而，他更看重的是情绪和情感维度的测试，认为这有助于广告回归其本质价值——为消费者带来美好。
对于微短剧和短视频领域，吴明辉表示HMLLM完全能够监测和分析这些内容。他还特别提到了短剧出海和广告植入两个应用场景，认为HMLLM可以帮助创作者更好地理解和满足目标受众的情感需求，提高内容的吸引力和广告植入的效果。
针对西沙会长提出的对直播带货进行测试建议，吴明辉表示接下来将尝试将HMLLM应用于直播带货领域，以揭示消费者在这一新兴购物模式下的真实反应和偏好。