AI生成音乐中的味觉—声音对应关系:跨文化评估

AI生成音乐中的味觉—声音对应关系：跨文化评估

arXiv:2608.03433v1

摘要

“声音调味”（sonic seasoning）研究已经表明，听者会系统性地把味觉意义和情绪意义赋予声音；近年来，文本到音乐（text-to-music）的生成式人工智能（AI）也开始被用于把味觉提示词转化为音乐刺激。然而，这类模型所习得的味觉—声音对应关系，是否能够超越其最初验证时所处的文化语境，迄今仍未得到检验。

本研究将一项最初只在意大利进行的单一国家研究扩展为一项覆盖阿根廷、意大利和日本三国的在线实验（N = 361）。这三个群体横跨三个大洲，并代表三种不同的饮食与音乐传统。参与者首先在由四种味觉提示词——甜、酸、苦、咸——生成的基础版 MusicGen 与微调版 MusicGen 音乐片段之间做偏好选择；随后，他们又依据十二个味觉、情绪与温度描述词，对微调版生成的片段进行评分。

结果显示：阿根廷和意大利参与者显著偏好微调模型，但日本参与者并未表现出同样倾向；“咸”这一提示词在三个群体中都产生了最弱的对应关系。三国参与者的原始评分存在显著差异，但在对每位参与者的评分进行被试内标准化以后，“国家”这一主效应不再显著，而刻画“提示词—描述词”映射关系的交互效应却基本保持不变。

因此，表面上显著的跨文化差异，很大一部分可以归因于各群体使用评分量表方式的不同；不过，一个结构性的跨文化差异仍然存在。位于相同声学区域、具有较高频谱粗糙度和感觉不协和度的音乐片段，在意大利与日本主要被标记为“酸”，而在阿根廷则主要被标记为“苦”。探索性因子分析进一步表明，十二个描述词在三个群体中形成了不同的潜在维度结构。

这些结果说明，AI介导的“声音调味”中的跨文化差异至少发生在两个层面：其一，是参与者赋予某个刺激“味觉属性”的总体程度；其二，是这些味觉属性之间的关系结构。因此，在不同人群中评估生成式音乐系统时，应当区分反应风格偏差与真正的知觉结构重组。

关键词：跨模态对应；声音调味；味觉—声音联结；生成式AI；文本到音乐；跨文化知觉；反应风格

1 引言

跨模态对应（crossmodal correspondences）指人们在不同感官模态的特征之间稳定建立的系统性联结。例如，人们往往把高音与“甜”联系起来，把低音与“苦”联系起来，尽管这些感官特征之间并不存在直接的物理对应关系 [1,2]。这类对应关系被认为会影响知觉预期与多感官整合，并为理解一种感官信息如何塑造另一种感官体验提供理论基础 [1]。

在这一语境中，“声音调味”（sonic seasoning）指有意识地利用听觉—味觉对应关系，通过音乐或声景增强或改变味觉与风味体验 [1–3]。越来越多的证据表明，声音调味能够稳定地偏置味觉知觉；与此同时，近期研究也发现，这种效应在一定程度上受到音乐所传递的情绪性质中介。因此，需要进一步区分跨模态对应本身与情感作用各自的贡献 [2,3]。

另一方面，许多跨模态对应看似十分稳固，但越来越多的证据显示，它们的具体表现会受到文化语境塑造 [4–7]。这些对应关系并非完全普遍，也并非完全文化特定，而是结构机制、统计规律、语义机制与情感机制共同作用的结果，其中一些机制比另一些机制更容易受到文化学习影响 [4]。跨文化研究表明，虽然若干音乐—味觉对应在不同人群中具有一致性，另一些对应却会随文化背景变化，反映出感觉经验、语言和习得联结的差异，而不是简单的“东方—西方”二分 [5,6]。

这一问题在音乐领域尤其重要，因为听觉—概念联结不仅受到结构规律塑造，也受到文化习得的情感意义影响 [8]。同样，对某种音乐系统的熟悉度以及长期的文化浸润，会影响不同文化听者对音乐情绪的理解，以及他们组织音乐刺激语义的方式 [9,10]。因此，同样的音乐刺激在不同文化中可能诱发不同的语义与情感反应，最终形成不同的听觉—味觉对应 [11]。

近来，这一研究方向已经延伸到生成式人工智能：文本到音乐模型被用来把味觉提示词转化为音乐刺激，并检验听者是否能从生成结果中感知模型原本试图表达的感觉品质 [12,13]。生成模型因而不再只是创作工具，也开始成为实验工具，用于研究计算模型能否学习和复现人类的听觉—味觉对应，乃至更一般的跨模态规律 [14]。

Spanio 等人 [12] 对 MusicGen 进行了微调，并通过两类互补实验评估其输出：一类是模型比较任务，用于检验微调是否提高了音乐与味觉之间的一致性；另一类是语义评分任务，用于测量生成音乐所引发的味觉、情绪与温度反应。Deng 等人 [13] 则采用另一种方法，把专业声音设计师与“人在回路”的文本到音频生成流程结合起来，制作与味觉相匹配的声景。虽然两项研究在生成策略和评估流程上差异很大，但参与者都能较为可靠地从AI生成的声音刺激中恢复与味觉相关的信息。

这些发现共同说明，生成式AI为研究听觉—味觉对应提供了一个可控、可重复的实验平台。尤其是 Spanio 等人提出的方法，可以从相同味觉提示中生成标准化音乐刺激，再使用相同语义量表，在不同听者群体之间进行系统比较。

然而，AI介导的听觉—味觉对应能否跨文化泛化仍然未知。尽管微调后的 MusicGen 在味觉匹配判断中优于未微调版本 [12]，最初的验证样本文化背景相对同质，因此无法判断模型习得的对应关系是否能超越其最初学习与验证的文化环境。文化自适应音乐表征学习的近期工作进一步加深了这一疑问：现有基础模型仍明显受到以西方音乐为主的训练数据影响，不能假设它们在不同音乐传统之间能够均匀迁移 [15]。如果生成模型从具有文化位置的数据中学习味觉—声音对应，那么它究竟捕捉了广泛共享的知觉规律，还是只是复现了文化特定的语义与情感联结，仍然并不清楚。

第二个挑战来自测量本身。跨文化语义评分不仅可能反映真实的知觉差异，也可能包含系统性的反应风格差异，例如默认同意倾向以及极端作答倾向 [16–18]。因此，要解释跨文化变化，就必须区分“参与者感知到了什么”与“参与者如何使用评分量表”这两个层面。

本研究旨在检验AI介导的声音调味能否泛化到文化差异显著的人群，并在不能泛化时解释差异来源。具体而言，我们考察：微调模型相较未微调模型的优势能否在最初验证文化之外复现；不同国家听者是否以相似方式组织听觉—味觉对应；以及任何观察到的跨文化差异，究竟来自真正的知觉组织差异、文化特定的语义联结、反应风格，还是这些因素的共同作用。

为回答这些问题，我们在阿根廷、意大利和日本开展了跨文化在线实验。这三个国家在饮食传统和音乐传统上都具有显著差异，同时又能够构成相对均衡的三国比较。三国都有高度成熟的饮食传统，食物在文化与社会生活中具有重要地位。意大利烹饪与日本“和食”（washoku）均被联合国教科文组织列入人类非物质文化遗产 [19,20]；阿根廷饮食研究同样指出，食物是文化认同和社会生活的重要组成部分 [21]。由于本实验的刺激来自基本味觉提示，因此不同文化如何表征和解释基本味觉，会直接影响听者如何把味觉与声音联系起来。

三国音乐传统同样差异显著。意大利作为参照条件，是因为本研究直接延续了在意大利完成的原始验证 [12]。日本提供了文化距离更大的比较条件；既有研究已经表明，音乐文化浸润会影响日本听者对音乐情绪意义的感知 [10]。阿根廷则提供一种不同的西方文化视角：它拥有丰富的音乐传统，同时已有较成熟的味觉—音乐对应研究 [22]。纳入阿根廷，也使研究者能够区分“更大文化距离”带来的差异与“西方文化内部不同文化群体”之间的差异，从而避免把研究简化成欧洲与东亚的二元比较。

总体而言，这一设计允许我们检验AI介导的听觉—味觉对应在文化多样人群中是否稳定，并把跨文化研究中经常混为一谈的三类变化拆开：对生成刺激的总体偏好、文化特定的反应风格，以及听觉—味觉对应关系自身的组织差异。图1给出了研究设计概览。

图1｜研究的概念框架。 研究以微调 MusicGen 针对四种味觉提示（甜、酸、苦、咸）生成的音乐片段为对象，通过两条平行路径进行评估并比较结果。一方面，日本、阿根廷和意大利三国听者通过在线问卷（PsyToolkit）对片段作出味觉、情绪与温度判断；另一方面，研究使用 librosa 对同样的片段进行声学特征分析，提取亮度、粗糙度、不协和度等描述指标。两条路径的比较用于回答：不同文化的听者，是否会在同一种声音中“听见”相同的味道？

2 材料与方法

2.1 参与者

研究分别在意大利、日本和阿根廷独立招募三个国家样本。意大利样本由两部分组成：Spanio 等人 [12] 原始意大利数据集中自我认同为意大利族裔的参与者，以及之后采用相同问卷、听觉刺激和实验流程新增招募的意大利参与者。日本与阿根廷样本则专门为本研究招募。

由于前后两批意大利参与者经历了完全相同的实验程序，其数据在后续分析中合并。剔除未完成问卷后，最终样本为 N = 361，其中意大利 n = 117，日本 n = 140，阿根廷 n = 104。研究还收集了一组英语问卷样本，但由于该组文化构成高度异质，不适合三国文化比较，因此未纳入当前分析。

研究方案和问卷获得波伦佐美食科学大学伦理委员会批准（UNISG Ethics Committee, Minutes 19122025）。研究遵循《赫尔辛基宣言》及其后续修订版（2024年10月）的伦理原则。参与完全自愿，且仅限18岁以上成年人。开始问卷前，所有参与者均通过 PsyToolkit 电子方式提供知情同意。研究没有收集可识别个人身份的信息，全部分析均基于匿名化数据。

2.2 材料与刺激

本研究使用与 Spanio 等人 [12] 相同的听觉刺激和实验材料，从而能够直接对最初的意大利实验进行跨文化复现。刺激集合由 MusicGen 文本到音乐模型 [24] 生成的短音乐片段组成，使用模型的两个版本：公开的原始模型，以及 Spanio 等人提出的微调模型。

两个模型都分别针对 sweet（甜）、sour（酸）、bitter（苦）和 salty（咸）四种味觉提示生成音乐片段。所有提示均以英语输入，因为 MusicGen 使用的是 T5 英文文本编码器。研究没有改动原始刺激或实验流程，因此原始意大利数据可以与新招募的意大利、日本、阿根廷参与者直接比较，并置于统一实验框架中分析。对每位参与者，提示词与音频片段的对应、每个任务中片段的呈现顺序以及实验试次顺序均分别随机化。

2.3 实验流程

实验通过 PsyToolkit [23] 在线实施。问卷提供意大利语、日语、西班牙语和英语四种版本，参与者尽可能使用母语作答。英语版只提供给最终未纳入本研究分析的国际样本。除语言翻译外，各版本问卷的结构、刺激、评分量表和实验流程完全一致。

问卷由人口学调查和两个听觉任务组成。

任务1：模型偏好（Model Preference）。用于比较参与者对原始 MusicGen 与微调 MusicGen 生成音乐的偏好。每个试次中，参与者听到两个由同一味觉提示生成的片段，分别来自两个模型，然后在 0–10 的滑块上标记偏好，滑块两端分别对应两个片段，5 为中点。全文统一将分数方向处理为：高于5代表偏好微调模型。

任务2：语义评分（Semantic Rating）。参与者需要在十二个 1–5 分量表上评价微调模型生成的音乐片段，量表涵盖三类维度：四个味觉描述词（甜、酸、苦、咸）、六个情绪描述词（快乐、悲伤、愤怒、厌恶、恐惧、惊讶），以及两个温度描述词（热、冷）。全文把这十二个评分项目统称为“描述词”（descriptor）。

论文中特别区分 prompt（提示词） 与 descriptor（描述词）：前者专指用于条件控制生成模型的味觉词，后者专指参与者评分时面对的十二个语义项目。即使两者词面相同，也不混用。

对每名参与者，提示词—音频分配、每个任务中的片段顺序和任务顺序均独立随机化。样本量由附录A所述蒙特卡洛功效分析确定。依据初步的意大利数据，每个国家约80名参与者即可达到80%的统计功效，以检测预期的中等大小 prompt 主效应。三国实际样本量均超过这一目标。

人口学问卷收集年龄、性别、自报族裔、出生国、居住国、自报音乐经验（hearing experience）与饮食经验（eating experience）。参与者自由填写的国家名称在分析前统一标准化为英文标签。

2.4 统计分析

所有分析均在 R [25] 中完成。完整分析代码（数据读取、模型、图表）公开于作者代码仓库，问卷数据及音频刺激则归档于 Zenodo。

2.4.1 人口学等价性

研究首先检验三个独立招募群体在背景变量上是否可比。年龄使用 Kruskal–Wallis 检验；性别、音乐经验和饮食经验则使用列联表 Fisher 精确检验（稀疏单元采用 Monte Carlo 模拟）。任何在群体之间存在差异的变量，都作为干扰协变量纳入后续知觉评分模型。

2.4.2 任务1：模型偏好

由于五个试次嵌套在参与者内部，因此分析单位设为参与者。研究先计算每位参与者所有试次的平均值，也计算各味觉提示下的平均值，再基于这些均值进行推断检验。参与者均值不服从正态分布（Shapiro–Wilk p < .001），因此采用非参数方法。

对每个国家，使用 Wilcoxon 符号秩检验比较 H0: μ = 5 与 H1: μ > 5；高于5表示偏好微调模型。研究报告秩二列相关 r 作为非参数效应量，并以 bootstrap 给出95%置信区间。国家之间的差异使用 Kruskal–Wallis H 检验，并报告基于 H 的 η²；显著的总体效应再采用 Dunn 两两比较与 Bonferroni 校正 [26]。各国家内部按提示词进行的 Wilcoxon 检验同样进行 Bonferroni 校正，以确定究竟哪些味觉提示推动总体偏好。

作为稳健性检验，研究还直接针对试次级数据拟合线性混合模型，为参与者和刺激分别设随机截距，并分别在每个国家内及跨国模型中进行检验。

2.4.3 任务2：知觉评分

在评分任务中，1–5 分作为因变量，数据整理成长格式，每条观测对应一个“参与者 × 提示词 × 描述词”组合。按照 [12]，主模型只纳入性别报告为 Male 或 Female、且不属于 Professional Eaters 的参与者，因为其他类别样本过少，无法进行可靠推断。

主要固定效应模型为：

ounter(linevalue ~ group × prompt × descriptor + hearing_experience + eating_experience + gender

研究使用 car::Anova 计算 Type III 平方和，并对所有分类变量使用和为零（sum-to-zero）对比，使低阶项即便在三重交互存在时仍可解释。残差存在异方差，但在当前样本量下被认为尚可接受 [27–29]。完整 ANOVA 表见附录A的表A7、A8；研究还分别对三国进行了不含 group 因子的 ANOVA（表A9）。

由于每位参与者提供36个嵌套评分，而多个参与者还会评价同一音乐片段，研究进一步拟合具有相同固定效应结构、并含参与者与刺激歌曲交叉随机截距的线性混合模型：

ounter(line(1 | participant) + (1 | song)

正文保留固定效应 ANOVA 作为主表，以便与此前意大利研究比较，但只有当混合模型与 ANOVA 方向一致时，才把 ANOVA 结果视为得到支持。

研究还进行两项跨文化稳健性复核：其一，把主模型中剔除的参与者重新纳入；其二，排除旧一批意大利数据重新拟合总体模型。另行拟合意大利内部混合模型，用于检验数据采集批次及其与 prompt × descriptor 结构的交互。

2.4.4 反应风格诊断与敏感性分析

反应风格指参与者不依赖项目内容、习惯性地使用评分量表的某种方式，它会混淆跨文化评分 [16–18]。研究计算两项参与者级指标：

ARS（Acquiescence Response Style）：每位参与者36个评分的平均值；
ERS（Extreme Response Style）：其中等于1或5的评分比例。

两项指标通过 Kruskal–Wallis 检验比较不同国家。研究还进行了方差齐性（Levene）检验，结果见附录表A13–A15。

随后，研究对每位参与者的评分进行被试内 z 标准化：每个评分减去该参与者36个评分的均值，再除以其被试内标准差。只有一名参与者由于被试内方差为零，在该分析中被排除。由于这种标准化在设计上移除了参与者之间的总体位置和尺度差异，因此真正有信息价值的项是 group × descriptor 以及 group × prompt × descriptor，它们反映映射结构是否改变，而不是总体打分高低是否改变。

2.4.5 标注者间一致性

对每个“歌曲 × 味觉描述词”单元，研究把所有评分者视为标注者，并在1–5 Likert量表重新缩放至[0,1]后计算两项一致性指标：平均两两距离 MPD，即同一单元中任意两位评分者 |xi − xj| 的平均值，数值越小越好，0 表示完全一致；以及使用区间距离 δ²(a,b)=(a−b)² 的 Krippendorff α，1表示完全一致，0表示偶然水平。

由于 α 对共同线性变换不敏感，因此无论使用原始评分还是国家内标准化评分，α 相同。研究还计算了序数距离版本作为敏感性检验。每个国家的 α 通过汇总四个味觉描述词对应的“歌曲—描述词”单元得到。

2.4.6 因子结构比较

研究使用 psych 软件包 [30] 对十二个描述词进行探索性因子分析，采用最大似然提取与 oblimin 斜交旋转；每个国家和合并样本应保留的因子数由平行分析确定。跨国比较使用 Tucker 一致性系数 [31]：高于0.95通常表示因子等价，0.85至0.95之间表示较好的相似性。

这些因子解只作探索性解释。特别是，意大利三因子解中 sweet 项出现 Heywood case：载荷接近1.00、残差方差接近0，因此意大利结构只能被视为描述该群体如何划分语义空间，而不能视作稳定测量模型。

2.4.7 声学表征

为了检验低层声学线索是否构成跨文化差异的基础，研究对100个微调模型生成片段（每种 prompt 25个）提取 Deng 等人使用的八类声学描述指标：频谱质心（亮度）、带宽（频率内容）、rolloff（尖锐度）、基频（音高）、spectral flux（粗糙度）、起音强度（发音/攻击显著度）、速度（tempo）以及过零率（不连续性/噪声性）。此外还计算了采用 Sethares 参数化方式的 Plomp–Levelt 感觉不协和指数 [33]。按照 Deng 等人的处理方式，这些指标主要用于比较不同 prompt 之间的相对模式，而非解释为绝对阈值。

3 结果

下面的分析按照问题逐渐具体化的顺序展开。首先验证三个群体在背景变量上是否可比较；接着考察各国听者是否偏好微调模型（任务1）。随后进入任务2：三个群体是否以同样方式描述同样的音乐片段？如果存在国家差异，这种差异究竟来自量表使用方式，还是来自声音—味觉映射结构本身？接着，研究进一步刻画这一组织结构：同一群体内部听者彼此有多一致？十二个描述词如何聚合为更少的潜在维度？最后，分析视角从听者转向刺激本身，考察生成片段的真实声学特征，以及每个国家把何种味觉标签附着在某种声学轮廓上。

3.1 样本构成

合并样本包括日本140人、阿根廷104人、意大利117人（表1）。背景变量存在显著差异：年龄 H(2)=77.89, p<.001；性别、音乐经验与饮食经验的 Fisher 精确检验也均拒绝同质性假设（Monte Carlo p<.001）。因此三个群体并非背景特征上可互换的样本，这些变量均作为协变量纳入后续评分模型。

表1｜各文化群体人口统计摘要

群体	N	年龄（岁，均值±SD）	男性%	女性%	其他/NA%	完成时间中位数（分钟）
日本	140	27.2 ± 13.3	28.6	68.6	2.9	8.0
阿根廷	104	42.4 ± 15.0	49.0	50.0	1.0	8.0
意大利	117	34.2 ± 14.7	53.8	43.6	2.6	8.0
合并	361	33.9 ± 15.5	42.7	55.1	2.2	8.0

3.2 任务1：模型偏好

任务1提出了研究中最直接的问题：当听者面对两个由同一味觉提示生成的片段时，他们是否更偏好微调模型所产生的版本？量表范围0–10，5为中点，因此参与者均值高于5表示偏好微调模型，低于5则偏好基础模型。

结果呈现出清晰的“部分复现”。对参与者均值进行单侧 Wilcoxon 符号秩检验显示：阿根廷参与者偏好微调模型（中位数=5.6，秩二列 r=.29，95% CI [.08,.51]，p=.006），意大利同样如此（中位数=5.2，r=.30，[.09,.50]，p=.003）；日本则没有表现出这一偏好（中位数=5.0，r=−.15，[−.34,.05]，p=.93）。阿根廷与意大利的效应量较小，而日本效应与零不可区分。

三个国家直接比较也存在显著差异，H(2)=11.47，p=.003，η²=.03。Dunn 事后比较显示，这种差异来自日本与阿根廷、以及日本与意大利之间的比较（两者校正后 p=.006）；阿根廷与意大利无差异（p=1.00）。针对试次级数据、含参与者与刺激随机截距的线性混合模型复现了同样模式：相对中性点，阿根廷估计偏好 +0.43（p=.012），意大利 +0.47（p=.021），日本 −0.15（p=.33）；国家效应 p=.003。因此结论并不依赖于如何处理“试次嵌套在参与者内部”的结构。

图2进一步显示这种优势来自哪些 prompt。阿根廷和意大利的优势主要集中在 sweet 和 sour（Bonferroni 校正后 r=.34–.60，所有 p≤.010）；跨国差异也集中在这两项：sweet H(2)=16.45, p<.001；sour H(2)=13.37, p=.001。日本中位数均接近中性点。bitter 与 salty 没有可靠的跨国差异。值得注意的是，salty 是总体表现最弱的 prompt：阿根廷基本位于中点，意大利和日本甚至低于中点。由于三个群体都以同样方式失败，这更像是微调模型生成“咸”刺激本身的局限，而不是某个国家特有的失败。

图2｜各味觉提示与文化群体中的模型偏好。 每个面板对应一个国家。点表示参与者均值的中位数，竖线表示 bootstrap 95%置信区间，虚线为中性点5。高于5表示偏好微调模型，低于5表示偏好基础模型。

3.3 任务2：知觉评分

任务1说明三个群体对模型给出了不同总体判断。任务2则进一步询问：他们究竟如何听这些片段？每位参与者都需要针对同样的微调音乐片段，在十二个描述词上评分。核心问题是“国家 × prompt × descriptor”这一三维评分结构在三国是否具有同样形状。

表2左半部分给出原始评分的 Type III 总体 ANOVA。最大效应是 group 主效应，F(2,11768)=436.22，p<.001，即三国总体打分水平不同。但真正关键的结果是 group × prompt × descriptor 三重交互，F(66,11768)=2.96，p<.001；它回答的是：四种提示在十二个描述词上的评分轮廓，三国是否同形？结果是否定的。group × descriptor 也显著，F(22,11768)=14.43，p<.001；原始评分中的 group × prompt 较小，F(6,11768)=2.43，p=.024。

不过，所有与群体有关的项尽管高度显著，单项解释方差都很小（所有 partial η²≤.03）。因此，它们应被理解为“有结构、但幅度不大”的跨文化趋势，而不是知觉系统被彻底重组。

两项复核证明该结构不是建模方式或样本构成造成的假象。第一，采用相同固定效应并增加参与者、歌曲交叉随机截距的混合模型后，三重交互仍高度显著（p<.001），group、prompt、descriptor 和 group×descriptor 也得到确认；只有原始 ANOVA 中 group×prompt 的效应不再显著（p=.428）。因此，研究把三重交互而非 prompt 层面的国家偏移视为稳定的跨文化信号。歌曲层面的方差远小于残差（σ_song=.04 对 σ_residual=1.01），说明单首歌曲的特殊性得到控制，但并未驱动结果。

第二，把主模型原先剔除的少量性别类别与专业饮食者重新纳入，或剔除旧一批意大利样本，都不会实质改变四个与 group 有关的效应；group×descriptor 与三重交互在所有模型变体中都保持 p<.001。意大利内部，采集批次本身对评分无效应（p=.81），也不与 prompt×descriptor 结构发生交互（p=.28）。

不过，如此大的 group 主效应本身存在歧义：它可能意味着日本听者真的“听见了更多味道”，也可能仅仅意味着他们使用1–5量表的方式不同。下一节将两种可能性拆开。

3.4 区分量表使用与知觉结构

三个群体的反应风格存在显著差异（图3）。日本参与者的 ARS，也就是36个评分的平均值，为2.69，明显高于阿根廷1.98和意大利1.97；但日本的 ERS——取值为1或5的比例——只有0.26，低于阿根廷0.48和意大利0.47。Kruskal–Wallis 检验均高度显著（ARS p=6.84×10⁻³⁵；ERS p=8.61×10⁻¹⁸）。换言之，日本参与者平均打分更高，却更集中在量表中部；阿根廷和意大利打分整体较低，却更倾向使用极端值。这种模式本身就足以制造一个巨大的 group 主效应，即使他们实际上“听见的内容”并无差别。

研究因此把每个评分相对于该参与者自身的均值和离散度进行标准化。表2右半部分显示变化非常明显：group 主效应完全消失，F(2,11732)=0.002，p=.998，partial η²<.001；group×prompt 也随之消失，F(6,11732)=0.61，p=.723。相反，group×descriptor 与三重交互依旧强，效应量几乎与原始模型相同（partial η²=.028 与 .018）。z标准化后的混合模型给出同样结论：group×prompt 不显著，而三重交互 p<.001。

因此，大部分“国家整体评分不同”其实只是量表使用差异；真正保留下来的，是不同国家在声音—味觉映射结构上的差异。

表2｜任务2评分的 Type III ANOVA：被试内标准化前后比较

项	df	原始 F	原始 p	原始 partial η²	z后 F	z后 p	z后 partial η²
Group	2	436.22	<.001	.069	0.002	.998	<.001
Prompt	3	23.28	<.001	.006	11.51	<.001	.003
Descriptor	11	29.64	<.001	.027	35.44	<.001	.032
Hearing experience	2	31.62	<.001	.005	0.03	.969	<.001
Eating experience	1	3.55	.060	<.001	0.08	.779	<.001
Gender	1	0.91	.340	<.001	0.01	.911	<.001
Group × Prompt	6	2.43	.024	.001	0.61	.723	<.001
Group × Descriptor	22	14.43	<.001	.026	15.54	<.001	.028
Prompt × Descriptor	33	25.58	<.001	.067	28.41	<.001	.074
Group × Prompt × Descriptor	66	2.96	<.001	.016	3.18	<.001	.018

剩余的结构差异可以直接从味觉评分热图看到（图4）。如果模型完整复现了预期味觉对应，那么每个面板中最高值应位于黑框标出的对角线。意大利最接近这一理想状态：sweet—sour—bitter 保留了较清晰对角关系，仅 salty 较弱。阿根廷保留 sweet 与 salty，但 sour 和 bitter 发生交叉映射：sour prompt 拉高 bitter 描述词，而 bitter prompt 又拉高 sour。日本最为弥散，sour 周围出现明显的非对角扩散，salty 则几乎没有匹配。

原始评分显示同样的三种组织，只是叠加了国家整体评分偏移（附录图A1），这也正是研究使用标准化值的理由。情绪和温度描述词也表现出结构差异。原始数据中，sweet 片段整体被评为更快乐、更温暖；sour 与 bitter 更冷、更负面，尤其在阿根廷和意大利明显。日本则在积极与消极描述词上都呈现整体偏高。去除这一整体抬升后，结构差异依然存在（图A3）：sour prompt 在日本最强地招募愤怒、厌恶、恐惧等负面情绪词；bitter 在日本和意大利主要与悲伤对齐；sweet 在三国都与 happy 和 hot 对齐，只是程度不同。

图3｜各文化群体的参与者级反应风格分布。 左图为默认同意/整体偏高指数 ARS，右图为极端反应指数 ERS。日本参与者 ARS 最高、ERS 最低；阿根廷和意大利评分整体更低，但更常使用量表两端。

图4｜任务2 ANOVA 样本中，被试内 z 标准化后的平均味觉评分。 行表示生成片段时使用的 prompt，列表示参与者实际评分的味觉 descriptor。黑框为匹配的 prompt—descriptor 单元；若对应关系忠实，最高值应集中于黑框对角线上。

3.5 听者间一致性

热图是对听者平均后的结果，因此一个群体可能呈现清晰均值结构，同时个体彼此完全不同意。为此，研究使用 MPD 与 Krippendorff α 检验群体内部对单个片段的共享程度。

单元层面的分歧为中等程度，且三国相近：0–1尺度上的平均 MPD 约为0.27–0.29。聚合后的 α 均远低于0.667这一惯常阈值，这对于没有训练的普通听者、仅一次作答、且刺激为AI生成音频的情形并不意外。不过，国家之间仍存在有意义的差异：阿根廷 α=.192，日本 α=.172，约为意大利 α=.103 的两倍；序数距离版本变化不足±.01。

意大利一致性最低，主要因为其 bitter 单元几乎坍缩至随机水平：意大利听者面对 bitter prompt 时，对四种味觉描述词的评分几乎一样。因此，一个有趣现象是：平均对角结构最“干净”的意大利，个体层面的一致性反而最低。这说明本文发现的跨文化差异是从噪声很大的个体判断中浮现出的群体级规律，而非所有听者共享的共识性知觉。

3.6 跨文化因子结构

如果三个群体以不同方式组织描述词空间，这种差异不仅应体现在平均评分，也应体现在十二个描述词之间如何协变。探索性因子分析把共同变化的描述词归为少数潜在维度；Tucker 一致性系数则衡量两个因子解有多相似，1.0表示完全相同，>0.95通常被视为等价，0.85–0.95为较好相似。

平行分析为日本保留4个因子、阿根廷3个、意大利4个。为了可比，将各解截断为3个因子后，一致性仍然很低：日本—意大利0.777，日本—阿根廷0.613，阿根廷—意大利0.460（表3）。所有值均低于等价阈值，其中两项甚至低于“较好相似”下限。参与者 bootstrap 的区间上界仍未达到0.95，说明低一致性不是小样本偶然现象。

图5解释了原因。日本中，sweet、happy、hot 聚为一个积极因子；负面情绪与 sour 聚集；salty 则与 bitter 和 surprise 同组。阿根廷中，salty、sweet、happy 汇聚为“温暖—愉悦”因子；anger、disgust、fear、sour、bitter 共同形成负面情感因子；cold 单独构成第三维，而 hot 与 surprise 同时加载在前两个因子上。意大利中，sweet 几乎成为单项目因子；salty、happy、surprise 形成另一维度；负面情感与 sour、bitter、cold 同载。

这些并不是同一潜在结构的小幅旋转，而是相同描述词集合的不同语义组织：阿根廷主要由情感效价组织，意大利则更接近味觉类别本身。

表3｜三国特定因子解之间的 Tucker 一致性系数

	日本	阿根廷	意大利
日本	1.000	.613	.777
阿根廷	.613	1.000	.460
意大利	.777	.460	1.000

图5｜各群体三因子载荷模式。 蓝色为正载荷，红色为负载荷。意大利解中虚线标记的 sweet 单元为 Heywood case（载荷约1.00、残差方差接近0），因此意大利三因子解只能作探索性解释。

3.7 刺激的声学特征

此前分析都把音乐片段视为固定对象，把听者作为变化来源。本节反过来考察这些片段究竟“听起来是什么样”，因为只有知道三个群体面对的声学证据，跨文化差异才有可解释性。研究对100个微调片段在八类声学描述指标及一个 Plomp–Levelt 感觉不协和指标上进行刻画。

图6有两个特别突出的结果。

第一，微调模型实际上只为一种味觉生成了显著不同的声学指纹：sour。sour 片段比其他味觉明显更亮、更尖、更高、更粗糙，也更具起音显著度：频谱质心约741 Hz，而其他为393–482 Hz；基频250 Hz，而其他为81–127 Hz；spectral flux 40，而其他为23–30。相反，sweet、salty 与 bitter 基本坍缩到同一个暗、平滑、低音高的区域。在特征内 z 标准化空间中，这三类之间的距离只有约0.4–1.1，而 sour 与任何一类的距离都达2.9–3.2。salty 尤其值得注意：它拥有四种 prompt 中最低的频谱质心和音高，却缺乏既往“咸味声音”设计中常见的清脆、打击性轮廓 [13]。这为两个任务中 salty 匹配较差提供了明确的刺激层解释。

第二，尽管模型并没有让 bitter prompt 生成的片段更不协和——事实上它们反而属于四类中最协和的——感觉不协和度却仍然成为听者感知 sour 与 bitter 的共同路径。在100个片段中，不协和指数与合并后的 perceived sour 正相关 r=.25, p=.012，与 perceived bitter 正相关 r=.30, p=.003，与 sweet 负相关 r=−.47, p<.001。频谱粗糙度也呈相同且更强的模式：sour r=.31，bitter r=.41，sweet r=−.57，均显著。也就是说，不协和构成一个能够区分“愉悦—不愉悦”味觉属性的共同知觉轴，却无法把两种负面味觉——酸与苦——彼此分开，这正是酸—苦跨映射得以发生的声学基础。

生成片段的 prompt 代表设计者意图，并不等于听者实际感知。若将每个片段重新按“被感知的主导味觉”分类，也就是四种经反应风格校正的味觉评分中最高者，那么100个片段中只有39个被听成了模型原本试图生成的味觉（表4）。sweet 是唯一被较稳定识别的 prompt（25个中18个正确）；bitter 几乎不被正确听出（25个中仅2个），反而有11个被听作 sour、10个被听作 sweet。

按“被感知味觉”而非“生成意图”分组后，声学差异反而更清晰（附录图A7）：被听作 sweet 的片段最柔和、最协和；被听作 salty 的片段起音最明显、带宽最宽；被听作 sour 或 bitter 的片段最粗糙、最不协和，其中 perceived bitter 最极端。k-means 对 perceived taste 评分的聚类也没有找到清晰四类结构，最佳轮廓系数出现在 k=2，而非k=4，这进一步说明 perceived bitter 与 sour 实际共享同一粗糙、不协和声学区域，而不是两个完全独立的知觉类型。

由于每个片段平均只由约10人评价（范围5–26），主导味觉标签本身存在噪声。对评分者 bootstrap 后，主导味觉在中位数79%的重采样中被复现，但100个片段中仍有9个在过半重采样中发生类别翻转，因此这项重新标记应被视为探索性结果。

表4｜生成 prompt 与被感知主导味觉的对应

生成prompt ↓ / 听到的味觉 →	Sweet	Sour	Salty	Bitter
Sweet	18	2	3	2
Sour	1	10	8	6
Salty	6	6	9	4
Bitter	10	11	2	2

如果分别在每个国家内部计算“被感知味觉”，听者侧和刺激侧分析便汇合起来（图7）。三国对于 sweetness 的映射高度共享：被听作 sweet 的片段都有相同的柔和、协和轮廓，跨国相关 r=.93–.99；粗糙度在每个国家都预测更低的 sweetness，r≈−.42至−.51。

真正不同的是：面对粗糙、明亮、不协和的片段，各国贴上的味觉标签不同。意大利把该区域主要对应 sour（roughness–sour r=.36，roughness–bitter r=.07）；阿根廷则主要对应 bitter（r=.07 与 .40）；日本则两者都相关（.30 与 .29）。阿根廷 perceived bitter 的片段甚至是所有条件中最亮、最粗糙的，约高于总均值0.7 SD；恰好就是意大利和日本听者更常标为 sour 的声学轮廓。日本几乎从不把 bitter 作为主导描述词：99个片段中仅2个，而44个被听作 sour。

因此，三国 perceived sweet 的声学轮廓几乎完全一致，而 perceived sour 与 bitter 的轮廓跨国间相关很低甚至为负。这说明在知觉评分中发现的 sour–bitter 交换，以及日本以 sour 为中心的弥散映射，都能在刺激声学层面得到确认：三国听的是同一批声音，却给它们贴上了不同的味觉标签。

图6｜100个微调片段按“生成时的味觉 prompt”分组后的声学描述指标。 白点表示均值。sour 是唯一明显的声学离群类别；sweet、salty 与 bitter 基本共享暗、平滑、低音高区域。tempo 与过零率在不同 prompt 间几乎没有区分力。

图7｜各群体中不同“被感知味觉”的声学 z 轮廓。 sweet 在三国都表现为柔和、协和；粗糙、明亮、不协和的区域在意大利和日本主要被听成 sour，在阿根廷主要被听成 bitter；日本参与者极少把 bitter 作为主导味觉。蓝色表示高于跨片段均值，红色表示低于均值。

4 讨论

本研究检验AI介导的听觉—味觉对应能否跨文化泛化，以及若不能，差异由何种机制产生。结果表明，这种对应并不能均匀泛化。跨文化差异并不主要表现为“某国整体评分更高或更低”，而更明显地表现为听者如何组织音乐刺激与味觉描述词之间的关系。

两个互补过程共同构成这一现象。第一，文化特定的反应风格影响语义评分的绝对水平；第二，即使控制反应风格后，三国听者对听觉—味觉对应的语义组织方式仍然不同。

在模型偏好层面，本研究部分复现了原始意大利研究。意大利和阿根廷参与者稳定偏好微调 MusicGen，而日本参与者没有。这说明微调带来的收益并不能在所有聆听文化中同等迁移。另一方面，salty 在三国都表现差，说明这更可能是刺激本身的局限，而不是纯粹文化效应。

跨文化比较还修正了原始意大利研究的结论。Spanio 等人 [12] 曾表明，微调模型可以生成与味觉提示更一致的音乐刺激。本研究显示，这个结论部分依赖文化语境：微调优势在三个国家中的两个仍存在，但把所有听者合并后会掩盖相当大的异质性。同样，原始意大利样本中清晰的 prompt—descriptor 结构也并非跨文化不变，而是在三个群体中以不同方式重组。

本研究第二个贡献来自测量方法。只看原始评分，会让人以为国家差异极大，主要因为日本参与者系统性地使用更高、却较少极端的分数。通过被试内标准化控制反应风格后，国家总体效应几乎完全消失；但描述 prompt 与语义 descriptor 关系的交互效应基本不变。这说明跨文化差异不能被简化为“量表使用不同”。即使移除反应风格，不同文化的听者仍以不同方式组织音乐与味觉之间的语义关系。

因此，AI介导的声音调味中的跨文化差异发生在两个独立层面：一个是参与者如何使用语义量表；另一个是听觉信息如何映射为味觉概念。区分两者，对于生成式音乐系统的跨文化评估至关重要，因为不同人群之间的表面差异，有时只是评分行为不同，有时却是真正的语义结构重组。

跨文化重组也意味着，声音—味觉关系并非由直接知觉联结单独决定，而是受到多重认知过程的中介。Deng 等人 [13] 总结了听者为声音赋予味觉意义时反复出现的六种策略：依赖感觉特征、主观偏好、个人经验类比、情感反应、身体反应，以及比喻或内部尺度等认知抽象。其中，只有直接依赖感觉特征较可能不受文化经验强烈影响；其余策略都会受到个体经验，以及听者所处音乐、饮食和语言环境塑造。

本研究结果与这一解释一致。国家差异未必意味着基本知觉机制不同，更可能意味着听者在解释相同音乐刺激时，对这些中介策略采用了不同组合。偏好、熟悉的食物、情绪联结与语言类别共同参与“把一种声音翻译成一种味觉概念”的过程。从这一角度看，本文发现的跨文化重组，是个体层面认知过程在群体层面的统计表现。

4.1 共享的知觉基础

尽管三国存在差异，这些差异仍建立在一个共享的知觉组织之上。最清楚的例子是 sour 与 bitter 的关系。虽然三国给这两种味觉贴的标签不一致，但三个群体都把它们与同一声学区域联系起来：更高的粗糙度和感觉不协和。因此，跨文化差异主要涉及如何解释这些声学线索，而不是是否感知到了这些线索。

这一解释与既有味觉—音乐研究一致。以味觉词为提示的音乐即兴，稳定地把 sour 和 bitter 都与不协和音乐结构联系起来，再通过音高、发音等次级特征区分两者 [22]。使用音阶与和弦的研究也表明，音乐不协和度是组织味觉判断的主要维度之一，支持 sour 与 bitter 位于共同知觉空间相邻区域的观点，而不是各自拥有完全独立的声学定义 [34]。

本研究把这一观察扩展到了AI生成音乐。感觉不协和与频谱粗糙度都同时预测 perceived sour 与 perceived bitter，却与 sweetness 呈反向关系。因此，不协和是区分“愉悦—不愉悦”味觉质量的稳健线索，却不能把 sour 与 bitter 两种负面味觉彻底分开。

这种歧义存在于听者的解释，而不是简单来自生成 prompt。微调 MusicGen 并没有稳定生成“bitter 比其他类别更不协和”的音乐。相反，只要粗糙与不协和出现，听者就可能根据所属文化群体的语义组织方式，把它解释为 sour 或 bitter。Deng 等人 [13] 也报告过“生成意图”与“实际味觉感知”不一致的现象，说明这可能是AI声音调味更一般的性质，而不是本文刺激的特例。

按听者实际感知的味觉重新分类片段后，结论更加清楚：perceived sweet 稳定落在最平滑、最协和的区域；perceived sour 与 bitter 共同聚集在更粗糙、更不协和的区域。这不是对以往研究的否定，恰恰说明AI生成刺激复现了人工设计音乐中已知的宽泛听觉—味觉组织。

salty 则不同。它在所有群体中都是最弱、最不稳定的味觉，这表明问题不太可能仅由文化解释造成。既往研究已经指出，saltiness 的听觉表征本来就较难捉摸，并不存在单一占主导地位的声学轮廓 [13,35]。本研究的声学分析得到相同结论：模型生成的 salty 片段缺少此前与咸味相关的明亮、清脆、起音鲜明特征，因此三国听者都缺乏足够稳定的声学证据来形成一致“咸味”判断。

总体而言，文化差异更像是对共享知觉线索的解释差异，而不是根本不同的听觉表征。生成音乐所携带的声学信息在不同文化中基本相同，但这些信息被赋予何种语义标签，会按照文化习得的解释模式重新组织。

4.2 音乐文化视角

共享知觉基础并不意味着听者会赋予同一音乐线索相同意义。本文结果显示，文化差异恰恰发生在声学线索被解释、并转化为语义类别的阶段。音乐文化浸润（musical enculturation）为此提供了自然解释。长期暴露于自身文化的音乐传统，会让听者习得关于和声、音色、节奏和表现意义的预期；这些预期既影响音乐情绪反应，也影响听者用来描述声音的语义类别 [8–10,36]。

因此，相同声学特征完全可能诱发相似的低层知觉反应，却在不同文化中获得不同解释。本文数据正符合这一模式：意大利样本保留了与模型预设味觉结构最清晰的对应，而日本与阿根廷则以各自方式重新组织同样的声学信息。与其说这体现不同的基本知觉机制，不如说它体现对共同知觉基础的文化特定解释。

4.3 如何理解阿根廷的味觉—音乐映射

阿根廷样本尤其值得讨论，因为过去已有在同一文化语境中研究味觉—音乐对应的行为学文献，因此可与本文直接对照。最突出的结果是系统性的 sour—bitter 交叉映射：在意大利和日本主要被感知为 sour 的那些明亮、粗糙、不协和片段，在阿根廷更常被判断为 bitter。

这与既有行为研究并不完全一致。以味觉描述词为提示的音乐即兴实验曾表明，阿根廷音乐家能够可靠地区分 sour 与 bitter，并赋予两者不同的音乐属性和情绪联结 [22]。因此，本文并不支持“阿根廷的底层知觉基础不同”。更合理的解释是：当听者需要给AI生成音乐贴上味觉标签时，相同声学信息在阿根廷被以不同方式解释。

一个可能原因在于生成刺激本身。第3.7节已经显示，微调 MusicGen 并没有在 sour 与 bitter prompt 之间生成清晰的声学分离。如果两类刺激都占据粗糙、不协和的共同声学区域，听者可能先识别出一种泛化的“不愉悦听觉品质”，之后再选择最符合自身语义表征的味觉词。因此，阿根廷的 sour—bitter 交叉映射很可能是“刺激歧义 × 文化特定语义组织”的交互结果，而不是任一因素单独造成。

因子分析加强了这一解释。与意大利、日本不同，阿根廷的因子结构主要沿情感维度组织，而非由单独味觉类别组织。sour 与 bitter 同 anger、disgust、fear 载荷在一起；sweet 与 salty 则与 happy 聚集（图5）。既有阿根廷研究也发现类似组织：bitter 音乐与痛苦、悲伤关联，sour 音乐诱发不愉悦、恐惧、残酷等感觉，而 salty 与较快乐的情绪内容相关 [22]。Galmarini 等 [37] 还发现，背景音乐对咖啡的情绪体验影响甚至强于对咖啡味觉本身的影响，暗示“情感迁移”在这一文化环境中可能特别重要。

语言也可能参与这一结构。味觉描述词不是情感中性的标签，而是与情感意义紧密相连的概念 [38]；这些概念所诱发的语义联结又会随语言与文化而变化，而非服从单一普遍结构 [5]。因为参与者使用母语问卷，观察到的部分重组可能来自不同语言本身对味觉概念的语义表征差异。这与 Deng 等 [13] 所说的“认知抽象策略”相一致：听者为声音赋予味觉标签时，不仅依赖声学信息，也依赖文化习得的语义知识。

阿根廷结果中 hot 与 surprise 同时加载于多个因子，也提示情感意义参与了语义结构。这两个概念都不能简单归入单一知觉维度。作者提出一种文化层面的假说：hot 可能同时唤起苦马黛茶（mate amargo）传统所带来的沉思式温暖，以及 asado 烧烤围聚的社交氛围；surprise 的双重载荷则可能与探戈和阿根廷民间文化中常见的“苦乐交织”情感特征相容。作者强调这些解释仍属推测，但它们提供了与数据中语义组织一致的文化假设。

4.4 启示与局限

本文结果对生成式音乐系统的评估与开发都有启示。一个模型即使在某种文化语境中表现优秀，也不能仅因提示词“语言上可理解”或输出对某一人群“知觉上连贯”，就假设它能自然泛化到其他文化。跨文化验证必须区分真正的知觉组织差异与反应风格差异，并处理语义评分数据的重复测量结构。更广泛地说，结果进一步支持在生成式音乐模型训练和评估中使用文化多样的数据集，而不是把单一文化基准当作充分验证 [15]。

研究也存在若干局限。第一，虽然三国样本有意最大化文化多样性，但人口统计结构并不相同，因此不能把所有国家差异都解释为纯文化效应。第二，本文采用的反应风格校正故意保持简单；未来可使用测量不变性或潜变量模型，更严格地评估跨文化可比性。第三，因子分析是探索性的，混合模型只有随机截距而没有随机斜率。因此，因子结构应被视为跨文化组织差异的证据，而不是最终测量模型。

第四，刺激生成管线以英语为中心：MusicGen 通过英文训练的 T5 文本编码器接收英文味觉提示。由于三个群体听到的是完全相同的片段，这种生成提示语言在三国之间是常数，因此它本身不能解释为什么微调模型在意大利与阿根廷更受偏好、而在日本没有。这里的偏差范围也很窄，主要存在于文本条件接口：模型的语言表征偏向英语，而其已学习的音频表征空间并没有表现出同样明显的不完整或偏差，尽管训练分布确实偏向西方音乐 [15]。

真正可能受影响的是：每个英文味觉词如何被映射到条件向量。大型语言模型研究显示，提示语言会改变模型输出，激活语言特定、往往也文化特定的知识 [39–41]。这些工作研究的是问答、推理和文本生成，而非文本到音乐，因此这里只能类比。若类比成立，英文 prompt 可能把味觉—音乐映射轻微推向一种更西方化的四味理解。这样的偏差属于所有人共同听到的刺激，而不是某一群体特定的测量伪差；只有当它与听者文化习得的语义组织互动时，才会转化为群体差异。作者把这一点作为假说而非已证实因果。

最后，阿根廷出现的 sour—bitter 重组也不能被理解为“纯文化效应、与刺激无关”。微调模型生成的 sour 与 bitter 本身声学区分有限，这种歧义几乎肯定参与了交叉映射。同时，按国家分别计算的 perceived taste 分析又表明：同样明亮、粗糙、不协和的片段，在意大利与日本稳定被解释为 sour，在阿根廷却稳定被解释为 bitter。当声学材料基本恒定而语义标签发生变化时，最合理的结论是：这种重组来自刺激歧义与文化特定解释之间的交互，而非任一机制单独作用。

5 结论

本研究首次在阿根廷、意大利和日本之间，对AI介导的声音调味进行跨文化评估。微调 MusicGen 虽然成功泛化到三个群体中的两个，但其表现并不具备文化不变性。更重要的是，跨文化差异远不只是总体模型偏好不同：在控制反应风格之后，不同国家听者仍然以不同方式组织音乐与味觉之间的语义关系。

这些发现说明，听觉—味觉对应既包含共享的知觉规律，也包含文化特定的语义解释。AI生成音乐似乎可以复现宽泛的跨模态联结，但不一定能够复现这些联结在不同文化中的具体组织方式。

在方法层面，结果也表明，生成模型的跨文化评估必须区分反应风格与知觉组织。如果不作区分，语义评分差异可能夸大文化分歧，也可能掩盖真实共享的知觉结构。

更广泛地说，本研究展示了生成式AI不仅可以是一种创作技术，也可以成为研究多感官知觉的工具。把AI生成刺激置于文化多样的人群中评估，有望帮助研究者同时理解人类跨模态对应的普遍性与文化特异性。

致谢

本研究部分获得欧盟 NextGenerationEU 计划支持，资助框架为 National Recovery and Resilience Plan（PNRR）。

数据与代码开放

问卷数据、音频刺激与完整分析代码均公开。代码见作者 GitHub 仓库；数据与刺激归档于 Zenodo（DOI: 10.5281/zenodo.20841611，CC BY 4.0）。

附录A 补充方法、表格与图像

本附录按正文“结果”部分的顺序汇集所有补充分析。原文每个表格和图像后均附有“How to read it”说明，以便各小节独立阅读。全部数值均由论文所归档的分析流程，基于与正文相同的数据和模型设定生成。

A.1 样本构成与群体等价性

三个群体独立招募，因此在任何跨文化比较之前，研究先完整描述背景特征并检验它们是否可比。结果显示并不可比：年龄、性别、音乐经验与饮食经验均存在差异，这也是为什么音乐经验、饮食经验与性别会作为协变量进入正文的每个评分模型。

表A1｜各群体扩展人口统计信息

项目	水平	日本	阿根廷	意大利
参与者	N	140	104	117
年龄	均值±SD	27.2±13.3	42.4±15.0	34.2±14.7
年龄	中位数（范围）	21（18–77）	42（18–93）	28（19–75）
完成时间（分钟）	中位数	8.0	8.0	8.0
性别	男	40（28.6%）	51（49.0%）	63（53.8%）
	女	96（68.6%）	52（50.0%）	51（43.6%）
	其他	1（0.7%）	0	2（1.7%）
	未说明	3（2.1%）	1（1.0%）	1（0.9%）
音乐经验	专业	3（2.1%）	26（25.0%）	38（32.5%）
	业余	43（30.7%）	45（43.3%）	41（35.0%）
	无经验	94（67.1%）	33（31.7%）	38（32.5%）
饮食经验	专业	8（5.7%）	5（4.8%）	9（7.7%）
	业余	27（19.3%）	42（40.4%）	46（39.3%）
	无经验	105（75.0%）	57（54.8%）	62（53.0%）
聆听设备	耳机	83（59.3%）	73（70.2%）	77（65.8%）
	扬声器	47（33.6%）	25（24.0%）	34（29.1%）
	HiFi	1（0.7%）	4（3.8%）	4（3.4%）
	其他	9（6.4%）	2（1.9%）	2（1.7%）
听觉障碍	是	5（3.6%）	4（3.8%）	6（5.1%）
	否	135（96.4%）	100（96.2%）	111（94.9%）
味觉障碍	是	2（1.4%）	3（2.9%）	3（2.6%）
	否	138（98.6%）	101（97.1%）	114（97.4%）

如何阅读： 纵向看一列可了解一个群体的整体特征，横向看一行可比较同一变量。日本样本年龄最小、女性比例最高；阿根廷样本年龄最大、性别比例最平衡。

表A2｜背景变量的群体等价性检验

变量	检验	H	df	p
年龄	Kruskal–Wallis	77.89	2	<.001
性别	Fisher exact (MC)			<.001
音乐经验	Fisher exact (MC)			<.001
饮食经验	Fisher exact (MC)			<.001
聆听设备	Fisher exact (MC)			.091
听觉障碍	Fisher exact (MC)			.800
味觉障碍	Fisher exact (MC)			.736

如何阅读： 较小 p 值说明三国在该变量上存在差异。年龄、性别、音乐经验和饮食经验确有差异，因此被作为协变量处理；两类障碍筛查无显著群体差异。

样本量确定

每国约80人的目标来自数据收集前进行的蒙特卡洛功效分析。由于实验属于重复测量结构——每位参与者针对四种 prompt 中的三种、评价十二个 descriptor——不存在可直接使用的闭式功效公式，因此通过模拟估计功效。

研究以 Spanio 等人初步意大利样本（N=90）中 prompt 主效应作为经验基线，将 partial η² 转换为 Cohen’s f，再通过缩放定义小、中、大三种效应情境。对每种情境以及从20至150、步长10的候选样本量，生成250个符合主分析 ANOVA 设定的合成数据集，以 prompt 项显著的模拟比例作为统计功效。中等情境下首次达到80%功效的样本量约为每国80人，因此作为招募目标。三国最终均超过这一水平。

完整模拟报告与代码随 Zenodo 分析仓库归档为 power_analysis.pdf。

A.2 任务1：模型偏好

任务1使用0–10评分，5为中点，高于5表示偏好微调模型。五个试次嵌套于参与者，因此下列推断检验均基于参与者均值；试次级结构另由表A6的混合模型处理。

表A3｜各国相对于中性点5的任务1检验

群体	N	中位数	均值	SD	r	95% CI	p
日本	140	5.00	4.85	1.53	−.147	[−.339,.053]	.927
阿根廷	104	5.60	5.42	1.70	.292	[.080,.506]	.006
意大利	117	5.20	5.47	1.59	.301	[.093,.503]	.003

如何阅读： r 为范围[-1,1]的非参数效应量，正值表示偏好微调模型。阿根廷和意大利显著高于中点，日本则没有。

表A4｜各国家按味觉 prompt 的 Wilcoxon 检验

群体	Prompt	N	中位数	r	p	校正p
日本	Bitter	106	5.00	−.030	.600	1.000
日本	Salty	111	4.67	−.354	.998	1.000
日本	Sour	102	5.00	−.081	.749	1.000
日本	Sweet	114	5.50	.169	.068	.270
阿根廷	Bitter	85	5.00	−.201	.931	1.000
阿根廷	Salty	81	5.00	−.157	.873	1.000
阿根廷	Sour	83	7.00	.445	<.001	.001
阿根廷	Sweet	81	7.00	.533	<.001	<.001
意大利	Bitter	92	5.00	.257	.021	.085
意大利	Salty	92	4.00	−.459	1.000	1.000
意大利	Sour	94	6.00	.344	.003	.010
意大利	Sweet	87	7.00	.604	<.001	<.001

如何阅读： 微调优势主要由阿根廷与意大利的 sweet、sour 驱动；salty 在三国都位于中点或更低，负 r 表示基础模型的 salty 片段反而更受偏好。

表A5｜任务1跨国 Kruskal–Wallis 检验

Prompt	H	df	p	η²
总体	11.47	2	.003	.026
Bitter	4.74	2	.094	.010
Salty	3.06	2	.216	.004
Sour	13.37	2	.001	.041
Sweet	16.45	2	<.001	.052

如何阅读： 国家差异集中在 sweet 与 sour；bitter 和 salty 不足以区分三个群体。

表A6｜任务1试次级线性混合模型

群体	相对中点估计值	SE	p
日本	−0.150	0.151	.327
阿根廷	0.425	0.167	.012
意大利	0.472	0.193	.021

如何阅读： 该模型保留五个试次，而不是先对参与者求平均。其方向与显著性模式复现表A3，说明参与者级结果并非聚合方式造成的假象。

A.3 任务2：知觉评分模型

正文只给出两项总体 ANOVA 的浓缩版本。下列表格补充平方和、截距与残差。两模型均使用 Type III 平方和、分类预测变量使用 sum-to-zero 对比，样本限制同正文主模型。

表A7｜原始任务2评分的完整 Type III ANOVA

项	Sum Sq	df	F	p	partial η²
截距	46355.0	1	40023.44	<.001	.773
Group	1010.5	2	436.22	<.001	.069
Prompt	80.9	3	23.28	<.001	.006
Descriptor	377.7	11	29.64	<.001	.027
音乐经验	73.3	2	31.62	<.001	.005
饮食经验	4.1	1	3.55	.060	<.001
性别	1.1	1	.91	.340	<.001
Group×Prompt	16.9	6	2.43	.024	.001
Group×Descriptor	367.6	22	14.43	<.001	.026
Prompt×Descriptor	977.8	33	25.58	<.001	.067
Group×Prompt×Descriptor	226.2	66	2.96	<.001	.016
残差	13629.6	11768

如何阅读： partial η² = SS_term / (SS_term + SS_residual)，表示在控制其他项后某一项解释的方差比例。

表A8｜被试内z标准化评分的完整 Type III ANOVA

项	Sum Sq	df	F	p	partial η²
截距	.1	1	.07	.792	<.001
Group	.0	2	.00	.998	<.001
Prompt	29.2	3	11.51	<.001	.003
Descriptor	329.5	11	35.44	<.001	.032
音乐经验	.1	2	.03	.969	<.001
饮食经验	.1	1	.08	.779	<.001
性别	.0	1	.01	.911	<.001
Group×Prompt	3.1	6	.61	.723	<.001
Group×Descriptor	289.0	22	15.54	<.001	.028
Prompt×Descriptor	792.4	33	28.41	<.001	.074
Group×Prompt×Descriptor	177.1	66	3.18	<.001	.018
残差	9915.7	11732

如何阅读： 被试内标准化移除每位参与者自身的均值与离散度，因而剩余显著项反映映射“形状”而非总体评分水平。

表A9｜三个国家分别拟合的 Type III ANOVA

项	日本 F / p / ηp²	阿根廷 F / p / ηp²	意大利 F / p / ηp²
Prompt	16.59 / <.001 / .011	4.82 / .002 / .004	7.36 / <.001 / .006
Descriptor	34.76 / <.001 / .077	7.92 / <.001 / .024	16.55 / <.001 / .047
音乐经验	7.00 / <.001 / .003	34.83 / <.001 / .020	23.36 / <.001 / .012
饮食经验	2.99 / .084 / .001	.65 / .420 / <.001	3.11 / .078 / .001
性别	.36 / .548 / <.001	.15 / .695 / <.001	1.52 / .217 / <.001
Prompt×Descriptor	14.03 / <.001 / .092	12.38 / <.001 / .105	5.96 / <.001 / .050

如何阅读： Prompt×Descriptor 衡量不同 prompt 是否形成可区分的评分轮廓，但并不说明区分是否沿“正确对角线”。因此日本和阿根廷即便出现系统性的非对角映射，交互仍可以很强。

表A10｜带参与者与歌曲交叉随机截距的混合模型 Type III 检验

项	NumDF	DenDF	原始F	原始p	z后F	z后p
Group	2	328	92.51	<.001	.00	.998
Prompt	3	9466	18.77	<.001	11.67	<.001
Descriptor	11	11559	33.63	<.001	35.89	<.001
音乐经验	2	329	6.70	.001	.03	.970
饮食经验	1	330	.83	.362	.08	.773
性别	1	329	.29	.589	.02	.891
Group×Prompt	6	9411	.99	.428	.62	.714
Group×Descriptor	22	11559	16.37	<.001	15.74	<.001
Prompt×Descriptor	33	11559	29.02	<.001	28.77	<.001
Group×Prompt×Descriptor	66	11559	3.36	<.001	3.22	<.001

如何阅读： 混合模型显式处理每位参与者的36个嵌套评分，以及多名参与者评价同一歌曲的依赖结构。唯一与原始 ANOVA 不一致的是 Group×Prompt；正文因此不把该项作为稳定结论。歌曲随机效应方差很小，说明刺激个体差异不是跨文化结果的主要驱动力。

表A11｜主模型与两种敏感性模型中群体相关项的p值

项	主模型	重新纳入被排除者	排除旧意大利批次
Group	<.001	<.001	<.001
Group×Prompt	.024	.034	.022
Group×Descriptor	<.001	<.001	<.001
Group×Prompt×Descriptor	<.001	<.001	<.001

如何阅读： 三列方向一致，说明结论不是样本构建选择造成的。最后一列只有27名新意大利参与者，应视为方向检查而非高精度重估。

表A12｜意大利内部采集批次混合模型

项	NumDF	DenDF	F	p
Wave	1	116	.06	.808
Wave×Prompt	3	3903	.33	.801
Wave×Descriptor	11	4001	1.27	.235
Wave×Prompt×Descriptor	33	4001	1.13	.282

如何阅读： 所有 wave 项均不显著，说明两批意大利数据在当前分析中统计上可互换，因此可以合并。

A.4 反应风格

反应风格是参与者不依赖项目内容而习惯性使用量表的方式。研究以 ARS（36次评分均值）和 ERS（评分等于1或5的比例）刻画这种习惯。

表A13｜各国反应风格指标

群体	n	ARS均值	ARS SD	ERS均值	ERS SD	被试内SD
日本	128	2.70	.36	.26	.19	1.17
阿根廷	98	1.98	.45	.48	.20	.99
意大利	105	1.97	.40	.48	.19	1.00

表A14｜反应风格指标跨国 Kruskal–Wallis 检验

指标	H	df	p
ARS	151.11	2	<.001
ERS	75.64	2	<.001
被试内SD	35.81	2	<.001

三项都存在显著跨国差异，确认未经标准化时三组的量表使用方式并不可比。

表A15｜各 descriptor 的 Levene 方差齐性检验

Descriptor	F	df1	df2	p
Overall	136.21	2	11913	<.001
Anger	18.76	2	990	<.001
Bitter	.76	2	990	.466
Cold	.42	2	990	.660
Disgust	51.90	2	990	<.001
Fear	11.59	2	990	<.001
Happy	5.56	2	990	.004
Hot	3.32	2	990	.037
Sad	.36	2	990	.695
Salty	15.15	2	990	<.001
Sour	6.75	2	990	.001
Surprise	.32	2	990	.729
Sweet	4.52	2	990	.011

如何阅读： 异方差确实存在，但在当前样本规模下可接受；正文的混合模型与z标准化重拟合是主要稳健性保障。

图A1｜各国原始平均味觉评分。 整个日本面板整体更高，这是反应风格偏移；真正有意义的是每个面板内部高低单元的排列，该结构在标准化后仍保留。

图A2｜各国原始情绪与温度评分。 sweet 更快乐、更温暖；sour 与 bitter 更冷、更负面。日本对正负描述词都整体偏高，体现表A13中的默认同意/整体偏高模式。

图A3｜各国被试内z标准化后的情绪与温度评分。 去除总体水平后，结构差异仍存在：sour 在日本最强地招募负面情绪，bitter 在日本与意大利主要与悲伤对齐，sweet 在三国都与 happy、hot 对齐但程度不同。

A.5 标注者间一致性

热图把听者平均在一起，因此需要单独量化同一群体内部有多少结构是共享的。研究把每个“歌曲×味觉描述词”单元的评分者视为标注者。

表A16｜四种味觉描述词的标注者间一致性

群体	Salty MPD	Sweet MPD	Bitter MPD	Sour MPD	平均MPD	α（区间）	α（序数）
日本	.281	.279	.281	.314	.289	.146	.143
阿根廷	.276	.241	.286	.282	.271	.191	.190
意大利	.256	.265	.283	.264	.267	.099	.099

如何阅读： MPD越小越一致，0为完全一致；Krippendorff α=1为完全一致，0为偶然水平。三国一致性均低，这符合“普通听者单次评价AI音频”的任务性质；意大利最低。区间与序数距离版本几乎完全一致。

A.6 因子结构

探索性因子分析把共同变化的描述词压缩为更少潜在维度。正文报告三国各自的因子解，本节补充合并样本的结构与一致性稳定性检验。

图A4｜三个群体合并样本中十二个描述词的相关矩阵。 负面情感描述词形成最明显的相关块；sweet、happy、hot 形成第二个明显块。

图A5｜合并样本的平行分析碎石图。 合并分析保留4个因子。平行分析通过比较真实数据与同规模随机数据的特征值选择因子数；真实特征值高于模拟特征值时保留该因子。

图A6｜合并样本的四因子解。 使用最大似然提取与 oblimin 旋转。该图仅为完整性而给出；因为三国组织描述词空间的方式不同，把三国合并恰恰会平均掉本文最关心的差异，因此正文中的群体特定因子解更有解释意义。

表A17｜三国因子解之间的 Tucker 一致性及 bootstrap

群体对	点估计一致性	Bootstrap中位数	95%区间	B
日本—阿根廷	.613	.717	[.635,.902]	300
日本—意大利	.777	.757	[.685,.875]	300
阿根廷—意大利	.460	.782	[.697,.943]	300

如何阅读： 所有 bootstrap 上界都低于0.95，因此低一致性是数据中的稳定性质，而非小样本伪差。平行分析分别为日本保留4因子、阿根廷3因子、意大利4因子；为比较统一截断为3因子。

A.7 刺激的声学表征

下列表格描述100个微调生成片段本身，而非听者。各指标主要用于比较 prompt 之间的相对模式。

表A18｜100个片段按生成prompt分组的声学指标（均值±SD，每类25个）

指标	Sweet	Sour	Bitter	Salty
频谱质心Hz	448±90	741±297	482±119	393±136
带宽Hz	683±158	1229±519	741±205	826±353
Rolloff Hz	618±116	1319±639	727±243	574±185
基频Hz	112±29	250±389	127±49	81±18
Spectral flux（粗糙度）	23.1±4.1	40.1±12.7	23.3±7.8	29.9±8.0
感觉不协和度	.025±.005	.042±.015	.028±.009	.039±.015
起音强度	.70±.17	1.01±.26	.63±.11	.80±.25
Tempo BPM	120.1±21.2	121.8±22.7	124.8±16.4	122.2±18.0
过零率	.022±.006	.024±.016	.020±.007	.011±.006

如何阅读： sour 是唯一具有显著声学签名的 prompt：更亮、更尖、更高、更粗糙。salty 却拥有最低质心和音高，与人工设计“咸味声音”中常见的清脆、打击性轮廓相反。

表A19｜声学线索与合并样本中经反应风格校正的味觉评分之间的 Pearson 相关

线索	Sweet	Sour	Bitter	Salty
感觉不协和度	−.47 (<.001)	.25 (.012)	.30 (.003)	.18 (.073)
Spectral flux（粗糙度）	−.56 (<.001)	.31 (.002)	.41 (<.001)	.21 (.035)

如何阅读： 两种线索都能区分愉悦与不愉悦的味觉归因——与 sweet 强负相关，与 sour、bitter 正相关——但不能把 sour 与 bitter 分开。

表A20｜各群体中片段粗糙度与被感知味觉评分的 Pearson 相关

群体	片段数	Sour	Bitter	Sweet
日本	99	.30 (.002)	.29 (.004)	−.46 (<.001)
阿根廷	91	.07 (.495)	.40 (<.001)	−.42 (<.001)
意大利	96	.36 (<.001)	.07 (.527)	−.51 (<.001)

如何阅读： 这是全文最简洁地表达跨文化结果的一张表：同一个粗糙、不协和声学区域，在意大利追踪 sour，在阿根廷追踪 bitter，在日本同时追踪两者；sweet 则三国一致。

图A7｜100个片段按“被感知主导味觉”而不是按生成 prompt 分组的声学指标。 这样分组后声学差异更清楚：sweet 最柔和、最协和；sour 与 bitter 最粗糙；salty 起音最显著。

A.8 软件环境与可复现性

表A21｜附录分析所用软件版本

组件	版本
R	4.6.1
tidyverse	2.0.0
psych	2.6.5
GPArotation	2026.8.1
car	3.1.5
broom	1.0.13
lme4	2.0.6
lmerTest	3.2.1
kableExtra	1.4.1

所有随机步骤（Fisher Monte Carlo、bootstrap置信区间、平行分析、一致性bootstrap）均使用随机种子 20260428，因此重新运行 scripts/make_supplementary.R 可以精确复现上述数值。精确软件版本锁定于代码仓库的 renv.lock。

参考文献

Charles Spence. Sonic seasoning and other multisensory influences on the coffee drinking experience. Frontiers in Computer Science, 3:644054, 2021.
Francis Reinoso-Carvalho, Louise H. Gunn, Eva ter Horst, and Charles Spence. Blending emotions and cross-modality in sonic seasoning: Towards greater applicability in the design of multisensory food experiences. Foods, 9(12):1876, 2020.
Diana Guedes, Margarida V. Garrido, Elsa Lamy, and Marília Prada. Disentangling cross-modality and affect in sonic seasoning: The effect of music associated with different degrees of sweetness and valence on food perception. International Journal of Gastronomy and Food Science, 35:100879, 2024.
Charles Spence. Exploring group differences in the crossmodal correspondences. Multisensory Research, 35(5–6):495–536, 2022.
Xiaoang Wan, Andy T. Woods, Jasper J. F. van den Bosch, Kirsten J. McKenzie, Carlos Velasco, and Charles Spence. Cross-cultural differences in crossmodal correspondences between basic tastes and visual features. Frontiers in Psychology, 5:1365, 2014.
Carlos Velasco, Andy T. Woods, Olivia Petit, Adrian D. Cheok, and Charles Spence. Crossmodal correspondences between taste and shape, and their implications for product packaging: A review. Food Quality and Preference, 52:17–26, 2016.
Nicola Di Stefano et al. Consonance shapes the multisensory and emotional mappings of musical intervals across English- and Mandarin-speakers. Annals of the New York Academy of Sciences, 1561(1):e70337, 2026.
Nicola Di Stefano, Alessandro Ansani, Andrea Schiavio, and Charles Spence. Prokofiev was (almost) right: A cross-cultural investigation of auditory-conceptual associations in Peter and the Wolf. Psychonomic Bulletin & Review, 31(4):1735–1744, 2024.
Marjorie G. Li, Kirk N. Olsen, and William Forde Thompson. Cross-cultural biases of emotion perception in music. Brain Sciences, 15(5):477, 2025.
Laura-Lee Balkwill, William Forde Thompson, and Rieko Matsunaga. Recognition of emotion in Japanese, Western, and Hindustani music by Japanese listeners. Japanese Psychological Research, 46(4):337–349, 2004.
Danni Peng-Li, Derek V. Byrne, Raymond C. K. Chan, and Qian Janice Wang. The influence of taste-congruent soundtracks on visual attention and food choice: A cross-cultural eye-tracking study in Chinese and Danish consumers. Food Quality and Preference, 85:103962, 2020.
Matteo Spanio, Massimiliano Zampini, Antonio Roda, and Franco Pierucci. A multimodal symphony: integrating taste and sound through generative AI. Frontiers in Computer Science, 7, 2025.
Jialin Deng et al. Composing for the palate: Designing and investigating taste-matching sounds for cross-sensory interaction. In Proceedings of DIS ’26, pp.3038–3059, 2026.
Matteo Spanio. Towards emotionally aware AI: Challenges and opportunities in the evolution of multimodal generative models. AIxIA Doctoral Consortium 2024, 2024.
Angelos-Nikolaos Kanatas, Charilaos Papaioannou, and Alexandros Potamianos. CultureMERT: Continual pre-training for cross-cultural music representation learning. ISMIR 2025, pp.1–10.
Anne-Wil Harzing. Response styles in cross-national survey research: A 26-country study. International Journal of Cross Cultural Management, 6(2):243–266, 2006.
Ronald Fischer. Standardization to account for cross-cultural response bias. Journal of Cross-Cultural Psychology, 35(3):263–282, 2004.
Jia He and Fons van de Vijver. Bias and equivalence in cross-cultural research. Online Readings in Psychology and Culture, 2(2), 2013.
UNESCO. Italian cooking, between sustainability and biocultural diversity. 2025.
UNESCO. Washoku, traditional dietary cultures of the Japanese, notably for the celebration of New Year. 2013.
Facundo Cuffia et al. Using the free listing technique to study consumers’ representations of traditional gastronomy in Argentina. Journal of Ethnic Foods, 10(1):1–13, 2023.
Bruno Mesz, Marcos A. Trevisan, and Mariano Sigman. The taste of music. Perception, 40(2):209–219, 2011.
Gijsbert Stoet. PsyToolkit: A novel web-based method for running online questionnaires and reaction-time experiments. Teaching of Psychology, 44(1):24–31, 2017.
Jade Copet et al. Simple and controllable music generation. Advances in Neural Information Processing Systems, 36, 2024.
R Core Team. R: A Language and Environment for Statistical Computing. R Foundation for Statistical Computing, 2025.
Olive Jean Dunn. Multiple comparisons using rank sums. Technometrics, 6(3):241–252, 1964.
Gene V. Glass, Percy D. Peckham, and James R. Sanders. Consequences of failure to meet assumptions underlying the fixed effects analyses of variance and covariance. Review of Educational Research, 42(3):237–288, 1972.
Michael R. Harwell et al. Summarizing Monte Carlo results in methodological research. Journal of Educational Statistics, 17(4):315–339, 1992.
Lisa M. Lix, Joanne C. Keselman, and Harvey J. Keselman. Consequences of assumption violations revisited. Review of Educational Research, 66(4):579–619, 1996.
William Revelle. psych: Procedures for Psychological, Psychometric, and Personality Research. 2025.
Ledyard R. Tucker. A method for synthesis of factor analysis studies. Technical Report 984, 1951.
Brian McFee et al. librosa: Audio and music signal analysis in Python. Proceedings of the 14th Python in Science Conference, pp.18–25, 2015.
William A. Sethares. Local consonance and the relationship between timbre and scale. Journal of the Acoustical Society of America, 94(3):1218–1228, 1993.
Alan Taitz, Marcos A. Trevisan, Bruno Mesz, et al. The taste of scales and chords. Preprint, 2021.
Qian Janice Wang, Steve Keller, and Charles Spence. Metacognition and crossmodal correspondences between auditory attributes and saltiness in a large sample study. Multisensory Research, 34(8):785–805, 2021.
Mathias Klarlund et al. Worlds apart? Testing the cultural distance hypothesis in music perception of Chinese and Western listeners. Cognition, 235:105405, 2023.
Mara V. Galmarini et al. Impact of music on the dynamic perception of coffee and evoked emotions evaluated by TDS and TDE. Food Research International, 150:110795, 2021.
Jason A. Avery et al. Taste metaphors ground emotion concepts through the shared attribute of valence. Frontiers in Psychology, 13:938663, 2022.
Qihan Wang et al. Multilingual prompting for improving LLM generation diversity. EMNLP 2025, pp.6367–6389.
Itai Mondshine, Tzuf Paz-Argaman, and Reut Tsarfaty. Beyond English: The impact of prompt translation strategies across languages and tasks in multilingual LLMs. NAACL Findings 2025, pp.1331–1354.
Ziqi Yin et al. Should we respect LLMs? A cross-lingual study on the influence of prompt politeness on LLM performance. SICon 2024, pp.9–35.