乐于分享
好东西不私藏

AI|Anuttacon公司|视频角色生成模式LMP1.0

AI|Anuttacon公司|视频角色生成模式LMP1.0

Anuttacon是一家独立的研究实验室,致力于追求人文通识,你可以在每一次实时互动中体验到——通过文字、语音、视觉及更多方式无缝理解和表达。

我们认为人工智能和人类在虚拟世界的创造和发现中是平等的伙伴。我们的使命是打造具备真实情感理解和表达性交流的多模态人工智能——这些技术不仅思考,更能感受,通过丰富且细腻的互动与你真实连接,提升你的体验。

米哈游创始人蔡浩宇(Cai Haoyu)创立于2024年,核心目标是利用先进的AI技术(包括大语言模型、图形生成技术等)来重塑游戏行业,打造“AI原生”的沉浸式虚拟世界体验。

2026年4月,Anutacon公司发布论文《LPM 1.0: Video-based Character Performance Model》,公开LPM 1.0Large Performance Model视频角色表演生成模型主打让虚拟角色能听、能看、能演,实时生成带表情和动作的对话视频。
评估维度与指标。LPM-Bench通过四个维度评估生成的视频:• 动作动态:评估生成动作的时间一致性和物理合理性,惩罚变形、闪烁、身体部位消失以及几乎静态的输出。• 身份一致性:评估面部和身体特征以及整体外观在生成过程中是否与参考图像保持感知上的一致性。• 文本可控性:评估生成的视频在多大程度上忠实遵循文本指令,包括指定的动作、视线、表情、情绪以及时间顺序。• 音视频同步:评估音频流与可见行为在三种场景下的对应性。对于讲述情景,我们评估对语音内容的口型同步精度,以及音频节奏、情绪与相应视觉动作和面部表情之间的一致性。对于聆听情景,我们测量在角色不说话时抑制错误口型动作的成功率,以及用户音频与听者视觉反应在情绪、语义上下文、人际关系和个性方面的主观对齐程度。对于对话情景,我们额外评估说-听转换的自然性和连贯性,包括轮次转换的时机、角色切换间的表情连续性,以及多轮对话的整体一致性。
LPM 1.0 从一个简单的洞察开始:
人类的对话不仅是词语的交换,而是一种表演形式,使互动感觉自然,不仅取决于语义内容,还取决于注意力、时间、反应和情感如何通过声音、面部和身体持续表达。因此,一个对话角色的评估不应仅依赖唇同步或画面真实感,而应看其是否像一个社会可理解的行为者一样参与互动:在沉默时倾听、预判轮次转换、进行有条件的反应,并在时间上保持行为一致性。从这个角度来看,目标不是一个更好的会说话的头部模型,而是一个表演模型,随时间发展的对话表演者。在这项工作中,我们的系统表明,表演三难困境——表现质量、实时推理和长期稳定性——可以通过系统级协同设计得到可行的解决方案。
论文的最大亮点——Full-Duplex Audio-Visual Conversational Performance

论文明确指出该系统的三大应用方向:

  1. 对话式AI的视觉引擎 — 为聊天机器人提供视觉形象

  2. 直播数字人 — 实时互动的虚拟主播

  3. 游戏NPC — 具有自然对话能力的非玩家角色

未来工作三轴扩展,时间轴、社交轴、物理轴。展望未来,我们看到有三个关键方向可以拓展这项工作。在时间轴上,较长的互动将需要话语层面的记忆、角色持续性,并能够使当前行为与先前事件保持一致。在社会轴上,多方互动引入了新的挑战,例如收件人跟踪、视线分配和群体层面的轮流发言。在物理轴上,位于环境中的角色必须将其行为与场景几何、物体和接触联系起来。随着这些维度的融合,目前分解——语言生成、语音合成、视听渲染和在线稳定——可能会让位于更统一的角色模型,这些模型能够共同决定说什么、如何表达以及行为如何随时间展开。LPM 1.0 被视为对这一更大问题的首次系统级回答,展示了视频生成不仅可以作为渲染机制,还可以作为互动角色成为可感知参与者。
我们相信,视频生成表演模型具有显著的潜力,可以通过为老年人护理、心理健康支持和在线教育提供可获取的 AI 伴侣,民主化各类用户的内容创作,以及推动跨语言和能力的包容性教育体验,从而造福社会。
在透明度方面,我们主张所有 AI 生成的角色视频应明确披露,并支持包括《欧盟人工智能法案》、中国《深度合成管理规定》和 NIST 人工智能风险管理框架在内的新兴监管框架,这些框架为生成式 AI 系统建立了披露和问责标准。
我们致力于与更广泛的研究社区、政策制定者和公民社会合作,不断迭代这些保障措施,以确保角色表演生成方面的进步服务于集体利益,使对话对每个人来说更加自然、包容和可信。
论文引用94篇参考文献),包括字节跳动的seed模型、阿里Wan、Veo、Kling、商汤的seko、OmniHuman等主流视频生成模型,以及ACE、UniLS等数字人系统。
资料来源:
论文LPM 1.0: Video-based Character Performance Model

https://arxiv.org/pdf/2604.07823

Anuttacon
行业深度|迎Web4.0 看AI如何赋能应用
Seedance2.0推动AIGC进入卡尔达肖夫指数
AIGC系列|AI之传媒应用如何看?
AI视频|小红书|开源OpenStoryline
深度|小红书 从种草到生活兴趣社区
【免责声明】本文信息均来源于公开资料及合法获得的相关外部报告资料,华鑫证券对这些信息的准确性及完整性不作任何保证,不保证其中的信息已做最新变更。本文信息仅供参考。在任何情况下,本文中的信息均不构成对任何人的投资建议。本公司及其本公司员工对使用本文内容所引发的任何直接或间接损失概不负责。