夜雨聆风学习资料网

ARTICLE · 984871

普通人做 AI 视频必懂基础概念

普通人做 AI 视频必懂基础概念

普通人做 AI 视频必懂基础概念(面向新手,去掉晦涩学术词,只记实操相关)

如果你刚开始涉及Ai视频制作,你不得不得先了解这些概念,大概明白这些名词的意思,做AI视频先分为四大块:音频、视频底层、AI 生成相关、流水线工程概念,每个概念只讲:是什么 + 普通人需要知道的重点


🔊一、 音频部分(配音、字幕)

  1. TTS 文字转语音 把文字直接生成人声配音。

普通人重点:有云端(Edge‑TTS、ElevenLabs)、本地(Kokoro)两种;本地不用联网,云端音色更好。

  1. ASR 语音转文字 把声音变回文字,用来做字幕。Whisper 就是 ASR 工具。

普通人重点:字幕不是拿文案直接粘贴,是 AI 听音频,对齐声音时间轴。

  1. 时间戳 / 字级时间戳 每个字、每句话对应的开始、结束时间。

普通人重点:有时间戳字幕才会跟人声同步,不会错位。

  1. SRT 字幕文件 后缀.srt,纯文本字幕文件,ffmpeg、剪映都能识别导入。

  2. 人声分离(UVR5) 把视频里人声和背景音乐拆开。

普通人重点:二次剪辑、消原音会用到。

  1. 声音克隆 RVC 拿几段真人音频,复刻这个人的音色来配音。

普通人重点:仅限自己的声音,不要盗用他人音色。


🎞️ 二、视频底层工具(合成、画质,必学)

  1. ffmpeg 命令行音视频工具箱,剪辑、拼接、压视频、烧字幕、转格式。

普通人重点:几乎所有 AI 视频流水线底层都靠它,没有图形界面,脚本会调用它,普通人不用手写复杂命令。

  1. 帧 / 帧序列 视频本质是一张张快速播放的图片,一张图片叫一帧;一堆图片叫帧序列。

普通人重点:HyperFrames、ComfyUI 经常输出一堆图片,再交给 ffmpeg 拼成视频。

  1. FPS 帧率 每秒播放多少张图片,短视频一般 24/30 帧。

  2. 补帧(RIFE) AI 生成中间画面,把低帧率变流畅,解决 AI 视频卡顿、一顿一顿。

  3. 超分 AI 把模糊画面放大变清晰。代表:Real‑ESRGAN。

  4. 人脸修复 CodeFormer / GFPGAN AI 生成视频经常人脸扭曲崩坏,这个工具专门修复人脸。

  5. 编码(libx264) 视频压缩算法,我们平时 MP4 短视频绝大多数是 H.264 编码。


🤖 三、AI 生成画面核心概念

  1. Prompt 提示词 告诉 AI 要生成什么画面的文字描述。

  2. Seed 种子 一串数字,同一个种子 + 同样提示词,AI 生成画面几乎一模一样;换种子画面就变。

普通人重点:想要画面稳定不变,就固定种子。

  1. LoRA 小型模型文件,用来固定人物长相、画风,避免每帧人物长得不一样。

  2. 时序一致性 AI 视频最大痛点:前后帧物体、人脸乱变、闪烁。时序一致性好 = 画面物体不漂移。

  3. 图生视频 I2V 输入一张图片,AI 把图片变成动态视频片段(Wan2.2、AnimateDiff)。

  4. 文生视频 T2V 只输入文字,AI 直接生成视频。

  5. 视频重绘 V2V Denoise 去噪强度 拿现成视频让 AI 重新改造画面;数值 0‑1,数值越大改动越剧烈。

  6. Lip‑Sync 对口型 音频驱动图片 / 虚拟人嘴唇跟着配音动。

  7. ControlNet 控制网 约束 AI 画面,比如固定人物动作、轮廓,不让 AI 乱改姿势。


⚙️ 四、流水线 & 工具概念(自动化做视频重点)

  1. 推理 Inference AI 模型跑起来生成图片、视频的过程。本地电脑跑推理吃显卡显存。

  2. 量化 把 AI 模型压缩变小,降低显卡要求,轻微损失画质,低配电脑常用。

  3. ComfyUI 节点式可视化 AI 工具,拖拽节点串联:生图、生视频、补帧、超分,本地 AI 视频主流工具。

  4. HyperFrames 用 HTML/CSS 写动画,渲染出图片帧,再 ffmpeg 合成视频;适合知识口播类文字动画。

  5. MoviePy Python 工具,封装 ffmpeg,写脚本自动剪辑视频。

  6. 智能体(WorkBuddy / Codex) 不会写代码也能用,用自然语言描述视频流程,它帮你生成 Python 脚本,串联上面全部工具。

普通人重点:智能体只输出代码,环境、软件要自己安装;代码会有 bug,报错丢回去让它改。

  1. 流水线 一套固定顺序:文案→配音→字幕→画面生成→画质增强→合成导出。上一步输出文件作为下一步输入。


📌 新手避坑认知(非常重要,不属于名词,但要理解)

  1. AI 视频不是点一个按钮直接出完美成片,是多个工具接力处理文件。

  2. 优先跑通最小流水线闭环,再增加补帧、超分、生视频模块,不要一次性堆全部功能。

  3. 本地运行 AI,显卡显存决定速度;显存不够就用更小的模型、开启量化。

  4. 所有工具都是读写文件:txt、mp3、srt、png、mp4,理解文件流转就懂整套逻辑。


以下是最全最完整的专有名词速查表

🎬 AI 视频创作・完整专有名词速查表

🔊 音频处理

名词
一句话释义
用途
TTS
文字转语音
配音、解说生成
ASR
自动语音转文字(Whisper 属于 ASR)
字幕、逐字稿
Whisper
OpenAI 开源 ASR 模型
语音转文本 + 时间戳输出
Word‑level timestamp
单词级时间戳
自动精准字幕,免手调时间轴
RVC
开源声音转换 / 音色迁移
变声、本地声音克隆
UVR5
人声伴奏分离工具
分离人声、背景音乐
Edge‑TTS
微软云端免费 TTS
批量生成解说音频
Kokoro‑82M
轻量本地 TTS
HyperFrames 默认配音引擎,输出字级时间戳
MusicGen
Meta 开源文生音乐
文本生成 BGM 背景音乐
ElevenLabs
商用高质量 TTS
高质量 AI 配音,支持声音克隆

🎞️ 视频底层 & 工具库(ffmpeg 生态)

名词
一句话释义
用途
ffmpeg
万能音视频命令行工具
剪切、拼接、编码、烧字幕、转格式
ffprobe
ffmpeg 配套信息检测工具
读取视频码率、帧率、时长、元数据,流水线质检
MoviePy
Python 剪辑库,封装 ffmpeg
代码自动剪辑、加字幕、加水印
RIFE
AI 光流补帧模型
低帧率转高帧率,画面顺滑
Real‑ESRGAN
AI 图像 / 视频超分
帧放大、提升清晰度
CodeFormer
AI 人脸修复
修复 AI 视频人脸崩坏模糊
GFPGAN
人脸修复模型
人像画质复原
SRT/VTT
字幕文本格式
whisper 输出,ffmpeg 烧录进视频
Frame sequence / 帧序列
一张张图片序列
HyperFrames/ComfyUI 输出,ffmpeg 合成 mp4
Headless‑Chrome
无头浏览器
HyperFrames 渲染 HTML/CSS/JS 动画,输出帧图片
GSAP
JS 动画库
HyperFrames 做复杂时间线动画核心库CSDN博...

🤖 AI 视频生成模型 & 控制模块

名词
一句话释义
AnimateDiff
SD 生态图生视频经典运动模块
SVD
Stability AI 开源图生视频模型
Wan2.2
阿里开源文生 / 图生视频,本地部署主流
CogVideoX
智谱开源文生视频大模型
MuseTalk
开源音频驱动对口型 Lip‑sync
MimicMotion
动作迁移,参考视频把动作迁移到目标人物
DiT(Diffusion Transformer)
Sora 类新一代视频模型底层架构,时空统一建模
ControlNet‑Video
视频版控制网络,约束姿态、深度、线条
OpenPose
姿态骨骼提取
T2V / I2V / V2V
文生视频 / 图生视频 / 视频转绘

⚙️ 工作流 / 框架(HyperFrames 同类)

名词
一句话释义
HyperFrames
HTML/CSS/JS 写动画,无头浏览器渲染帧,ffmpeg 输出 mp4
hyperframes‑cli
HyperFrames 命令行工具,渲染、预览、环境检测CSDN博...
ComfyUI
节点式可视化 AI 工作流,串联绘图、生视频、补帧、超分
MoneyPrinterTurbo
全自动短视频流水线:文案‑素材‑TTS‑字幕‑合成
Remotion
React 写动画渲染视频,HyperFrames 同类
Temporal Consistency 时序一致性
AI 视频核心指标:前后帧物体人脸不变形、不闪烁
Sliding‑window 滑动窗口
长视频生成技术,解决长帧显存爆炸

📌 扩散模型核心参数 & 基础概念(做 AI 视频必懂)

名词
一句话释义
Latent 潜空间
扩散模型压缩图像 / 视频的低维表征,降低算力消耗
VAE
变分自编码器,潜空间↔像素互相转换
LoRA
小微调权重,固定角色、画风,多镜头人物不崩
Lip‑sync
音频驱动角色嘴唇对口型
Seed 种子值
控制 AI 随机结果,同 seed+prompt 输出画面一致
CFG Scale
提示词引导强度,数值越高越服从 prompt
Steps 采样步数
去噪迭代次数,平衡画质与速度
Denoise strength 去噪强度
V2V 视频重绘强度,0‑1 之间
Motion Strength
运动幅度,控制 AI 画面动的剧烈程度
Quantization 量化
模型压缩,降低显存消耗,牺牲极小精度
Infer / Inference 推理
AI 模型运行生成图片视频的过程
Prompt Engineering
提示词工程,写镜头、运镜、风格描述

📐 编码、容器、流水线工程概念

名词
一句话释义
libx264
H.264 编码,互联网短视频最通用编码
CRF
ffmpeg 质量参数,数值越小画质越高文件越大
FPS 帧率
每秒帧数,短视频常用 24/30fps
Timecode 时间码
精确到毫秒的时间标记,字幕、多镜头对齐
Container 容器
mp4/mov/webm,封装视频流 + 音频流

相关学习资料