AI 教学视频生成平台

Mon, 24 Aug 2026 00:00:00 +0000

AI Teaching Video Generation Platform —— 从课程内容生成到数字人呈现的端到端 AI 教学视频生产系统。

核心链路：

PPT → Script → Voice → Alignment → Digital Human-ready → Video

核心技术标签：LLM · TTS · Speech Alignment · Digital Human · Multimodal · GPU Pipeline

项目概述

传统课程视频生产需要人工完成一系列环节：阅读 PPT、撰写讲稿、录制配音、制作字幕、剪辑视频、数字人呈现。每个环节都是独立的手工任务，成本高、难以规模化。

本系统将这些环节拆解为可组合的 AI Pipeline，由两个核心模块构成：

设计原则：Content / Presentation Separation

课程内容生产与数字人呈现解耦，两个模块只通过标准化的文本、音频和时间轴数据连接：

 AI Teaching Video Generation Platform
 │
 ┌───────────────┴───────────────┐
 │ │
 Content Generation Digital Presentation
 AI Course Generator Digital Human Media Pipeline
 PPT → Structure → Script Script → TTS → Alignment
 Review → Revision → Subtitle → Media → Video
 │ │
 └───────────────┬───────────────┘
 ↓
 Final Teaching Video

这种解耦使内容侧可以独立改进讲稿质量，呈现侧可以独立替换 TTS 引擎或升级呈现形式，互不影响。

端到端 Pipeline

PPT / Course Material
 ↓
PPT Parsing（python-pptx）
 ↓
Course Structure（slides.json）
 ↓
LLM Lecture Script Generation
 ↓
Lecture Review / Revision（LLM-as-Judge）
 ↓
TTS（CosyVoice 3 / IndexTTS 2.5）
 ↓
Audio
 ↓
VAD + ASR（FunASR Paraformer）
 ↓
Character / Word Alignment
 ↓
Subtitle / Timeline
 ↓
Digital Human-ready Media
 ↓
FFmpeg Composition
 ↓
Final MP4

Module 01 · AI Course Generator

AI-powered course content generation

负责「讲什么」。

完整案例：

核心流程：

PPT → 内容解析 → 课程结构 → LLM 讲稿生成
 → Review → Revision → Final Script

已实现：内容解析与结构化

基于 python-pptx 的 PPT 解析与图片渲染
结构化中间表示 slides.json
页面 / 段落 / 句子三级层级结构
中文 / 英文讲稿支持

已实现：LLM 讲稿生成

基于课程结构的结构化讲稿生成
页面间逻辑衔接与内容扩展

已实现：讲稿审查与修订（LLM-as-Judge）

重复内容检测
页面衔接检查
术语一致性检查
机械表达检测
一键修订与 human-in-the-loop 人工编辑

本模块不涉及任何数字人技术，技术边界清晰。

Module 02 · Digital Human Media Pipeline

Speech, alignment and media generation infrastructure

负责「怎么讲出来」。

完整案例：

需要明确的是：这个模块不是数字人建模系统，而是数字人呈现所依赖的语音与媒体基础设施。当前能力链路：

Script → TTS → Audio → Alignment → Subtitle / Timeline
 → Digital Human-ready Media → Video Composition

多引擎 TTS 统一封装

集成 CosyVoice 3 与 IndexTTS 2.5 双引擎：

 Unified TTS Interface
音色管理 · 语速控制 · 引擎选择
 │
 ┌─────────┴─────────┐
 CosyVoice 3 IndexTTS 2.5
 └─────────┬─────────┘
 Audio 输出

已实现能力：

统一 TTS 抽象层（Unified TTS abstraction）
音色 / Speaker 配置管理
语速控制
多引擎可选
多 GPU 执行
重试（Retry）
检查点（Checkpoint）与缓存（Cache）
断点续跑（Resume）

不同 TTS 引擎具有不同的 API、模型依赖、GPU 占用和输出格式。统一 TTS 抽象使上层 Pipeline 与具体引擎解耦：新增或替换引擎时，不需要修改下游任何阶段。

字级语音-文本强制对齐

时间戳来自声音本身：TTS 音频先经 VAD 切分语音段，再用 FunASR Paraformer 识别出每一个字 / 词——识别结果天然携带真实的发音时间；随后将识别出的字词序列与原始讲稿逐字匹配，把声音时间戳映射回讲稿文本，得到字 / 词级的课程时间轴：

TTS 音频
 ↓
VAD 语音切分
 ↓
Paraformer ASR 识别
 ↓
字词 + 真实发音时间戳
 ↓
识别字词 ↔ 讲稿文本 逐字匹配
 ↓
时间戳映射回讲稿
 ↓
Timeline JSON（字 / 词级）

为什么不能按字符数估算字幕时间：长句、停顿、语速变化、中英文混读、标点和 TTS 韵律变化都会让估算产生累积误差。使用真实音频时间戳生成时间轴，字幕与语音才能逐字对齐。

Timeline 作为统一接口

对齐后的时间轴不只是字幕数据，而是整个媒体生产的统一时间轴接口：

Aligned Timeline
 │
 ├── Subtitle（字幕轨）
 │
 ├── Lip-sync Driver（Future：为后续数字人口型驱动提供统一时间轴接口）
 │
 └── Video Composition（视频合成）

字幕与视频合成都直接消费同一份 Timeline JSON；后续接入口型驱动时，同样复用这份时间轴，无需重新对齐。

生产级可恢复 Pipeline

Task
 ↓
Dispatcher
 ↓
GPU Worker
 ↓
TTS / Alignment / Rendering
 ↓
Intermediate Result
 ↓
Checkpoint
 ↓
Next Task

面向长时间媒体任务设计可恢复 Pipeline，使单个句子、页面或阶段失败时无需重新执行整个任务：

多 GPU 与 Worker 化执行
Task 级状态管理与失败隔离（Failure isolation）
Retry 自动重试
Checkpoint 检查点与中间结果缓存（Intermediate cache）
Resume 断点续跑

视频合成

Audio + Subtitle + Background / PPT + Digital Human-ready Video
 ↓
 FFmpeg
 ↓
 Final MP4

FFmpeg 在系统中不只是「导出工具」，而是整个媒体时间轴最终落地的 composition layer：音频轨、字幕轨、背景 / PPT 画面与数字人就绪画面按统一时间轴合成为最终教学视频。

演示

平台当前以本地服务方式运行：通过 Gradio Web UI 上传课程 PPT 或讲稿文本，即可走完上述端到端流程，产出带讲解配音与字级同步字幕的课程视频（MP4）。

两条典型路径：

端到端：上传 PPT → 自动解析、生成并审查讲稿 → TTS → 对齐 → 合成成片
直接配音：已有讲稿文本 → TTS → 对齐 → 合成成片

技术架构

Input
│
├── PPT / Course Material
└── Script Text
 │
 ↓
Content Layer ── AI Course Generator
│ （Parsing · Script · Review）
 ↓
Speech Layer
│
├── CosyVoice 3
└── IndexTTS 2.5
 │
 ↓
Alignment Layer
│
├── VAD
├── FunASR Paraformer
└── Text Matching
 │
 ↓
Timeline Layer
│
├── Character timestamps
├── Word timestamps
└── Subtitle data
 │
 ↓
Presentation Layer ── Digital Human / Lip-sync（Future）
 │
 ↓
Media Layer ── FFmpeg Composition
 │
 ↓
Final MP4

Scope

当前项目聚焦 AI 教学视频生产中的内容生成、语音合成、语音-文本时间轴和媒体合成基础设施。

数字人角色建模、完整 Avatar 系统、实时交互和复杂身体动作生成不属于当前核心范围，相关方向见下方 Future。

我的贡献

负责整体架构设计与核心 Pipeline 实现，从 LLM 课程内容生成、TTS、语音-文本时间轴对齐到最终视频合成，完成跨模型、跨阶段的媒体生产链路集成：

Designed the end-to-end architecture（端到端架构设计）
Designed the separation between content generation and presentation（内容与呈现解耦）
Built unified multi-engine TTS layer（多引擎 TTS 统一封装）
Implemented character / word-level alignment pipeline（字 / 词级对齐流水线）
Designed reusable timeline interface（可复用时间轴接口）
Built checkpoint / retry / resume mechanism（可恢复生产管线）
Integrated GPU inference workloads（GPU 推理工作负载集成）
Built final media composition pipeline（FFmpeg 媒体合成层）
Integrated multiple AI models into a production-oriented workflow（多模型工程化集成）

Future

Digital Human Lip-sync

将统一时间轴接入数字人口型驱动模型，实现语音驱动的口型同步。

Real-time Digital Human

从离线 Pipeline 向低延迟实时交互演进。

Prosody / Emotion Control

进一步控制 TTS 的情绪、韵律、停顿和表达风格。

Generative AI | AIVIS