AIVIS

AI 教学视频生成平台

Mon, 24 Aug 2026 00:00:00 +0000

AI Teaching Video Generation Platform —— 从课程内容生成到数字人呈现的端到端 AI 教学视频生产系统。

核心链路：

PPT → Script → Voice → Alignment → Digital Human-ready → Video

核心技术标签：LLM · TTS · Speech Alignment · Digital Human · Multimodal · GPU Pipeline

项目概述

传统课程视频生产需要人工完成一系列环节：阅读 PPT、撰写讲稿、录制配音、制作字幕、剪辑视频、数字人呈现。每个环节都是独立的手工任务，成本高、难以规模化。

本系统将这些环节拆解为可组合的 AI Pipeline，由两个核心模块构成：

设计原则：Content / Presentation Separation

课程内容生产与数字人呈现解耦，两个模块只通过标准化的文本、音频和时间轴数据连接：

 AI Teaching Video Generation Platform
 │
 ┌───────────────┴───────────────┐
 │ │
 Content Generation Digital Presentation
 AI Course Generator Digital Human Media Pipeline
 PPT → Structure → Script Script → TTS → Alignment
 Review → Revision → Subtitle → Media → Video
 │ │
 └───────────────┬───────────────┘
 ↓
 Final Teaching Video

这种解耦使内容侧可以独立改进讲稿质量，呈现侧可以独立替换 TTS 引擎或升级呈现形式，互不影响。

端到端 Pipeline

PPT / Course Material
 ↓
PPT Parsing（python-pptx）
 ↓
Course Structure（slides.json）
 ↓
LLM Lecture Script Generation
 ↓
Lecture Review / Revision（LLM-as-Judge）
 ↓
TTS（CosyVoice 3 / IndexTTS 2.5）
 ↓
Audio
 ↓
VAD + ASR（FunASR Paraformer）
 ↓
Character / Word Alignment
 ↓
Subtitle / Timeline
 ↓
Digital Human-ready Media
 ↓
FFmpeg Composition
 ↓
Final MP4

Module 01 · AI Course Generator

AI-powered course content generation

负责「讲什么」。

完整案例：

核心流程：

PPT → 内容解析 → 课程结构 → LLM 讲稿生成
 → Review → Revision → Final Script

已实现：内容解析与结构化

基于 python-pptx 的 PPT 解析与图片渲染
结构化中间表示 slides.json
页面 / 段落 / 句子三级层级结构
中文 / 英文讲稿支持

已实现：LLM 讲稿生成

基于课程结构的结构化讲稿生成
页面间逻辑衔接与内容扩展

已实现：讲稿审查与修订（LLM-as-Judge）

重复内容检测
页面衔接检查
术语一致性检查
机械表达检测
一键修订与 human-in-the-loop 人工编辑

本模块不涉及任何数字人技术，技术边界清晰。

Module 02 · Digital Human Media Pipeline

Speech, alignment and media generation infrastructure

负责「怎么讲出来」。

完整案例：

需要明确的是：这个模块不是数字人建模系统，而是数字人呈现所依赖的语音与媒体基础设施。当前能力链路：

Script → TTS → Audio → Alignment → Subtitle / Timeline
 → Digital Human-ready Media → Video Composition

多引擎 TTS 统一封装

集成 CosyVoice 3 与 IndexTTS 2.5 双引擎：

 Unified TTS Interface
音色管理 · 语速控制 · 引擎选择
 │
 ┌─────────┴─────────┐
 CosyVoice 3 IndexTTS 2.5
 └─────────┬─────────┘
 Audio 输出

已实现能力：

统一 TTS 抽象层（Unified TTS abstraction）
音色 / Speaker 配置管理
语速控制
多引擎可选
多 GPU 执行
重试（Retry）
检查点（Checkpoint）与缓存（Cache）
断点续跑（Resume）

不同 TTS 引擎具有不同的 API、模型依赖、GPU 占用和输出格式。统一 TTS 抽象使上层 Pipeline 与具体引擎解耦：新增或替换引擎时，不需要修改下游任何阶段。

字级语音-文本强制对齐

时间戳来自声音本身：TTS 音频先经 VAD 切分语音段，再用 FunASR Paraformer 识别出每一个字 / 词——识别结果天然携带真实的发音时间；随后将识别出的字词序列与原始讲稿逐字匹配，把声音时间戳映射回讲稿文本，得到字 / 词级的课程时间轴：

TTS 音频
 ↓
VAD 语音切分
 ↓
Paraformer ASR 识别
 ↓
字词 + 真实发音时间戳
 ↓
识别字词 ↔ 讲稿文本 逐字匹配
 ↓
时间戳映射回讲稿
 ↓
Timeline JSON（字 / 词级）

为什么不能按字符数估算字幕时间：长句、停顿、语速变化、中英文混读、标点和 TTS 韵律变化都会让估算产生累积误差。使用真实音频时间戳生成时间轴，字幕与语音才能逐字对齐。

Timeline 作为统一接口

对齐后的时间轴不只是字幕数据，而是整个媒体生产的统一时间轴接口：

Aligned Timeline
 │
 ├── Subtitle（字幕轨）
 │
 ├── Lip-sync Driver（Future：为后续数字人口型驱动提供统一时间轴接口）
 │
 └── Video Composition（视频合成）

字幕与视频合成都直接消费同一份 Timeline JSON；后续接入口型驱动时，同样复用这份时间轴，无需重新对齐。

生产级可恢复 Pipeline

Task
 ↓
Dispatcher
 ↓
GPU Worker
 ↓
TTS / Alignment / Rendering
 ↓
Intermediate Result
 ↓
Checkpoint
 ↓
Next Task

面向长时间媒体任务设计可恢复 Pipeline，使单个句子、页面或阶段失败时无需重新执行整个任务：

多 GPU 与 Worker 化执行
Task 级状态管理与失败隔离（Failure isolation）
Retry 自动重试
Checkpoint 检查点与中间结果缓存（Intermediate cache）
Resume 断点续跑

视频合成

Audio + Subtitle + Background / PPT + Digital Human-ready Video
 ↓
 FFmpeg
 ↓
 Final MP4

FFmpeg 在系统中不只是「导出工具」，而是整个媒体时间轴最终落地的 composition layer：音频轨、字幕轨、背景 / PPT 画面与数字人就绪画面按统一时间轴合成为最终教学视频。

演示

平台当前以本地服务方式运行：通过 Gradio Web UI 上传课程 PPT 或讲稿文本，即可走完上述端到端流程，产出带讲解配音与字级同步字幕的课程视频（MP4）。

两条典型路径：

端到端：上传 PPT → 自动解析、生成并审查讲稿 → TTS → 对齐 → 合成成片
直接配音：已有讲稿文本 → TTS → 对齐 → 合成成片

技术架构

Input
│
├── PPT / Course Material
└── Script Text
 │
 ↓
Content Layer ── AI Course Generator
│ （Parsing · Script · Review）
 ↓
Speech Layer
│
├── CosyVoice 3
└── IndexTTS 2.5
 │
 ↓
Alignment Layer
│
├── VAD
├── FunASR Paraformer
└── Text Matching
 │
 ↓
Timeline Layer
│
├── Character timestamps
├── Word timestamps
└── Subtitle data
 │
 ↓
Presentation Layer ── Digital Human / Lip-sync（Future）
 │
 ↓
Media Layer ── FFmpeg Composition
 │
 ↓
Final MP4

Scope

当前项目聚焦 AI 教学视频生产中的内容生成、语音合成、语音-文本时间轴和媒体合成基础设施。

数字人角色建模、完整 Avatar 系统、实时交互和复杂身体动作生成不属于当前核心范围，相关方向见下方 Future。

我的贡献

负责整体架构设计与核心 Pipeline 实现，从 LLM 课程内容生成、TTS、语音-文本时间轴对齐到最终视频合成，完成跨模型、跨阶段的媒体生产链路集成：

Designed the end-to-end architecture（端到端架构设计）
Designed the separation between content generation and presentation（内容与呈现解耦）
Built unified multi-engine TTS layer（多引擎 TTS 统一封装）
Implemented character / word-level alignment pipeline（字 / 词级对齐流水线）
Designed reusable timeline interface（可复用时间轴接口）
Built checkpoint / retry / resume mechanism（可恢复生产管线）
Integrated GPU inference workloads（GPU 推理工作负载集成）
Built final media composition pipeline（FFmpeg 媒体合成层）
Integrated multiple AI models into a production-oriented workflow（多模型工程化集成）

Future

Digital Human Lip-sync

将统一时间轴接入数字人口型驱动模型，实现语音驱动的口型同步。

Real-time Digital Human

从离线 Pipeline 向低延迟实时交互演进。

Prosody / Emotion Control

进一步控制 TTS 的情绪、韵律、停顿和表达风格。

PharmaRAG

Fri, 01 May 2026 00:00:00 +0000

一个为药师打造的企业级 LLM + RAG 知识库与辅助问答系统，将分散的企业文档转化为可检索、可溯源的知识服务，所有正式答复均带来源引用，并经人工确认后发布。

项目概述

医药领域的专业提问对准确性和可溯源性的要求远高于一般场景：回答必须有据可查，且在正式生效前经过人工把关。本系统将企业文档接入知识库，通过检索增强生成（RAG）工作流产出带引用的回答，由药师复核确认后发布，形成「机器检索生成 + 人工最终决策」的可靠协作模式。

问题

专业回答必须准确且可追溯到来源文档，无法接受"模型自由发挥"。
纯关键词检索会漏掉语义匹配；纯向量检索会丢失精确关键词命中——单一策略不可行。
检索质量直接决定回答质量：检索链路薄弱，无法在生成阶段补救。
面向真实业务的回答必须有人工确认环节，系统需将其纳入工作流而非游离在外。

解决方案

构建完整的 用户咨询 → 知识检索 → LLM 生成 → 人工确认 工作流：

用户咨询 → 混合检索（向量 + 关键词）→ RRF 融合 → 父文档聚合
 → Reranker 重排序 → LLM 生成（带来源引用）→ 人工确认发布

设计原则：先用多阶段检索把"最相关的完整证据"找出来，再让 LLM 基于证据作答。回答质量的上限由检索阶段决定，因此资源优先投入检索链路，而非 Prompt 调优。

系统架构

核心技术挑战

多阶段混合检索

单一检索策略难以同时保证语义召回与专业术语的精确命中，因此将检索拆分为多个协作阶段：

向量检索 负责语义匹配，关键词 / 全文检索 负责精确术语。
RRF（Reciprocal Rank Fusion） 融合异构检索结果，兼顾两路排序信号。
父文档聚合 返回完整、自洽的上下文段落，而非碎片片段。
Reranker 对候选结果精排，将最相关证据置于最前，降低 LLM 的阅读负担。

知识入库数据链路

检索质量的上游是干净、结构化的入库链路：

文档解析、数据清洗、分块与 Embedding 入库全流程自动化。
pgvector 与关系数据同库存储，简化事务与备份；Redis 承担热点缓存；Celery 运行后台任务；MinIO 存放原始对象。

上线前评估体系

先建立可度量的评估基准，再迭代检索策略：

构建合成病例与评测 Query 数据集，覆盖典型问法与边界问法。
以召回率与排序质量等离线指标驱动检索策略迭代——先于任何 Prompt 调优。

工程实现

FastAPI 应用层承载问答工作流与人工确认状态流转。
基于 PostgreSQL / pgvector、Redis、Celery、MinIO 组装 RAG 基础设施，全部 Docker 容器化。
提供离线检索评估工具，支撑数据驱动、可复现的原则性迭代。

项目成果

完成端到端企业级 RAG 系统：

输入：企业文档 + 用户咨询
输出：带来源引用、经人工确认的回答
解析 → 清洗 → Embedding → 检索 → 重排序 → 生成全链路打通
多阶段检索架构（RRF 融合 + 父文档聚合 + Reranker 精排）
合成病例与评测 Query 数据集及离线评估工具
「咨询 → AI 答复 → 人工确认」业务流程真实运转

演示

输入用户咨询后，系统执行混合检索、融合重排序证据，并生成带来源引用的回答；药师在确认界面复核引用与内容后正式发布。

技术栈

检索：Embedding · 混合检索（向量 + 关键词）· RRF 融合 · 父文档聚合 · Reranker 生成与编排：LLM · LangChain · Prompt 设计 · 人工确认工作流 基础设施：FastAPI · PostgreSQL / pgvector · Redis · Celery · MinIO · Docker 评估：合成病例数据集 · 离线检索评测

我的贡献

独立完成设计与开发：

设计多阶段混合检索架构与融合排序策略
构建文档解析、清洗、分块与 Embedding 入库数据链路
搭建合成病例评测数据集与离线检索评估工具
组装生产级基础设施并完成 Docker 容器化交付

该项目完整体现了我从 混合检索链路设计、生成质量控制到生产级基础设施交付 的企业级 RAG 工程能力。

应用前景与可扩展方向

当前系统已支撑「咨询 → 检索生成 → 人工确认」闭环，其模块化架构具备向更广场景延展的潜力：

应用场景

用药咨询知识自助：面向内部人员的药品知识自助问答，减少药师重复答疑负担。
合规与制度问答：同一套检索生成框架可直接迁移到制度、规范类文档问答。
连锁 / 多组织知识统一：多门店、多组织的分散文档统一入库，形成一致的知识服务。

可扩展技术方向

Agent 化多轮问答：引入多轮澄清与追问，处理模糊提问与复合问题。
知识库增量更新流水线：文档版本变更时自动重建受影响分块，保持知识与源文件同步。
审计与质量看板：沉淀确认前后的修改差异，形成回答质量的持续改进依据。

工地现场安全行为检测

Sun, 01 Jun 2025 00:00:00 +0000

面向工地安全管理的视觉检测系统，实时识别多种危险源与不安全行为，并将检测结果转化为可执行的预警与记录。

项目概述

工地安全隐患类型多、环境多变：未佩戴安全帽或反光衣、周界入侵、人员跌倒、抽烟、烟火危险源等，仅靠人工盯屏难以覆盖。本项目围绕真实工地场景设计并验证了一套多目标视觉检测系统，覆盖从数据构建、模型研发到预警工作流的完整链路。

问题

七类目标尺度与形态差异巨大——小目标烟火与大范围场景入侵共存，检测难度不同。
工地光照、天气、机位角度多变，实验室指标无法直接代表现场效果。
检测结果必须触发可执行的预警与记录，而非仅仅展示检测框。
误报过多会让现场人员失去信任，漏报则带来安全风险，两者需共同控制。

解决方案

设计 检测 → 预警 → 记录 的 AI 安全管控流程：

检测目标：安全帽、反光衣、周界入侵、人员跌倒、抽烟、人脸、烟火危险源七类目标。
模型研发：面向七类目标的检测模型设计、数据整理与增强、模型训练与效果评估。
场景适配：针对真实工地条件调优模型，并接入监控预警工作流。

系统架构

监控视频流 → 目标检测 → 多目标跟踪 → 行为分析 → 预警触发 → 记录归档

核心技术挑战

复杂场景下的多类别检测

七类目标在尺度、形态与出现频率上差异巨大，需要针对性的策略平衡精度：

小目标（远处烟火）与大目标（周界入侵）采用差异化的处理策略平衡检测精度。
数据整理与增强覆盖光照、天气与机位角度差异，缩小现场与训练分布的差距。

从检测到可执行的预警

原始检测框不构成安全管理能力，还需要行为层面的加工：

通过多目标跟踪关联时序信息，结合行为分析区分瞬时误检与持续风险。
以持续帧数与区域规则约束触发条件，将误报 / 漏报压到现场可接受范围。

交付质量标准

集成前建立明确的质量门槛，避免"能跑即交付"：

在场景专属验证集上完成模型评估，制定清晰的精度与响应标准。
场景适配迭代直至达标，再进入生产监控工作流。

工程实现

数据准备：标注整理、清洗与面向场景的增强策略。
模型研发：检测模型训练与迭代，在场景专属验证集上进行效果评估。
推理部署：基于 CUDA / ONNXRuntime 的推理优化，接入实时视频流。
业务集成：检测 + 跟踪 + 行为分析结果接入预警与记录工作流。

项目成果

七类危险源检测方案设计与验证全部完成
「检测 → 预警 → 记录」端到端安全管控流程落地
场景专属验证集与增强策略沉淀，支持后续迭代
模型在真实工地条件下完成场景适配并通过验收

演示

摄像头画面实时检测安全隐患并产生预警与记录，覆盖全部七类目标。

技术栈

视觉模型：目标检测 · 多目标跟踪 · 行为分析 · PyTorch · CNN 推理部署：CUDA · ONNXRuntime 工程：数据标注与增强 · 效果评估 · 场景适配

我的贡献

负责算法设计与交付：

七类目标的检测方案设计与验证
数据整理、增强策略与场景专属验证集构建
模型训练、评估与现场场景适配
检测结果到预警记录工作流的集成落地

该项目完整体现了我从 数据构建、检测模型训练与评估，到推理部署与安全管理流程落地 的计算机视觉工程能力。

应用前景与可扩展方向

当前「检测 → 预警 → 记录」流程已在真实工地场景跑通，同一框架具备进一步延展的空间：

应用场景

更多危险源类别：在同一框架下扩展未戴手套、违规用电等类别。
园区级规模接入：多路摄像头统一接入，形成片区级安全监测。
管理闭环联动：预警自动生成工单，与工地安全管理系统对接。

可扩展技术方向

边缘端部署：模型轻量化后下沉至边缘设备，降低带宽与延迟。
时序行为建模：引入时序模型识别更复杂的不安全行为模式。
主动干预提醒：结合现场音柱 / 屏幕做实时提示，形成"发现即干预"闭环。

影视视频修复项目集 · Video Restoration Portfolio

Sat, 01 Jun 2024 00:00:00 +0000

项目概述Overview

长期从事计算机视觉与图像 / 视频处理相关算法研发，参与电影、电视剧、纪录片及历史影像的数字化修复与画质增强。

技术方向从早期的图像降噪、缺陷修复和深度学习图像复原，逐步扩展到 CNN、Transformer、参考引导修复、超分辨率、时序一致性以及端到端视频复原。

在算法研发之外，也参与数据集构建、模型评估、GPU 算力规划、批量任务处理和生产质量控制，将算法从实验环境落地到大规模视频处理场景。

代表项目Featured Project

Featured Project · 代表案例

黑龙江省广播电视局｜老旧剧集 4K 画质修复升级

2023.12 – 2024.06

面向黑龙江省广播电视局历史节目资源开展老旧剧集 4K 超高清修复升级，对标实际播出与资源库建设需求，参与制定修复标准、处理流程及质量评价要求。

针对历史视频中的噪声、模糊、细节缺失及色彩失真等问题，负责图像增强与视频修复算法研发，通过模型训练与参数优化持续改善修复效果；同时参与 GPU 资源规划、批量任务处理及成果质量控制。

基于深度学习图像复原、Transformer、U-Net 及参考信息引导等技术开展算法研发，建立从数据处理、模型训练、批量 GPU 处理到最终质量验收的完整工程流程。

Historical Video
 ↓
Pre-processing
 ↓
Degradation Analysis
 ↓
Reference-guided Restoration
 ↓
Transformer + U-Net
 ↓
Super Resolution
 ↓
Temporal / Quality Control
 ↓
GPU Batch Processing
 ↓
4K UHD Output

1,600+ min

历史视频处理量 · Historical Video Processed

4K UHD

最终输出分辨率 · Final Output Resolution

Accepted

项目通过正式验收 · Formal Acceptance

深度学习图像复原 Transformer U-Net 参考信息引导 GPU 批量处理质量控制

技术演进Technical Evolution

2015 电影 / 视频修复 Film & Video Restoration

图像降噪 · Image Denoising 画质增强 · Image Enhancement

2017 – 2021 深度学习修复 Deep Learning Restoration

CNN 视频去噪 · Video Denoising 超分辨率 · Super Resolution 时序处理 · Temporal Processing

2020 – 2023 规模化生产处理 Production-scale Processing

批量视频处理 · Batch Processing GPU 加速 · GPU Acceleration 质量控制 · Quality Control

2023 – 2024 Transformer 修复 Transformer-based Restoration

Transformer U-Net 参考引导 · Reference Guidance 4K 增强 · 4K Enhancement

2024 – 2025 端到端智能修复 End-to-End Restoration

语义先验 · Semantic Prior 感知损失 · Perceptual Loss 时序一致性 · Temporal Consistency

核心能力Core Capabilities

图像复原 Image Restoration

图像去噪 · Image Denoising
缺陷修复 · Defect Removal
去模糊 · Deblurring
画质增强 · Image Enhancement

视频修复 Video Restoration

时序一致性 · Temporal Consistency
视频去噪 · Video Denoising
逐帧修复 · Frame-level Restoration
长视频处理 · Long-form Video Processing

超分辨率 Super Resolution

分辨率增强 · Resolution Enhancement
4K 修复 · 4K Restoration
参考引导重建 · Reference-guided Reconstruction

深度学习 Deep Learning

CNN
U-Net
Transformer
感知优化 · Perceptual Optimization

数据集工程 Dataset Engineering

退化模拟 · Degradation Simulation
训练集构建 · Training Dataset
评估集 · Evaluation Dataset
质量评估 · Quality Assessment

生产工程 Production Engineering

GPU 处理 · GPU Processing
批量调度 · Batch Scheduling
大规模媒体处理 · Large-scale Processing
质量控制 · Quality Control

代表性项目Selected Production Projects

2015.04 – 2015.08

《本命年》电影画质升级翻新

针对老电影胶片素材中的噪声、模糊与色彩退化问题开展画质升级与翻新处理，负责图像降噪、画质增强算法调试、素材预处理及效果迭代，完成翻新成片输出。

图像复原视频去噪胶片修复

2015 – 2021

中影数字基地 / 北京电影资料馆馆藏老电影修复

面向馆藏胶片老电影开展数字化修复，处理霉斑、划痕、颗粒噪声、帧闪烁、画面抖动等典型胶片损伤；负责图像修复与视频增强算法研发调优，并参与数据集构建、效果评估和批量处理质量控制。

CNN 图像复原时序处理批量处理

2017

《军师联盟》剧集画质增强

针对剧集素材噪声特征开展视频降噪和画质增强算法适配，进行空间与时序联合处理及效果迭代。

视频增强时序处理

2017 – 2018

《厉害了，我的国》历史镜头修复

针对影片中的历史档案镜头进行画质修复和清晰度增强，处理模糊、噪声及色彩偏差等问题，并完成多轮效果优化。

超分辨率图像复原历史影像

2020 – 2022

广东广播电视台剧集与纪录片修复

面向老剧集和历史纪录片开展批量画质修复与增强，针对老素材噪声和色彩失真进行算法适配、参数调优和批量输出质量控制。

视频修复色彩校正 GPU 处理批量处理

2021

华数数字电视传媒纪录片修复

针对不同来源纪录片素材的退化特征进行视频复原、去噪与色彩还原。

视频修复去噪色彩还原

2023

海南影视 / 琼剧历史素材修复

针对老录像带、历史纪录片及传统戏曲影像进行视频降噪、色彩校正和超分辨率增强。

视频修复色彩校正超分辨率

研究与创新Research & Innovation

时光裂痕：智能修复唤醒沉睡的记忆

2024 – 2025 · AI-powered Video Restoration

面向老旧影视资料研发端到端智能修复计算平台，探索从缺陷修复到超分辨率增强的一体化视频复原方案。

Cascade Deep Neural Networks
 ↓
Restoration + Super Resolution
 ↓
Perceptual Loss
 ↓
Semantic Prior
 ↓
Temporal Illumination Consistency
 ↓
Video Restoration

参与级联深度神经网络模块调优、修复与超分模块级联调试、帧间光照一致性约束优化，并参与高层语义先验、数据集构建、模型验证和算法模块落地。

个人角色：核心算法人员 · 项目答辩主讲人

🏆 二等奖

智能修复与增强方案赛道

MediaAIAC · 第四届广播电视和网络视听人工智能应用创新大赛

2025.09

影视媒体修复与视觉质量提升

基于级联深度神经网络和高层语义信息

参与基于级联深度神经网络和高层语义信息的影视媒体修复与视觉质量提升项目，围绕影视媒体缺陷修复、视觉质量增强等方向参与算法研发与项目实施。

个人角色：项目参与人

🏆 三等奖

视频修复类

MediaAIAC · 首届广播电视和网络视听人工智能应用创新大赛

2021.05

长期技术实践Long-term Practice

长期参与历史影视、老照片及音视频资料的智能修复与画质增强，持续迭代 CNN、Transformer 等图像复原模型，并围绕模拟退化数据、模型训练、效果评估、GPU 处理和质量控制建立可复用的算法与工程流程。

CNN Transformer 图像复原 · Image Restoration 超分辨率 · Super Resolution 视频处理 · Video Processing 数据集工程 · Dataset Engineering GPU 计算 · GPU Computing 质量评估 · Quality Assessment