TaleStreamAI：实现小说文本到短视频的自动化转换，适合做小说推文

TaleStreamai是什么？

TaleStreamAI 是一款开源项目，能够实现小说文本到短视频的自动化转换。

TaleStreamAI技术亮点

• 智能分镜：借助 Gemini 模型拆解小说情节，把长章节切割成多个部分，避免处理超量内容，同时为每个分镜规划好文字和镜头脚本，让故事呈现更连贯。

• 提示词优化：通过 DeepSeek-V3 模型对绘图提示词进行打磨，让分镜里的文字描述更精准适配 AI 绘图需求，提升生成画面的质量和贴合度。

• 精准字幕：运用静音检测与语音分析技术，结合 OpenAI 的 Whisper 模型做语音识别，生成精准的 SRT 字幕，保证字幕和音频完美同步。

• 视频效果处理：利用 MoviePy 库开发的图像移动算法，能实现平移等多种画面效果，自动添加字幕，还支持自定义视频分辨率和比例，产出专业级视频。

• 资源管理优化：通过垃圾回收、临时文件清理、内存优化等手段，保证程序长时间稳定运行，即便处理大量视频任务也不易出错。同时，模块化架构、多线程处理、错误恢复机制等设计，也让系统更灵活高效。

TaleStreamAI运行流程

• 内容抓取：从起点网站获取指定小说，用 BeautifulSoup 库解析网页，提取章节内容并保存为独立文本文件。

• 分镜制作：Gemini 大语言模型将小说内容拆解成多个场景，每个分镜包含内容、中英文镜头描述等信息。

• 提示词精修：DeepSeek-V3 模型进一步优化分镜提示词，形成适合 AI 绘图的精准指令。

• 图像生成：把优化后的提示词发送到 Stable Diffusion API（免费），获取高质量画面。

• 音频合成：借助 CosyVoice2 语音合成模型，将分镜文字转成自然的语音旁白，支持多线程处理和 API 密钥轮换，输出 MP3 格式音频。

• 字幕生成：用 Whisper 模型对音频做语音识别，通过增强分段技术生成精确的 SRT 字幕文件。

• 单镜合成：将画面、音频、字幕整合，利用 MoviePy 库添加视频效果，制作成单个视频片段。

• 成片制作：使用 FFmpeg 的 concat 功能，按顺序合并所有视频片段，并优化内存使用，输出完整视频。

TaleStreamAI应用场景

• 小说宣传：作者可以把作品片段做成视频，吸引更多读者关注。

• 内容盈利：将公版或原创小说制作成短视频，在各平台发布获取流量收益。

• 教育辅助：把文学作品变成可视化视频，帮助学生理解经典文学。

• 媒体创作：为广播剧、有声书配上画面，丰富内容表现形式 。

Github：https://github.com/Mubashir-414/TaleStreamAI