一、项目定位与核心价值

LocalMiniDrama 是基于 纯 JavaScript 全栈 打造的本地离线 AI 短剧 / 漫剧一站式生成平台，核心解决 AI 内容创作的隐私安全、成本可控、全链路自主三大痛点。区别于云端 API 依赖型工具，它实现数据不出本机、模型本地部署、流程可视化可控，是面向开发者、内容创作者的轻量化 AI 内容生产引擎，填补了本地 AI 短剧生产的技术空白。

二、整体技术架构（全栈拆解）

1. 分层架构总览

项目采用前后端分离 + Electron 桌面封装的三层架构，纯 JS 技术栈实现跨平台（Windows/macOS/Linux）运行，无 TypeScript、无强依赖编译，降低部署与二次开发门槛。

plaintext

LocalMiniDrama/

├── backend-node/ # Node.js后端（Express+SQLite）—— 核心业务与AI调度层

├── frontweb/ # Vue3前端（Vite+Element Plus）—— 可视化交互层

├── desktop/ # Electron桌面壳 —— 跨平台封装层

└── docs/ # 文档与配置

2. 前端架构（Vue3 全栈可视化）

技术栈

· 框架：Vue3 + Vite（极速热更新、构建优化）

· UI：Element Plus（成熟组件库，快速搭建管理后台）

· 状态管理：Pinia（轻量、无模板语法，适配短剧多场景状态流转）

· 网络：Axios（封装 REST API，对接后端 AI 服务）

· 样式：Sass+CSS 变量（主题化、响应式适配）

核心模块设计

· 项目管理模块（FilmList.vue）：短剧项目 CRUD、素材库管理、本地文件索引，对接 SQLite 实现项目持久化

· 创作核心模块（FilmCreate.vue）：剧本编辑、角色设定、分镜可视化、AI 生成调度面板，是前端与 AI 交互的核心入口

· 剧集管理模块（DramaDetail.vue）：单集内容编辑、分镜预览、视频合成进度监控、导出配置

· API 封装层：统一后端接口调用，封装 AI 生成、文件上传、数据持久化等核心方法，解耦业务与网络请求

3. 后端架构（Node.js+Express+SQLite）

技术栈

· 运行时：Node.js（非阻塞 I/O，适配 AI 任务异步调度）

· 框架：Express（轻量 RESTful 框架，快速搭建 API 服务）

· 数据库：SQLite（better-sqlite3）（本地文件型数据库，无服务依赖，适配单机部署，存储项目、剧本、分镜、生成记录）

· 配置：YAML（config.yaml 集中管理模型路径、API 密钥、生成参数）

· 核心依赖：FFmpeg（视频合成、转码、剪辑）、AI 模型 SDK / 本地推理库

后端分层设计（核心技术亮点）

· 配置层（config/）：加载 YAML 配置，实现模型路径、生成参数、跨域、端口的动态配置，支持本地模型与云端 API 双模式切换

· 数据层（db/）：SQLite 连接池、表结构迁移、CRUD 封装，实现项目数据、角色数据、分镜数据、生成日志的本地持久化，无云端数据同步，隐私 100% 可控

· 服务层（services/）：核心业务与 AI 调度核心，包含：

 剧本生成服务：对接 LLM（本地 / 云端），实现主题→大纲→剧本→对白的全链路生成

 分镜生成服务：解析剧本，自动拆分镜头，生成文生图提示词，调度生图模型

 视频合成服务：集成 FFmpeg，实现分镜图→动态视频→配音配乐→成片导出的自动化流水线

 AI 模型调度服务：本地模型（Stable Diffusion、LLaMA 等）推理、云端 API（文生图、TTS）代理、失败重试、并发控制

· 路由层（routes/）：RESTful API 封装，暴露项目管理、AI 生成、文件操作、导出等接口，前后端通信统一入口

4. Electron 桌面层（跨平台封装）

· 技术：Electron 28 + electron-builder，将 Web 应用封装为桌面 exe/dmg，实现本地文件读写、系统权限调用、托盘管理

· 核心价值：解决 Web 端本地模型调用、大文件读写、FFmpeg 执行的权限问题，实现纯本地离线运行，无需依赖浏览器环境

三、AI 核心实现思路（技术深度拆解）

1. AI 技术栈选型（本地 + 云端双模式）

项目采用 “本地优先、云端兜底” 的 AI 架构，兼顾隐私与效果，支持两种模式无缝切换：

· 本地模式（核心）：

 LLM：本地部署LLaMA 2/3、Qwen、ChatGLM等开源大模型，实现剧本生成、剧情理解、对白优化

 文生图：本地部署Stable Diffusion XL、Flux等，生成分镜图、角色图、场景图

 TTS：本地部署Bert-VITS2、Edge TTS 本地版，实现角色配音、旁白生成

 视频生成：本地部署Stable Video Diffusion、AnimateDiff，将分镜图转为动态视频

· 云端模式（兜底）：

 集成腾讯混元、阿里云百炼、Grsai 等文生图 API，以及 OpenAI、DeepSeek 等 LLM API，解决本地模型算力不足问题

2. AI 工作流设计（全链路自动化）

LocalMiniDrama 的核心竞争力是AI 驱动的短剧全链路自动化，技术流程如下：

步骤 1：剧本智能生成（LLM 核心）

· 输入：主题、风格、集数、角色设定

· 技术实现：

后端服务层调用 LLM（本地 / 云端），基于 三幕式结构（冲突 - 反转 - 悬念） 生成剧本大纲

解析大纲，自动拆分每集剧情、对白、场景描述，输出结构化 JSON（集数、场景、角色、对白、镜头提示）

 关键技术：Prompt 工程优化（短剧专用 Prompt 模板、角色一致性约束、剧情逻辑校验）、结构化输出（LLM 输出 JSON，便于后续分镜解析）

步骤 2：分镜自动生成（文生图调度）

· 输入：结构化剧本数据

· 技术实现：

 分镜解析服务：遍历剧本，按场景、角色、动作拆分镜头，生成文生图提示词（包含角色描述、场景、风格、镜头参数）

模型调度：根据配置选择本地 SD/Flux 或云端 API，批量生成分镜图，支持角色一致性控制（固定角色特征提示词，避免角色漂移）

 本地推理优化：采用模型量化（4-bit/8-bit）、批处理生成、显存优化，降低本地运行门槛

步骤 3：视频合成与后期（FFmpeg+AI 动效）

· 输入：分镜图、角色配音、背景音乐

· 技术实现：

 视频生成：调用 AI 视频模型（AnimateDiff）将静态分镜图转为动态视频片段（含运镜、表情、动作）

o音频合成：TTS 生成角色配音，AI 配乐推荐（本地 / 云端），实现音画同步

 后期剪辑：集成 FFmpeg，自动拼接视频片段、添加转场、字幕、水印，导出 MP4 格式

关键技术：FFmpeg 命令行封装（异步执行、进度监控、错误处理）、音视频同步算法（基于对白时间轴对齐）

3. 核心技术亮点（AI + 工程化）

四、与同类项目对比（技术差异化）

1. 技术价值

· 全栈 JS 轻量化：打破 AI 内容生产工具 “重依赖、高门槛” 的现状，前端开发者可快速二次开发

· 本地 AI 落地：推动开源大模型、文生图模型在内容创作领域的本地化实用化，降低 AI 创作成本

· 全链路自动化：将短剧生产从 “人工剪辑 + AI 辅助” 升级为 “AI 全链路 + 人工微调”，提升生产效率 10 倍以上

2. 未来技术演进方向

· 多模态融合：接入本地语音识别（Whisper）、视频理解模型，实现 “视频→剧本→分镜” 的反向生成

· AI Agent 集成：引入 AI 智能体，实现剧情自动优化、角色自动迭代、生成参数自动调优

· 分布式部署：支持多机分布式 AI 推理，解决本地算力不足问题

· 插件化扩展：开放 AI 模型、生成流程、导出格式的插件接口，支持社区二次开发

LocalMiniDrama 以纯 JS 全栈 + 本地 AI为核心技术路线，实现了短剧从剧本到成片的全链路自动化，兼顾隐私、成本与灵活性。其架构设计轻量化、AI 实现工程化，是前端开发者入局 AI 内容创作的优质开源项目，也为本地 AI 落地提供了可复用的技术方案。