framework

Framework.md

@@ -0,0 +1,71 @@
+## 【伪流式音频转写 + LLM优化系统架构图】
+
+### 🌊 总体流程图
+
+```mermaid
+graph TD
+    A[音频流输入] --> B[VAD]
+    B --> C[Transcribe]
+    C --> D[语义聚合控制器]
+
+    D --> E[即时输出模块]
+    D --> F[LLM 优化调度器]
+
+    F --> G[优化后回填模块]
+    G --> E
+    E --> H[翻译模块]  
+```
+
+---
+
+### 🧱 模块划分（以伪流式为核心）
+
+#### **模块 A：音频流输入**
+- **职责**：接收用户麦克风或远程语音流（如 WebRTC, WebSocket），将连续音频切分为帧（如每帧 20ms）。
+- **特点**：持续运行的监听器，向下游推送 PCM 帧 / numpy array。
+- **实时性保障**：限帧缓冲长度（防止阻塞）；异步 IO（web/本地都适用）。
+
+#### **模块 B：VAD 分段器**
+- **职责**：根据能量、静音、说话边界等信号判断语音段落。
+- **输出**：segment 音频块 + 时间戳。
+- **特点**：滑动窗口方式收集帧，支持重叠帧（方便 whisper 特征提取）。
+- **实时性保障**：分段逻辑低延迟计算，每完成一个 segment 即可推送。
+
+#### **模块 C：Whisper 转录模块**
+- **职责**：对每段 VAD 输出进行 whisper 转写，输出文本 + 时间戳。
+- **特点**：segment 级别调用 whisper，天然可并行；可 GPU 推理加速。
+- **实时性保障**：控制 segment 长度在 1~5s，支持多个转录 worker 异步执行。
+
+#### **模块 D：语义聚合控制器**（⚠️核心控制器）
+- **职责**：维护 segment 缓冲池（N 个），判断 segment 是否“组成完整语义单元”，推送两个下游：
+  - 即时展示模块（原始或优化转写）
+  - fine-tune 队列（异步 LLM 优化）
+- **判断逻辑**：基于标点、停顿、时间间隔、小模型或规则判断。
+- **实时性保障**：设置最大延迟窗口，防止句子粘连。
+
+#### **模块 E：即时输出模块**
+- **职责**：将聚合后的转写结果立即显示给用户，无论是原始还是优化后的内容。
+- **特点**：无等待、无依赖，低延迟输出，支持句子更新。
+- **实时性保障**：最短路径，展示为第一响应版本。
+
+#### **模块 F：LLM 优化调度器**
+- **职责**：接收待优化句子，加入优化任务队列。
+- **特点**：任务调度、并行执行、负载均衡；支持多模型、可控超时。
+- **实时性保障**：异步非阻塞，不影响主流程。
+
+#### **模块 G：优化后回填模块**
+- **职责**：对照原句编号，将 LLM 优化结果回填替换，并推送给即时输出模块。
+- **特点**：非强覆盖，可差分更新；UI 区分原始/优化版本。
+- **实时性保障**：回填异步进行，不干扰主字幕。
+
+#### **模块 H：翻译模块**
+- **职责**：接收所有来自即时输出模块的句子（原始或优化后），将其翻译为目标语言。
+- **特点**：单一翻译模块，适配不同质量文本；可以并行多语种或缓存优化后重译。
+- **实时性保障**：即转即译 + 回填更新可分离，支持伪流式体验。
+
+---
+
+### 🔧 模块功能说明
+
+（说明内容略，与上述保持一致，可在后续按需同步更新）
+