知归 KnowWhere 内容归档数据流

知归 KnowWhere 内容归档数据流 由 Archify 生成的数据流图。 01 / 入口 02 / 接收与任务 03 / 内容提取 04 / AI 与归档 个人用户 · 飞书私聊 · 内容链接 · 01 / 入口 · 已授权 open_id 个人用户 飞书私聊 · 内容链接 已授权 open_id CLI process · knowwhere process <URL> · 01 / 入口 · 本地链路 CLI process knowwhere process <URL> 本地链路 飞书 Gateway · 长连接接收 · 状态回执 · 02 / 接收与任务 · im.message.receive_v1 飞书 Gateway 长连接接收 · 状态回执 im.message.receive_v1 处理流水线 MvpPipeline · 状态机推进 · 幂等去重 · 02 / 接收与任务 · 提取 → 分析 → 归档 处理流水线 MvpPipeline 状态机推进 · 幂等去重 提取 → 分析 → 归档 PostgreSQL · 任务状态 · 检查点 · 快照 · 02 / 接收与任务 · 内部事实源 PostgreSQL 任务状态 · 检查点 · 快照 内部事实源 文章提取 · 微信公众号 · 掘金 · GitHub · 03 / 内容提取 · 正文 / README 文章提取 微信公众号 · 掘金 · GitHub 正文 / README 抖音 / B站 提取 · 图文 OCR · DASH 音轨转录 · 03 / 内容提取 · GLM-4.6V · 腾讯 ASR 抖音 / B站 提取 图文 OCR · DASH 音轨转录 GLM-4.6V · 腾讯 ASR OpenAI 兼容 LLM · 分类 · 标题 · 标签 · 摘要 · 04 / AI 与归档 · json_object + Pydantic OpenAI 兼容 LLM 分类 · 标题 · 标签 · 摘要 json_object + Pydantic 飞书多维表格 · 「知归」记录 Upsert · 分类目录 · 04 / AI 与归档 · 归档投影 飞书多维表格 「知归」记录 Upsert · 分类目录 归档投影 私聊消息（内容链接） p2p 事件 URL 提交 · 授权 后台线程 URL 提交 本地命令 任务状态 · 检查点 · 结果快照 每阶段先写库 URL 微信 / 掘金 / GitHub URL 抖音短链 / b23.tv 正文 / README ExtractedContent OCR / 转录正文 图文视觉 · 视频语音 AI 结果 Upsert content_id 幂等 一级分类选项 允许分类集合 图例 主要数据 异步批处理 数据存储 数据流

主处理链路

  • • 飞书 Gateway 长连接与 CLI process 命令共用同一条 MvpPipeline 用例
  • • 流水线每阶段先写 PostgreSQL 状态再推进；提取进度只落无密钥检查点
  • • 按规范 URL 幂等去重：重复提交也进入明确的完成终态

媒体转录链

  • • 视频经 FFmpeg 归一为单声道 16k MP3，按 4 小时切成腾讯单任务安全分段
  • • 媒体字节经私有 COS 临时对象中转（knowwhere-temp/），只签发短时只读 URL
  • • 成功与失败路径都会清理 COS 临时对象；抖音图文按原顺序交给 GLM-4.6V

AI 与归档约束

  • • 分类集合取自飞书「一级分类」单选字段；LLM 使用提示词主约束 + few-shot + json_object + Pydantic
  • • 首轮非法 JSON 只做一次受限修复，仍失败则明确降级，绝不写入非法分类
  • • 飞书保留未经改写的原始标题；完成后向私聊回复归档记录链接