Memoria 项目实训日志 #1 | 愿景构筑与端云协同架构设计
文章目录
项目名称:智能影记 - Memoria
团队名称:Mnemosyne (2023级软件学院实训小组)
时间:3.16-3.22 (启动周)
一、 项目背景:数字记忆的“熵增”与叙事缺失
在移动互联网高度发达的今天,手机已成为人类的“外挂记忆器官”。然而,个人影像资产的爆发式增长也带来了严重的“数字囤积症”:
- 数据冗余:相册中充斥着截图、重复照片和无意义的记录,掩盖了真正的高光时刻。
- 创作壁垒:高质量的 Vlog 制作需要极高的审美、剪辑技巧和时间投入。
- 隐私焦虑:主流 AI 工具高度依赖全量数据上云,用户对私密影像的安全性存在深层顾虑。
Memoria 的核心使命,是通过端侧 AI 与多模态技术,将海量碎片化图片自动重构为高质量的视听故事,实现“让每个人都成为自己生活的导演”。
二、 核心解决方案:端云协同的隐私防火墙
为了兼顾“生成质量”与“隐私安全”,Mnemosyne 团队确立了**“重端侧感知、轻云端生成”**的异构计算范式。
2.1 隐私防火墙架构
我们设计了一套闭环的隐私保护体系:
- 本地可信域:图像像素、GPS 元数据、人脸特征等敏感信息永远不出手机。利用端侧 NPU 推理 MobileCLIP 模型生成脱敏的向量特征。
- 公共计算域:云端仅接收脱敏后的文本 Prompt,用于生成背景音乐(MusicGen)或进行逻辑推理。
2.2 混合语义检索算法
为了实现“所想即所得”的搜图体验,我们自研了一套结合 LLM 语义解析 + SQL 硬过滤 + 向量空间软排序 的检索算法,支持长句和抽象意图(如“去年的奋斗历程”)的毫秒级响应。
三、 产品原型:交互驱动的叙事体验
本周,团队完成了高保真原型的设计。我们摒弃了传统的“轨道编辑器”,转而采用“剧本逻辑流”。
- 发现模块:AI 自动感知时空轨迹,主动推送回忆草稿。
- 语义检索:底部沉浸式搜索,实时反馈召回数量。
- 脚本可视化:清晰展示 AI 导演的思考过程(素材分析 -> 脚本撰写 -> 视听合成)。



四、 工程基建:跨平台与端云协同架构初始化
为了支撑后续高强度的敏捷开发,团队在本周正式确立了项目的工程目录规范,并完成了 Flutter 跨平台客户端底座的搭建。
在架构设计上,我们摒弃了前后端完全割裂的传统做法,采用了一种深度融合的“大平层”结构,以确保端侧 C++ 推理库与 Flutter UI 层的无缝对接:
├── ai_tools/ # 端侧 AI 脚本、模型量化导出工具与测试环境
├── android/ # Android 原生工程 (包含 NCNN C++ FFI 桥接代码)
├── assets/ # 静态资源 (图片、本地化标签集等)
├── checkpoints/ # 模型权重与检查点 (受严格版本控制忽略,防止仓库膨胀)
├── lib/ # Flutter 核心 Dart 源码 (业务主阵地)
│ ├── core/ # 核心基础配置 (主题、常量、路由中心等)
│ ├── models/ # 数据模型定义 (端云通信标准契约)
│ ├── services/ # 接口服务层 (AI 引擎调度、本地 SQLite-VSS 调用)
│ └── views/ # UI 界面展示与交互逻辑
├── launch.sh # 多平台一键编译/自动化部署脚本
├── .gitignore # 团队协作隔离规范 (严格屏蔽大模型文件与本地环境)
└── pubspec.yaml # Flutter 核心依赖配置
团队协作规约落地:
针对多模态应用模型文件过大的痛点,团队在第一周就踩坑并修复了 Git LFS 的隐患。目前已通过严格的 .gitignore 规范将 .onnx、.bin 及 checkpoints/ 目录隔离出版本控制,所有模型文件采用网盘统一分发,确保代码仓库的纯净与轻量。
五、 敏捷开发规划
我们制定了为期 15 周的五阶段迭代计划,确保项目稳健推进:
| 阶段 | 周期 | 核心目标 | 交付物 |
|---|---|---|---|
| Phase 1 | W1-W3 | 基建与原型期 | 项目计划书、Figma 原型、Flutter 骨架 |
| Phase 2 | W4-W6 | 端侧感知攻坚 | MobileCLIP 部署、本地向量数据库、数据净洗 |
| Phase 3 | W7-W9 | 语义检索与编导 | 混合检索算法、云端 LLM 接口联调 |
| Phase 4 | W10-W12 | AIGC 视听合成 | 情绪音乐生成、帧级卡点算法、视频渲染 |
| Phase 5 | W13-W15 | 集成与调优 | 全链路联调、性能优化、结项报告 |
六、 本周团队动态与进展
- 团队共识构建:通过多次线下研讨会,完成了从“相册工具”到“智能导演”的产品定义升级。
- 关键文档定稿:正式发布 《Memoria 项目计划书 v4.1.2》,详细规定了技术规约与分工。
- 技术预研启动:AI 组已完成 MobileCLIP 模型在端侧的初步推理测试;前端组已打通 Flutter 跨平台渲染引擎。
目前,项目所有文档及初步代码已同步至团队 Gitee 仓库。
结语
Mnemosyne 团队相信,技术不应只是冷冰冰的算力,而应成为连接情感的纽带。Memoria 的第一行代码已经敲下,欢迎关注我们的后续进展。
AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念,把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起,为开发者提供从开发、训练到部署的一站式体验。
更多推荐



所有评论(0)