项目名称: 智能影记 - Memoria
团队名称: Mnemosyne
当前阶段: Phase 6 (视觉交互升维与底层工程固化)

一、 本周工作概述:从“应用原型”到“工程沉淀”

近期,Memoria 团队在前后端两条战线上双管齐下。一方面,我们希望在常规的瀑布流相册之外,探索更具情绪价值和空间感的视觉交互形态;另一方面,随着端侧多模态感知架构的稳定,我们需要将底层杂乱的模型文件进行标准化梳理。

本周,团队不仅上线了极具视觉冲击力的“记忆星球” 3D 交互功能,更完成了端侧视觉模型架构的梳理,并成功将核心模型资产开源至 Hugging Face 平台。这标志着 Memoria 正式成长为一个具备完整工具链与工程沉淀的 AI-native 项目。

二、 前端视觉创新:记忆星球 (Memory Planet) 的探索与克制

Memoria 的核心优势在于它能够理解照片之间的关系(事件聚类、地点信息、视觉标签、MobileCLIP embedding)。为了让用户更直观地感受到这种“关系网”,前端同学在本周开发了“记忆星球”功能。

1. 初版设计:惊艳但沉重的 V1 架构

“记忆星球”旨在将照片做成一个可旋转的 3D 球形图谱:

  • 节点映射:每个节点代表一张照片,节点大小代表照片在聚类中的重要程度。
  • 关系连线:照片之间通过线段相连,代表属于同一事件、同一地点或同一天。
  • 手势交互:支持用户拖动旋转、双指缩放,点击节点即可查看关联记忆。

然而,第一版由于堆叠了过多的视觉元素(同屏 96 张照片节点、100 多条关系线、发光边框、星空动态线框、玻璃拟态 UI 等),导致球体层次混乱,且在移动端拖动时产生了明显的掉帧卡顿。

2. 性能与视觉重构:做减法的艺术

惊艳的功能不能仅靠元素的堆砌,更需要层次、节奏和性能的支撑。我们果断对“记忆星球”进行了“做减法”的重构:

  • 节点与连线限流:将同屏渲染节点数从 96 严格限制降至 42,关系边从百余条收敛至 30 条,单个节点最多保留 3 条核心关系线。
  • 视觉降噪:移除了过度消耗 GPU 资源的全局发光与复杂的高斯模糊玻璃拟态,将视觉重心还给照片本身。

经过这轮克制的优化,记忆星球成功从一个炫技的“技术展示 Demo”蜕变为流畅、清晰且可用的“核心产品功能”。

三、 模型工程落地:MobileCLIP 端侧部署与 Hugging Face 开源

如果说前端的星球图谱是 Memoria 的“面子”,那端侧模型的工程化就是 Memoria 的“里子”。

本周,负责底层端侧 AI 的同学对项目依赖的模型资产进行了彻底的重构,将 MobileCLIP-S2 和 MobileCLIP2-S2 进行了标准化处理。这绝非简单的文件打包,而是体现了成熟项目的五个核心能力:

1. 移动端部署能力

我们不再停留在“云端调用大模型 API”的舒适区,而是深入解决端侧模型的格式转换、推理框架适配(NCNN/ONNX)和移动端部署资产的管理。

2. 工具链工程能力

摒弃了传统的手动转换流程,团队构建了一套完整的脚本化自动化流水线。从模型的导出、精度验证、轻量化量化到最终发布,全部由脚本链路驱动。

3. 极强的可复现能力

为了保证模型资产的规范化,我们在导出的每个模型目录中都严格配备了标准结构:

  • config.json (模型参数与拓扑配置)
  • metrics.json (验证集上的误差与性能指标)
  • README.md (模型说明)
  • scripts/ (用于复现导出过程的自动化代码)

这确保了任何接手该项目的开发者,都能清晰地追溯模型的来源与性能表现。

4. 开源展示与社区回馈

我们正式将这些经过移动端优化与验证的模型资产发布至 Hugging Face。这些资产现在可以被公开访问、引用和下载。它证明了 Memoria 项目是一个围绕端云协同、隐私友好与移动端部署构建的扎实工程。

四、 下一阶段计划

目前,v0.1 版本的工程化构建主要聚焦于 MobileCLIP-S2 和 MobileCLIP2-S2 架构。在后续的计划中,底层团队将继续推进:

  • 多后端支持:补充 TensorFlow 运行环境,完成 TFLite 的数值精度验证。
  • 矩阵扩充:批量导出 MobileCLIP / MobileCLIP2 的 S0、S1、B 等更多变体,以适配不同算力的移动端设备。
  • 极限压缩:尝试进行 int8 TFLite 精度量化,进一步缩减 App 安装包体积与运行内存。
  • 模型补齐:补齐 MobileViCLIP 的开源合规性资料(source、license、paper attribution)并发布。

Memoria 的底盘正在变得前所未有的坚实。期待下周更多功能的并网!

Logo

AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念,把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起,为开发者提供从开发、训练到部署的一站式体验。

更多推荐