图片

MatAnyone2 是南洋理工大学S-Lab和商汤科技的研究成果,是专门为目标指定的视频抠图打造的强大框架。它借助基于记忆的范式,引入了一致记忆传播模块,这个模块就像是视频抠图的“智能管家”,通过区域自适应记忆融合,巧妙地整合前一帧的记忆,确保核心区域语义稳定的同时,还能完美保留物体边界的精细细节。

图片

MatAnyone2的核心特征

  • 记忆传播机制:通过帧间的记忆传播,保持视频抠像的稳定性和一致性
  • 目标对象分割:从第一帧的简单分割蒙版开始,追踪并分离整个视频中的对象

  • 区域自适应记忆:融合结合前后帧的细节,确保边缘锐利和细节清晰

  • 强大的训练策略:同时学习详细的抠像数据和简单的分割数据,提高准确性和可靠性

  • 复杂背景处理:即使在棘手或繁忙的背景中也能表现出色

  • 递归优化:在处理过程中逐帧改善抠像细节

MatAnyone2的应用场景

    • 视频背景替换:替代绿幕,无需专业设备

    • 短视频/直播:实时抠人像,特效更自然

    • VFX 特效制作:电影级细节提取

    • 虚拟人/数字人:驱动更流畅的 Avatar

    • AR/视频会议:沉浸式背景虚化或替换

      MatAnyone2的核心突破

      • 一帧锁定精准可控: 仅需在首帧指定目标,后续全程自动跟踪,无需逐帧调整。无论是单人特写还是复杂多目标场景,都能精准锁定指定对象。

      • 智能记忆稳定不抖: 动态区分视频中的稳定区域(如身体主干)和易变细节(如发丝、衣摆)。主干部分依赖历史帧保持稳定,边缘细节实时优化。

      • 发丝级超清细节: 通过真实分割数据+高质合成数据联合训练,在头发、薄纱等半透明区域实现像素级自然过渡。

        GitHub仓库:https://github.com/pq-yang/MatAnyone2

      【MatAnyone2】模型已经在趋动云『社区项目』上线,无需自己创建环境、下载模型,一键即可快速部署,快来体验【MatAnyone2】带来的精彩体验吧!

      项目入口

      https://open.virtaicloud.com/web/project/detail/696569501642645504

      视频教程

      云平台一键部署【MatAnyone2】视频追踪抠图

      启动开发环境

      进入【MatAnyone2】项目主页中,点击运行一下,将项目一键克隆至工作空间,『社区项目』推荐适用的算力规格,可以直接立即运行,省去个人下载数据、模型和计算算力的大量准备时间。

      图片

      配置完成,点击进入开发环境,根据主页项目介绍进行部署。

      图片

      使用方法

      在gemini/code中找到使用说明,选中使用说明单元格,点击运行。

      图片

      等待生成local URL,右侧添加端口7860。

      图片

      项目使用方法

      图片

      示例展示

      图片

      图片

      图片

      图片

      ➫温馨提示: 完成项目后,记得及时关闭开发环境,以免继续产生费用!

      趋动云新客专享活动(限时有效)做任务净得150元算力金,点击下方👇👇👇海报了解活动详情,完成任务的小伙伴在趋动云官网添加小助手提供完成截图领取赠送算力金。

      图片

      智汇全球,趋动未来

      『社区项目』汇聚全球智慧,是促进技术交流的宝贵平台,期待每一位AI爱好者体验一键部署功能的强大魅力。

      图片

      同时,我们也热切盼望每一位码友加入,分享您的精品作品,共筑这个充满活力与创新的技术乐园。

      Logo

      AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念,把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起,为开发者提供从开发、训练到部署的一站式体验。

      更多推荐