项目名称: 基于魔珐星云的虚拟人实时天气助手


项目背景

解决什么问题

目标场景:

日常出行前天气查询、跨城出行天气规划、家庭出行前天气确认、办公场景下快速获取多城市天气等高频天气查询场景;同时覆盖对传统文字/图标式天气查询不熟悉的群体(如老年群体)、追求交互趣味性的年轻群体的使用场景。
当前现状:

  1. 传统天气查询工具(APP、网页)多以文字、图标展示为主,交互形式单一,缺乏沉浸式体验,尤其对老年群体、低操作熟练度用户不够友好;
  2. 语音查询天气的工具多为"语音指令-文字/语音回复"的简单模式,无具象化虚拟人交互,信息传递缺乏情感温度,用户易产生疏离感;
  3. 跨城出行查询多城市天气时,需反复输入城市名称,无法快速关联地图定位直观查看地域关联,信息获取效率低;
  4. 现有工具难以根据用户提问语气、查询场景提供个性化情感反馈,交互生硬,无法满足用户对"拟人化服务"的需求。
目标用户
  1. 核心用户
  • 老年群体(50岁以上) —— 对文字阅读、复杂操作不熟练,偏好语音交互,需要直观、有温度的天气查询服务;
  • 年轻群体(18-35岁) —— 追求新鲜交互体验,日常出行、跨城旅游前高频查询天气,注重效率与趣味性结合。
  1. 次要用户
  • 家庭用户(家长群体) —— 为家庭出行规划查询多地天气,需要快速定位多城市并对比天气;
  • 办公人群(如差旅规划员、活动策划师) —— 需批量/快速获取多城市天气,需要高效的城市切换与天气查询功能。

核心解决方案

以"虚拟人拟人化交互"为核心,整合实时天气数据接口、语音识别、地图定位与大模型语义分析能力,构建可视化、沉浸式的天气查询服务:

  1. 通过魔珐星云具身驱动能力,构建具象化交互载体,结合魔珐星云多模态感知、语音交互与具身表达能力,实现"用户语音提问-虚拟人实时语音应答"的全语音交互闭环,降低老年群体等用户的操作门槛;
  2. 基于大模型语义分析,让虚拟人根据天气内容(如"大雨预警"“晴空万里”)和用户提问语气生成点头、提醒手势等情感动作,提升交互温度;
  3. 集成地图定位功能,用户语音或文字输入城市后,自动在地图中标注并居中显示,直观呈现城市地域位置,同时关联天气数据;
  4. 提供热门城市快捷列表,实现"点击即查询"的高效交互,解决多城市天气查询繁琐的问题,全方位提升天气查询的效率、趣味性与易用性。

产品核心功能

实时语音对话
项目支持实时语音对话功能,用户可以提问国内某个城市的天气情况,数字人能实时调用天气查询接口获取城市天气数据进行回答。
情感动作反馈
数字人能根据要表述内容的语义分析做出点头、挥手等动作。
地图定位
系统根据用户输入(或者语音描述)的城市进行实时地图标签定位,并使此城市坐标调整至屏幕中心位置。
热门城市
系统提供热门城市列表,用户可以点击某个热门城市,地图自动调整此城市屏幕居中,自动生成询问点击的热门城市天气怎么样的问题至消息框,可以点击发送进行交互。


技术架构与实现

技术栈规划

  • 前端: Vite + Vue3 + TypeScript
  • 后端服务: Python
  • 大模型选用: qwen-turbo
  • OpenAI API: MaxKb
  • MCP: FastMCP

魔珐星云集成方案

集成计划: 魔珐 SDK / JSAPI

使用 ASR 接口进行语音转写 -> 发送至 LLM -> 返回文本驱动数字人 TTS 与动作生成。

架构草图

使用代理隐藏各平台 API_KEY 的架构如下图:
[图片]

系统展示效果

  • 1.进入系统初始页面如下:
    [图片]

  • 2.连接上魔珐星云数字人的页面人如下:
    [图片]

  • 3.选择一个热门城市,地图会自动定位,点击发送后,数字人会播报选定城市的天气情况,同时数字人有对应的表情、手势等变化,如下:
    [图片]

  • 4.点击语音输入,可以接收语音录入,会自动翻译为文字显示在消息交互区域,点击发送后,数字人会根据消息内容进行语音回复播报,如下:
    [图片]

  • 魔珐星云官网

Logo

AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念,把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起,为开发者提供从开发、训练到部署的一站式体验。

更多推荐