对后端进行集成

后端同学已经把prompt和数据库写好了,使用git合并代码

主要几个注意点

1.gitignore要把前端UE忽略掉,不然会覆盖掉前端项目

2.不要把大模型API-Key上传到git上

前端编写语音输入功能

使用阿里云百炼大模型API,读取音频。

数据流:前端AudioCapture将音频存到本地,后端读取本地文件,调用大模型,并使用FastAPI将AI的回复结果输出到UE前端

(注:另一位前端同学使用离线大模型进行读取,之后进行性能测试,来决定使用哪种方案)

后续需要推进的工作

1.UI设计:为聊天窗口、SEGUE评分量表制作UI页面

2.将场景、第一位数字人做好

3.文字转语音功能的实现

4.降低延迟

Logo

AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念,把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起,为开发者提供从开发、训练到部署的一站式体验。

更多推荐