山东大学软件学院创新项目实训记录 —— 基于UE与LLM的医患沟通模拟与评价系统（二）

野鸽鸽馬西哒

214人浏览 · 2026-04-11 00:39:07

野鸽鸽馬西哒 · 2026-04-11 00:39:07 发布

前言

本项目研发面向医学教育的医患沟通模拟与评价系统，基于大模型实现智能交互、个性化病例模拟和评分，为医学生提供沉浸式医患沟通实训场景，解决线下标准化病人资源稀缺的问题，提升医学生医患沟通实操能力。本人负责UE5前端工作，语音输入、语音输出功能的制作、UI面板的搭建（主场景、SEGUE评分面板、聊天框等）。本周进行的工作为语音输入功能的技术方案重构、前后端联调以及UI面板的完善。

在上周的工作中，我们采用了自定义插件进行语音输入功能的实现，在这两周内，我们摆正了语音输入功能的实现方向，改用audio capture捕获声音，将其保存至本地，再由python后端读取并处理音频文件，whisper转录生成文本，实现可控、可扩展的语音转文字的功能。

一、语音输入按钮的UI集成与蓝图逻辑搭建

使用UE5内置Audio Capture插件，点击语音输入按钮开始录音，松开按钮结束录音，并将音频文件捕获保存至本地指定路径。通过自定义插件，实现功能Read File To Byte Array将音频文件（.wav）转换成二进制数组传输至python后端等待下一步处理。

#pragma once
#include "CoreMinimal.h"
#include "Kismet/BlueprintFunctionLibrary.h"
#include "MyFileLibrary.generated.h"

UCLASS()
class MYPROJECT_API UMyFileLibrary : public UBlueprintFunctionLibrary
{
    GENERATED_BODY()
public:
    // 这个节点可以在蓝图中直接搜索 "Read File to Byte Array"
    UFUNCTION(BlueprintCallable, Category = "FileIO")
    static bool ReadFileToByteArray(FString FilePath, TArray<uint8>& Data);
};

#include "MyFileLibrary.h"
#include "Misc/FileHelper.h"

bool UMyFileLibrary::ReadFileToByteArray(FString FilePath, TArray<uint8>& Data)
{
    return FFileHelper::LoadFileToArray(Data, *FilePath);
}

二、python后端读取音频并输出文字内容

1.接口设计与实现

后端使用FastAPI框架，定义路由/voice接收前端传来的本地路径。

@router.post("/voice")
async def voice(request_data: AudioPathRequest):
    audio_path = request_data.file_path
    print(f"收到请求，准备读取本地文件: {audio_path}")

    if not os.path.exists(audio_path):
        raise HTTPException(status_code=404, detail=f"文件不存在: {audio_path}")

    try:
        import soundfile as sf
        data, sr = sf.read(audio_path)
        print(f"soundfile 读取成功，采样率={sr}, 时长={len(data)/sr:.2f}s")
    except Exception as e:
        print(f"soundfile 读取失败: {e}")

    try:
        result = model.transcribe(audio_path, fp16=False)
        return {"text": result["text"]}
    except Exception as e:
        print("转录报错，详细堆栈：")
        traceback.print_exc() 
        raise HTTPException(status_code=500, detail=f"文件转录失败: {str(e)}")