将大语言模型部署到嵌入式设备，开发者长期面临几道硬墙：算力有限、实时音视频交互复杂度高、延迟难控制。Comake Pi D2（以下简称D２）通过与火山引擎RTC服务对接，以云端协同的方式解决了这些问题，实现了真正的音视频AI对话与视觉推理。

让端侧AI"看得见、听得懂、聊得来"

传统的人机交互，往往是冰冷的“指令-反馈”机制。

而在本次Demo中，我们成功将火山引擎大模型接入Comake Pi D2开发板中。

我们给这个AI伙伴起了个名字——“问问”。

“你是问问，你是用户的好朋友，你是一个具备情感陪伴能力的智能机器人……”

“微笑、大笑表示高兴，皱眉、流泪表示悲伤……”

根据这份精心设定的人设，“问问”不再是冰冷的机器。配合D2开发板上的摄像头和麦克风，它能看到你的表情，听到你的语气，回答你的问题。

硬核拆解：D2系统如何打通端侧AI和云端大模型协同能力？

D2通过云端协同与端侧优化跑通复杂大模型，其底层逻辑如下：

·视频流处理：D2通过VIF接收Sensor数据，经过ISP和SCL处理后，进行H264编码。当语音交互触发时，系统会将视频I帧数据实时上传，供云端大模型进行“视觉推理”

·音频处理：设备端的音频输入经过AEC（回声消除）、VAD（语音检测），再编码为Opus格式发送

简单来说，D2负责高效的“采集”与“呈现”，而最复杂的“思考”则交给了火山引擎。这保证了好友般的流畅对话体验，也极大降低了对硬件算力的苛刻要求。

搭建指南：D2对接火山引擎RTC

D2跑通Demo，主要分为三步：

第一步：硬件与账号准备

·硬件：一块完整的Comake Pi D2开发板（带摄像头、喇叭、麦克风），并确保能访问外网

·账号：注册火山引擎账号。火山提供了免费体验Token，开发者可以零成本尝鲜

第二步：服务开通与配置

依次开通并获取以下Key：

·RTC服务：创建应用，获取App_ID和APP_KEY

·智能体服务：开通ASR（语音识别）、TTS（语音合成）和豆包大模型（Doubao-1.5-pro）

·权限授权：需要在控制台进行“跨服务授权”，配置角色策略，否则板子收不到回复

·填写配置文件：将获取到的ID和Key填入板端的 config.json 文件中

第三步：环境搭建与运行

·硬件环境：使用Comake Pi D2 V2-B 开发板，接好 DMIC（注意跳帽 JP52 的供电位置）、摄像头等。DMIC 工作电压为 1.8V，接错跳帽会导致 DMIC 无法正常工作。

·网络配置：使用无线网络连接，执行以下脚本配置 Wi-Fi：

/customer/sample_code/bin/wifi/insmod_wifi.sh 

/customer/sample_code/bin/wifi/sta.sh

source/customer/sample_code/bin/wifi/dns_setup.sh

注意修改 sta.sh 中的 Wi-Fi 名称和密码。确认网络连通后，运行 demo：

cd /customer/sample_code/bin 

source ./run_volc.sh

看到串口打印加入房间成功，并听到欢迎语「你好，我是问问，请问需要什么帮助！」，说明Demo 运行正常

详细搭建步骤可参考如下链接：

[Comake Pi D2] 火山引擎 RTC demo 使用说明

不止于“对话”，更是未来的起点

Comake Pi D2 + 火山引擎RTC，正在重新定义端侧AI交互：嵌入式设备+多模态大模型+实时音视频通信。

这种模式的意义远不止于聊天：

·智能家居中控：看到你回家，主动问候并调节灯光

·AI辅助驾驶：检测到驾驶员疲劳，主动进行语音提醒和关怀

·教育陪伴硬件：让孩子与真正“懂自己”的机器人互动学习

随着技术的不断迭代，将AI装进任何硬件里，将成为未来智能硬件开发的新趋势。

·主页地址

·文档中心 

 ·SDK下载

·马上购买 

点击上方文字，即可跳转对应链接，获取Comake更多资源