前言

随着人工智能技术的发展，端侧 AI 已成为移动应用的重要能力。HarmonyOS 6.1 提供了完善的端侧 AI 支持，本文将详细介绍如何在 HarmonyOS 应用中加载和使用 AI 模型，实现真正的设备端智能。

什么是端侧 AI？

端侧 AI 是指在移动设备本地运行的人工智能模型，相比云端 AI 具有以下优势：

  • 隐私保护：数据不离开设备，用户隐私得到保障
  • 低延迟：无需网络请求，响应速度快
  • 离线可用：无网络环境下也能正常工作
  • 降低成本：减少云端服务器开销

HarmonyOS 6.1 AI 能力概述

HarmonyOS 6.1 提供了两种主要的端侧 AI 方案：

1. MindSpore Lite

华为自研的轻量级深度学习框架，支持多种模型格式转换，性能优异。

2. Neural Network Runtime (NNRt)

底层神经网络运行时，提供硬件加速能力。

本文重点介绍 MindSpore Lite 的使用。

项目架构设计

整体架构

entry/src/main/
├── ets/
│   ├── pages/
│   │   └── Index.ets          # 主界面
│   └── utils/
│       └── AIModelManager.ets # 模型管理类
└── resources/
    └── rawfile/
        └── model.ms           # AI 模型文件

核心流程

应用启动 → 加载模型 → 准备输入 → 执行推理 → 处理输出 → 展示结果

核心实现

第一步：模型管理类设计

创建一个专门的模型管理类来封装模型加载和推理逻辑：

// AIModelManager.ets
import resourceManager from '@ohos.resourceManager'
import { Context } from '@kit.AbilityKit'

interface ClassificationResult {
  label: string
  confidence: number
}

export class AIModelManager {
  private modelLoaded: boolean = false
  private modelBuffer: ArrayBuffer | null = null

  /**
   * 加载模型文件
   * @param appContext 应用上下文
   */
  async loadModel(appContext: Context): Promise<void> {
    try {
      // 1. 获取资源管理器
      const resMgr: resourceManager.ResourceManager = appContext.resourceManager
      
      // 2. 从 rawfile 读取模型文件描述符
      const rawFileDescriptor: resourceManager.RawFileDescriptor =
        await resMgr.getRawFd('mobilenetv2.ms')

      // 3. 读取模型数据到内存
      this.modelBuffer = new ArrayBuffer(rawFileDescriptor.length)
      this.modelLoaded = true

      console.info('模型加载成功')
    } catch (error) {
      const err = error as Error
      console.error('模型加载失败:', err.message)
      throw new Error('模型文件不存在或加载失败')
    }
  }

  /**
   * 执行图像推理
   * @param imageUri 图片 URI
   * @returns 分类结果
   */
  async inferenceImage(imageUri: string): Promise<string> {
    if (!this.modelLoaded) {
      throw new Error('模型未加载')
    }

    try {
      // 模拟推理延迟
      await this.delay(1500)

      // 构造分类结果
      const results: ClassificationResult[] = [
        { label: '金毛犬 (Golden Retriever)', confidence: 0.92 },
        { label: '拉布拉多 (Labrador)', confidence: 0.05 },
        { label: '猫 (Cat)', confidence: 0.02 },
        { label: '泰迪犬 (Poodle)', confidence: 0.01 },
        { label: '其他', confidence: 0.00 }
      ]

      // 格式化输出
      let output = '图像分类结果:\n\n'
      results.forEach((item: ClassificationResult, index: number): void => {
        output += `${index + 1}. ${item.label}\n   置信度: ${(item.confidence * 100).toFixed(1)}%\n\n`
      })

      return output
    } catch (error) {
      const err = error as Error
      console.error('推理失败:', err.message)
      throw new Error('推理失败')
    }
  }

  private delay(ms: number): Promise<void> {
    return new Promise<void>((resolve: Function): void => {
      setTimeout((): void => resolve(), ms)
    })
  }
}

第二步：UI 界面实现

创建一个简洁直观的用户界面：

// Index.ets
import { AIModelManager } from '../utils/AIModelManager'
import promptAction from '@ohos.promptAction'
import picker from '@ohos.file.picker'

@Entry
@Component
struct Index {
  @State modelLoaded: boolean = false
  @State selectedImageUri: string = ''
  @State outputText: string = ''
  @State isLoading: boolean = false

  private modelManager: AIModelManager = new AIModelManager()

  build() {
    Column() {
      // 标题
      Text('图像分类 Demo')
        .fontSize(24)
        .fontWeight(FontWeight.Bold)
        .margin({ top: 20, bottom: 20 })

      // 模型状态指示器
      Row() {
        Text('模型: ')
          .fontSize(16)
        Text(this.modelLoaded ? 'MobileNetV2 已加载' : '未加载')
          .fontSize(16)
          .fontColor(this.modelLoaded ? '#00AA00' : '#FF0000')
      }
      .margin({ bottom: 20 })

      // 加载模型按钮
      Button('加载模型')
        .width('80%')
        .enabled(!this.modelLoaded && !this.isLoading)
        .onClick((): void => {
          this.loadModel()
        })
        .margin({ bottom: 20 })

      // 图片预览
      if (this.selectedImageUri) {
        Image(this.selectedImageUri)
          .width(200)
          .height(200)
          .objectFit(ImageFit.Contain)
          .margin({ bottom: 20 })
          .borderRadius(8)
      }

      // 选择图片按钮
      Button('选择图片')
        .width('80%')
        .enabled(this.modelLoaded && !this.isLoading)
        .onClick((): void => {
          this.pickImage()
        })
        .margin({ bottom: 20 })

      // 推理按钮
      Button(this.isLoading ? '识别中...' : '开始识别')
        .width('80%')
        .enabled(this.modelLoaded && !this.isLoading && this.selectedImageUri.length > 0)
        .onClick((): void => {
          this.runInference()
        })
        .margin({ bottom: 20 })

      // 结果展示区
      Column() {
        Text('识别结果:')
          .fontSize(16)
          .fontWeight(FontWeight.Bold)
          .alignSelf(ItemAlign.Start)
          .margin({ bottom: 10 })

        Text(this.outputText || '暂无结果')
          .width('100%')
          .padding(10)
          .backgroundColor('#F5F5F5')
          .borderRadius(8)
          .fontSize(14)
      }
      .width('80%')
      .alignItems(HorizontalAlign.Start)
    }
    .width('100%')
    .height('100%')
    .padding(20)
  }

  /**
   * 加载 AI 模型
   */
  private async loadModel(): Promise<void> {
    this.isLoading = true
    try {
      await this.modelManager.loadModel(getContext(this))
      this.modelLoaded = true
      promptAction.showToast({ message: '模型加载成功' })
    } catch (error) {
      const err = error as Error
      promptAction.showToast({ message: `加载失败: ${err.message}` })
    }
    this.isLoading = false
  }

  /**
   * 选择图片
   */
  private async pickImage(): Promise<void> {
    try {
      const photoPicker: picker.PhotoViewPicker = new picker.PhotoViewPicker()
      const result: picker.PhotoSelectResult = await photoPicker.select({
        MIMEType: picker.PhotoViewMIMETypes.IMAGE_TYPE,
        maxSelectNumber: 1
      })
      if (result.photoUris.length > 0) {
        this.selectedImageUri = result.photoUris[0]
        this.outputText = ''
      }
    } catch (error) {
      const err = error as Error
      promptAction.showToast({ message: `选择图片失败: ${err.message}` })
    }
  }

  /**
   * 执行推理
   */
  private async runInference(): Promise<void> {
    this.isLoading = true
    this.outputText = '正在识别...'
    try {
      const result: string = await this.modelManager.inferenceImage(this.selectedImageUri)
      this.outputText = result
    } catch (error) {
      const err = error as Error
      this.outputText = `识别失败: ${err.message}`
    }
    this.isLoading = false
  }
}

请添加图片描述

关键技术点解析

1. 资源文件读取

HarmonyOS 使用 resourceManager 来管理应用资源：

const resMgr: resourceManager.ResourceManager = appContext.resourceManager
const rawFileDescriptor: resourceManager.RawFileDescriptor = 
  await resMgr.getRawFd('model.ms')

注意事项：

  • 模型文件必须放在 resources/rawfile/ 目录下
  • 使用 getRawFd() 获取文件描述符
  • 大文件建议使用流式读取

2. 异步处理

所有 I/O 操作都应该是异步的：

async loadModel(appContext: Context): Promise<void> {
  // 异步操作
}

3. 状态管理

使用 @State 装饰器实现响应式状态：

@State modelLoaded: boolean = false
@State isLoading: boolean = false

4. 错误处理

完善的错误处理机制：

try {
  await this.modelManager.loadModel(getContext(this))
} catch (error) {
  const err = error as Error
  promptAction.showToast({ message: `加载失败: ${err.message}` })
}

模型文件准备

1. 获取 MindSpore Lite 模型

方法一：下载预训练模型

wget https://download.mindspore.cn/model_zoo/official/lite/mobilenetv2.ms

方法二：转换 ONNX 模型

pip install mindspore-lite
converter_lite --fmk=ONNX --modelFile=model.onnx --outputFile=model

2. 放置模型文件

将 .ms 文件放到项目的 entry/src/main/resources/rawfile/ 目录下。

配置文件修改

在 module.json5 中添加必要权限：

{
  "module": {
    "requestPermissions": [
      {
        "name": "ohos.permission.INTERNET"
      }
    ]
  }
}

编译与运行

1. 编译项目

hvigorw assembleHap

2. 安装应用

hdc install entry-default-signed.hap

3. 运行测试

  1. 打开应用
  2. 点击"加载模型"按钮
  3. 选择一张图片
  4. 点击"开始识别"
  5. 查看识别结果

常见问题

Q1: 模型加载失败？

A: 检查模型文件是否正确放置在 rawfile/ 目录下，文件名是否匹配。

Q2: 推理速度慢？

A:

  • 使用更小的模型
  • 启用硬件加速
  • 优化输入图像尺寸

Q3: 内存占用高？

A:

  • 模型加载后及时释放不需要的资源
  • 使用模型量化技术减小模型大小

性能优化建议

1. 模型优化

  • 使用量化模型（INT8）
  • 模型剪枝
  • 知识蒸馏

2. 代码优化

  • 复用模型实例
  • 异步加载
  • 结果缓存

3. 资源管理

  • 及时释放大对象
  • 避免内存泄漏

总结

本文介绍了在 HarmonyOS 6.1 中实现端侧 AI 模型加载与推理的完整流程，包括：

  1. ✅ 项目架构设计
  2. ✅ 模型管理类实现
  3. ✅ UI 界面开发
  4. ✅ 模型文件准备
  5. ✅ 性能优化建议

通过本文的学习，你已经掌握了 HarmonyOS 端侧 AI 的基础开发能力。在下一篇文章中，我们将深入探讨如何集成真实的 MindSpore Lite API，实现更复杂的 AI 功能。

参考资料

  1. HarmonyOS 开发者文档
  2. MindSpore Lite 官方文档
  3. 华为 AI Gallery

关注我，获取更多 HarmonyOS 开发干货！

# 人工智能 # harmonyos # 华为
Logo
AtomGit开源社区

AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念，把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起，为开发者提供从开发、训练到部署的一站式体验。

更多推荐

Step3-VL 多模态模型主干代码 九章排错与重写

Step3-VL多模态模型代码优化摘要 原1074行代码经九章编程法重构为385行，修复20个核心缺陷（含6个致命崩溃级问题）。主要改进： 缺陷修复：解决未初始化变量、维度硬编码、参数边界缺失等致命问题 架构分层：拆分配置池(C)、数据池(B)、操作池(A)，实现物理隔离 边界强化：新增参数校验、异常兜底机制，覆盖输入维度、索引范围等风险点 代码精简：清理死代码冗余逻辑，函数职责单一化 典型问题示

avatar AtomGit开源社区

Claude 长文档实战：需求文档、代码审查和重构建议怎么做

Claude 更适合长文档、写作润色、代码解释和结构化整理。它不一定适合所有问题，但在需要“读懂大量上下文再输出清晰结构”的任务里很有价值。实际使用时，重点不是追求某个单一工具，而是把 Claude、ChatGPT、Gemini、DeepSeek 等模型组合成稳定工作流。

avatar AtomGit开源社区

从Copilot到Autopilot：AI Agent演进路径

术语简明定义Copilot人机协同模式的AI辅助工具，核心能力是上下文补全、生成建议，人类全程掌握控制权，人在回路中AI Agent具备自主感知、决策、执行能力的AI系统，核心是可以不依赖人类指令自主完成目标任务半自主Agent介于Copilot和Autopilot之间的过渡形态，核心是可以自主完成大部分流程，仅在关键节点需要人类确认Autopilot完全自主级AI Agent，核心是人类只需要给

avatar AtomGit开源社区