项目源码 · README

开源鸿蒙跨平台开发者社区 · CPF-Ionic 鸿蒙 Capacitor

前言

灯塔的缩略图还在,点进去却显示「原图已不存在,请重新导入」。这张图来自真机的最后一步:搜索结果还在 Ionic 页面上,我先用测试入口移走它的沙箱副本,再点旧卡片。图册里还有一张同名的蛋糕图,应用没有误把它打开。

MatePad Edge 全屏:旧结果仍在,点击后提示原图已不存在

MatePad Edge 全屏:旧结果仍在,点击后提示原图已不存在 · 查看原件

这个实验把搜索和打开拆开测。搜索交给鸿蒙 Core Vision Kit,Ionic 页通过 Capacitor 发起请求。系统回来的相似度用于展示,打开大图时则以对应的沙箱文件为准。测试分别留下重启前、强制结束进程后的结果,以及移走沙箱文件后点击旧卡片的结果。

回到导入那一步

最容易看懂的对照,是把两张图放在两个完全不同的场景,展示名却一样。样图以不同的标识写入应用私有目录,后缀仍为 JPEG,列表上统一显示 IMG_0001.jpg。系统收到的是实在的文件路径。若两次写入用同一个文件名,第二张会覆盖第一张,之后无论检索有多准,也只剩下最后一次保存的文件可以打开。这是文件存储层的问题,跟模型识别没有直接关系。

输入「海边的灯塔」,这台 MatePad Edge 返回一项,显示相似度 0.354。点击它,详情区域的第二张大图由原生从沙箱读取。卡片的小图来自工程内置的测试图,只为了让同名对照看得出来。这样安排还有一个作用:随后移走沙箱文件,小图仍然在,大图必须明确提示已丢失。若大图只是把卡片图片放大,演示即使看起来正常,也没有测到文件读取。

MatePad Edge 全屏:搜索灯塔,结果和原图同时显示

MatePad Edge 全屏:搜索灯塔,结果和原图同时显示 · 查看原件

MatePad Edge 全屏:从命中并打开,到移走原图后重新点击

MatePad Edge 全屏:从命中并打开,到移走原图后重新点击 · 查看原件

真机演示:重启后找回原图

MatePad Edge 真机操作 · 查看原件

MatePad Edge 真机操作

实测记录

操作预期实际
搜「海边的灯塔」从同名样图里定位灯塔只返回灯塔项,显示 0.354
结束进程,重开后直接搜灯塔可再次命中与打开命中一项,原生读出沙箱大图
搜「桌上的草莓蛋糕」检查第二个描述词和样图的效果这组样图未匹配,页面显示空结果
移走灯塔测试副本,点击保留的结果卡如实报告文件丢失详情提示「原图已不存在,请重新导入」

MatePad Edge 全屏:强制结束后直接重搜并打开沙箱图片

MatePad Edge 全屏:强制结束后直接重搜并打开沙箱图片 · 查看原件

点卡片时,只传图片 ID

textSearchImage.search 返回的信息里有 imagePath、scope 和 similarity。最直接的做法,是把这一行塞进 Web 页,等点击时拿路径回原生打开。示例选择保留三个更小的字段:应用内标识、展示名和相似度。路径留在原生侧,网页只提供要打开的标识。原生在这组固定样张的目录中,确认是哪张图,再读取它。这里把 scope 也对了一次,所以即使以后扩展第二组图片,两个分组不会误当成同一个图册。

这次实验的样张身份定义在原生代码中,进程起来时两张图仍能按相同标识定位。在真正支持用户导入的图册里,可以把这条身份关系持久化,比如在本地数据库记录应用内 ID、展示名、沙箱相对位置和 scope。在数据量很小、变更简单的场景也能用应用偏好或原子更新的清单。无论选哪种方案,别把创建时间或原文件名当唯一主键。一批相机照片可能来自多个设备,正好出现同名;用户也可以改名。相对路径由应用决定,搬迁数据时再由当前 filesDir 得到绝对路径,可以减少把旧安装目录写死的风险。

相似度是系统对该描述和该图的评分。它有数值范围,但 0.354 在这个实验里只说明这一次搜索回了它,不能外推成通用阈值。项目也没有把用户原本输入的词拷到文件名上做兜底。蛋糕这次没有命中,正好能看到空结果页。下一轮如果要比较真实照片和风格化插画,应单独准备对照组,同时固定光线、主体大小和查询词;这里先把一次命中之后的链路查清楚。

搜索走索引,预览读文件

用项目原包名在 MatePad Edge 上复测时,先导入两张样图,再结束应用进程。重新打开后直接搜「海边的灯塔」,结果仍命中 1 张,应用映射回 1 条已知记录,原图可以打开。移走灯塔副本,再点同一条结果,页面提示「原图已不存在,请重新导入」。

init=true
results=1 known=1

首轮准备样张时,Capacitor 先让原生尝试初始化 textSearchImage,接着将资源拷进私有目录并调 insertImage。写入环节只有实际返回成功才计数。原图在磁盘里、索引里能检索、页面上有卡片,这三件事在不同地方发生。测试里先查卡片,再去读盘,就是为了看到任何一步是否掉队。每次应用启动时,首页只探测能力,直到真正做索引或检索才初始化服务。强制结束进程后直接搜,确认业务不依赖上一轮 JavaScript 变量。

VS Code 实际工程:结果路径映射到样图 ID,打开时再读沙箱文件

VS Code 实际工程:结果路径映射到样图 ID,打开时再读沙箱文件 · 查看原件

打开详情这一步故意再做一次文件存在检查。搜索可能早一点完成,点击可能晚一点;原图恰好在中间被删除并非稀奇事。移动或清理本地文件时,如果索引没有一起更新,用户仍可能短暂看到旧结果。示例用「移除灯塔样图的沙箱副本」让这种窗口可控,代码只删除本应用事先写进去的那张副本。它没有碰系统图库,也没有从另一张同名图里取内容。正常产品可以在用户明确删除后同时调用 deleteImage 清索引;发现历史遗留的悬空记录,也可提示修复。本文演示中保留旧索引,才能复现点击时文件已消失的情况。

读取文件时先拿文件长度,再通过描述符读入内存,最后在 finally 关闭。示例用小图,原生把读取结果编码后交给 Web 页,这条链路简单,能从 UI 直接确认读取的是哪张图。如果应用导入拍摄的高像素照片,就应控制预览尺寸或使用宿主管理的本地资源响应。大图整体转成 Base64 会多占内存,并产生额外跨桥数据量。即使详情用缩略图,也应在真正打开或导出原件时再次核对原始文件仍可读取。

VS Code 实际工程:网页分别处理能打开和文件已不存在的结果

VS Code 实际工程:网页分别处理能打开和文件已不存在的结果 · 查看原件

从旧结果追到磁盘

把这次的操作按时间排一遍,可以看出数据什么时候由谁保存。载入样张时,资源管理器给的是应用随包携带的图片内容。原生先写到私有目录,再把这个位置交给系统。系统建立的是可以被检索的记录。用户输入描述时,系统返回位置和分数;网页拿到的是应用内标识和展示名称。直到用户点卡片,原生才再次打开文件。这条顺序不复杂,难点在于每一层都可以独立失败,页面却很容易把它们用一句“没找到”糊过去。

比如这次蛋糕查询没有返回项。此时页面里没有任何可以点的结果,这和点击灯塔后发现源文件被移走并不相同。第一种情况让用户换个说法,或者检查图是否进入索引。第二种应该让用户重新导入或清理旧记录。若把两者都显示成“搜索失败”,开发时也容易排错方向:搜图服务没有问题,缺的是文件;反过来,知道文件存在,也不能证明这句话一定能在索引里找到它。把两种空状态保留,是这篇实验的重要结果。

相同问题还会发生在移动文件时。应用内做分类的时候,如果仅改变逻辑标签或者集合,沙箱里的文件位置可以不变,旧索引便能继续用。如果移动的是实际文件,系统索引记录仍可能指向旧位置。正式应用可以先建立新记录,确认新地址可读,再去除旧记录;中途失败时记录这笔变更,恢复后继续。单纯把路径批量改过来,却不给失败分支留恢复入口,容易出现目录页面能打开、语义搜索结果打不开的情况。本文没有实现迁移流程,用一张可移除的固定图把这一类问题缩到最容易验证的一步。

让重复的名字留在显示层

用户看到的名称可以重复,保存位置则应由应用统一分配。这个示例两张图分别叫 shore 和 table,都是固定样张的身份,与文件对外展示叫什么无关。实际相册可以用随机生成的标识或数据库主键,不必把语义标签编码进文件名。用固定前缀与受控后缀还能满足系统 API 的路径长度要求。上游 API 要求沙箱图片路径在 1 至 128 个字符以内,scope 只允许字母和数字。如果项目把账户昵称、相册名称和文件原名串成存储路径,应先检查字符和长度,否则更换数据集之后可能只有一部分能被写入索引。华为文搜图接口参数

网页与原生之间保留一份小而明确的约定。检索时传用户原话,结果只回可以展示和继续打开的字段;预览时传本地标识,原生在自己管理的目录决定读取位置。应用如果以后增加多账号,应当把索引分区、业务 ID 和当前身份一起验证。为了避免泄漏实际数据,业务日志可以保留查询次数、返回项数、耗时、索引版本和错误类别。原始文件路径、图片内容以及用户的自然语言描述不必默认写进日志。这次原生只输出结果数量、已识别的结果数量和错误码,足够说明检索走到了哪一步。

试验里两个“重启”要分开

强制结束应用进程以后直接重搜,验证的是此前保存的图片和系统索引能否被同一个应用重新使用。没有重建数据库,也没有卸载应用。清除数据、卸载重装、切换账号是不同条件,不能从本次实验推出它们也能找到原图。复测时要看这一步有没有误点「载入两张同名样图」,一旦重新导入,旧文件可能已经补回去,就失去了验证“冷启动能直接打开”的意义。

另一个容易搞混的动作是只切走应用再回来。那时页面状态可能还活着,原来已显示的缩略图也可能还在。在设备上测试时,从系统退出到桌面只能说明应用离开前台。要检查进程生命周期,先确认停止成功,再启动同一个包,直到首页出现在前台。搜索结果为空、描述还没输入的时候,说明网页也重新走过了自己的初始化,然后用同一句话做对照。这一轮的截图来自重新启动后的详情页,能看到系统返回的命中项与由文件读取的大图同时出现。

三次观察对应三个判断

复测时可以先准备一份记录,把查询词、返回项、点开的文件以及重启条件分成四列。第一次搜到灯塔时记下搜索结果和打开后的大图。第二次结束进程以后,跳过载入按钮,用原查询重做。两个结果若是同一张图,说明这份样张在当前安装、当前索引分区和当前系统条件下可以重新找到。只对照结果标题就不够了,因为两张的显示名完全一样。对照原图内容才有机会发现读错文件。第三次移走测试副本后,在现有卡片上再次点击。此时列表仍在,预览要给出文件已丢失的提示。这一步验证的是页面延迟消费旧结果时的行为。

有一处细节最容易导致误验。移走副本后,假如浏览器没有把先前详情关闭,屏幕会继续显示上次打开的灯塔,看起来就像再次读取也成功了。示例在执行移除动作时先收起详情,新的点击让原生重新读取。以后把演示改为真正的相册页,也应在两次点击之间重新检查输入,或者给预览反馈加上当前记录的身份。这样一旦读取失败,页面能及时撤掉已有的图片和分享入口,让用户知道现在看到的是哪次结果。

在多组图片里排查时,我会先问“现在页面展示的这一项来自哪里”。比如一个搜索结果选中对象与一张已加载的详情图,可以同时存在,也可以一前一后更新。详情卡上的文字标识只是界面字段,只有原生读取成功之后,才有依据告诉用户原件可用。即使第一次打开正确,如果下次打开前发生账号切换、同步清理或系统临时授权失效,还得重新判断。把“已选中”和“已读到”记录在不同状态里,出了问题时,至少能确定该检查索引、文件映射还是预览缓存。

结果从原生返回后怎么用

示例没有把系统返回的所有内容直接复制进网页 JSON。原生拿到路径后,先从自己准备好的样张里找到对应项,然后装成页面认识的对象。这样,如果系统还返回历史条目或者不在本组范围内的条目,界面不会凭一条路径打开不相干的数据。在真实应用中,这一步可以用业务 ID 与绝对路径的映射来做。路径比较要使用保存时同一套规范,不要让前端自己拼目录、扩展名或编码方式。若以后把图片移到新目录,映射更新要和索引迁移一起设计。

另一个可能遇到的情况是,查询开始后用户连续改词,早发出的请求晚一点回来了。示例页面一次只操作一轮,因此能直观验证顺序。做成可随打随搜的相册时,可以给请求加递增编号。回调里核对编号是否仍是最近一次,旧结果回来就丢弃。打开预览也可以照这个办法处理。如果正在看灯塔,用户接着点了另一项,前一张图晚回就不应该把后一张盖掉。这里的编号管的是页面展示,不参与文搜图相似度计算。

增加并发以后还需要想清楚空结果的更新时机。用户改词时可以保留上一次列表作为过渡,但相册界面应在当前请求结束后才显示「没有匹配」。收到确实为空的结果,再决定清空还是提供提示。文件检查的提示只作用于被点中的那条卡片,不能把它变成全局检索失败。并发版没有在本轮实测;把这两个反馈的范围写清楚,下一步加异步缓存和输入防抖时,就能分别验证。

把测试样张和用户图库隔开

这轮固定样张的最大好处,是复查时不需要向设备图库取照片,也不用让文章截图带出个人相册内容。工程将两张示意图随包安装,每次准备都可以恢复相同的输入。移除操作只找一个固定样本和应用私有目录下的文件。真正接图库时,不应因为示例支持删除就沿用这个按钮。导入后留副本的产品可以在自己的空间管理这些副本;直接引用用户相册的产品应先按系统选择器的权限约定处理,尤其要核对授权在什么情况下失效。两条路径的恢复方法也不同,前者可以让用户重新导入,后者可能只要重新选择原图。

要给线上故障留足信息,可以为一次查询和一次打开各记一条日志。前一条保留系统返回的项数、应用能识别的项数、耗时与错误类别。后一条保留应用内标识、结果状态和是否读到图。查询词和用户文件路径尽量留在设备上。比如遇到系统返回一项而转成卡片后变成零项,先看映射与分区是否合得上;页面有卡片而预览失败,就先确认原件是否存在。这样遇上特殊文件或目录迁移时,可以从两个独立记录回到真正出错的环节。

目前蛋糕样张没有命中。这次保留它有两个作用。它证明两张同名样图里始终存在另一项,给“能不能打开对的那张图”提供错误对照,也让页面走过系统确实返回空列表的路径。如果想独立评估文搜图召回能力,可以增加实际拍摄样本,按主体居中、范围较小和场景复杂程度分组,再为每组准备几条人工描述。评估的时候保持应用过滤规则一致,先记录系统返回,随后核对打开动作。两张样图只适合回答本文这个问题,不能用来决定生产系统的统一相似度门槛。

环境

项目版本与设备验证范围
真机华为 MatePad Edge(QXS-W00),HarmonyOS 7.0.0.111(SP16C00E111R6P5),API 26,ARM64文搜图命中、进程重启后打开与文件丢失处理
模拟器MatePad Pro 13 平板镜像(PADEMU-FD00),DevEco Emulator 26.0.0.402,HarmonyOS 7.0.0.107(SP8DEVC00E16R1P1),API 26,x86_64Ionic 页面加载成功,宿主提示端侧视觉能力缺失,未取得文搜图结果
开发工具DevEco Studio 6.1.1.300,HarmonyOS Command Line Tools 26.0.0.865,SDK 26.0.0.105,JDK 21API 26 构建与调试安装
框架Ionic Core 8.8.19,CPF-Ionic 鸿蒙 Capacitor 1.0.0Ionic 界面通过 Capacitor 插件调用系统能力

MatePad Edge 原生「关于本机」

MatePad Edge 原生「关于本机」 · 查看原件

模拟器内部「关于本机」

模拟器内部「关于本机」 · 查看原件

DevEco Studio 原生「关于」

DevEco Studio 原生「关于」 · 查看原件

API 26 模拟器全屏:页面已加载,能力检查提示不可用

API 26 模拟器全屏:页面已加载,能力检查提示不可用 · 查看原件

FAQ

同名图片一定要重命名吗?

只要保存位置能区分,原文件名可以继续显示。文章里的两张图都叫 IMG_0001.jpg,应用内部用两个稳定标识生成不同的文件位置。导入功能以后要保留用户文件名时,建议保存为独立字段;需要排序的情况下再加拍摄时间或导入时间。列表应给缩略图或位置说明,让操作者不用从重名的文字中猜自己点了什么。

为什么有搜索结果,点进去却是空的?

先确认是不是应用文件和模型索引更新不同步。点卡片之前可以正常检索,却在点完显示「原图已不存在」,表明需要从业务侧追文件生命周期。短暂离开页面、删除、重装、旧路径迁移,都需要自己设计对照测试。这次实验只模拟了沙箱中的测试文件移除。若使用系统相册 URI 而没有留私有副本,还要验证系统临时权限何时失效。不能把这项实测结果直接拿来说明所有媒体权限行为。

已知图片没有匹配,该把阈值调低吗?

这次是系统直接返回空列表,页面没有额外过滤结果。降低应用侧阈值也不会让它凭空多出一项。优先确认照片确实成功索引,scope 一致,再比较更直接的描述、分辨率更高的图片与主体占比。复测时也能加入一个无关查询,确认空结果在 UI 上可解释。图册项目要以多组样本来判断搜图质量,本文的两张图用来测同名和文件生命周期。

重启后需要把整个相册重新写入索引吗?

这次系统在应用进程结束后依然找得到灯塔,所以页面没有在冷启动时默认全量重建。面向实际导入功能,应先找当前 scope 是否已建立、应用内目录记录是否完整,然后再对新增、移动或被删除的图逐项处理。官方还给出了模型能力更新错误码 1013100003,遇到该情况应按文档恢复索引;它不是这轮重启测试里观察到的故障。把正常启动和重建路径拆开,才能分别给出清晰的状态提示。华为文搜图接口

文件存在检查过了,还能在读取时消失吗?

存在检查与打开是两个动作,中间可能有文件管理操作。这个示例在检查失败时返回空字符串,页面会显示文件不存在;如果打开或读取本身抛错,则由原生拒绝调用,前端用状态区显示原因。上线以后可以在异常处理里识别确切的文件不存在错误,归为同一种状态。若出现权限或输入输出故障,仍给出独立提示。把所有文件异常当“请重新导入”,有时会掩盖权限错或磁盘已满;而把缺失也显示成“系统识别失败”,会让用户反复点搜索。

旧卡片还有图片,会不会误导?

这个演示故意让小图来自应用内置样张,能够把文件缺失这一点从界面表现里分离出来。产品里的缩略图通常来自缓存,缓存还在而原件已经清理也很常见。设计详情时应区分缓存图片和实际原件的状态。要分享、编辑、导出时,只能从当前确认可读的文件取数据。如果原件丢失,能不能用缓存生成低分辨率版本,需要另设一条明确的产品动作。示例只说明原件缺失,避免将缓存误当原件。

总结

这次确认了三件事:灯塔可以从同名样图中被搜索出来,进程重启后仍能打开它的沙箱原图,文件移走后原卡片无法打开并会明确提示。蛋糕样图的描述词返回空结果,模拟器也没有走到原生检索。接入真实图册时,先把图片标识、展示名称和保存位置的关系保存好,再考虑更丰富的查询。遇到索引记录比文件活得更久的情况,页面要能把过期结果告诉用户,供他重新导入或整理索引。

完整代码

ScanWorkspace.ets

import { common } from '@kit.AbilityKit';
import { MainPage, PluginEntry, pageHideEvent, pageShowEvent } from 'harmony-capacitor';
import { PhotoBridge } from '../entryability/ScanBridge';

@Entry
@Component
struct SearchWorkspace {
  private readonly bridge = new PhotoBridge(this.getUIContext().getHostContext() as common.UIAbilityContext);
  private readonly plugins: PluginEntry[] = [{ pluginName: 'PhotoFind', pluginObject: this.bridge }];

  onPageShow(): void { pageShowEvent(); }
  onPageHide(): void { pageHideEvent(); }

  build() {
    Stack() {
      MainPage({ isWebDebug: false, capacitorPlugins: this.plugins })
    }
    .width('100%')
    .height('100%')
  }
}

ScanBridge.ets

import { common } from '@kit.AbilityKit';
import { BusinessError } from '@kit.BasicServicesKit';
import { fileIo } from '@kit.CoreFileKit';
import { util } from '@kit.ArkTS';
import { textSearchImage } from '@kit.CoreVisionKit';
import { hilog } from '@kit.PerformanceAnalysisKit';
import { CapacitorPlugin, PluginCall } from 'harmony-capacitor';

const SCOPE = 'PhotoFind';
const TAG = 'PhotoFind';

interface Photo {
  id: string;
  name: string;
  asset: string;
}

interface Match {
  id: string;
  name: string;
  similarity: number;
}

interface Reply {
  supported?: boolean;
  count?: number;
  results?: Match[];
  data?: string;
  removed?: boolean;
}

function resolve(call: PluginCall, reply: Reply): void {
  call.resolve(reply);
}

export class PhotoBridge extends CapacitorPlugin {
  private readonly context: common.UIAbilityContext;
  private active: boolean = false;
  private initialized: boolean = false;
  private readonly photos: Photo[] = [
    { id: 'shore', name: 'IMG_0001.jpg', asset: 'shore.jpg' },
    { id: 'table', name: 'IMG_0001.jpg', asset: 'table.jpg' }
  ];

  constructor(context: common.UIAbilityContext) {
    super();
    this.context = context;
    this.registerMethod('status', (call: PluginCall) => {
      const supported: boolean = canIUse('SystemCapability.AI.Vision.VisionBase');
      resolve(call, { supported: supported });
    });
    this.registerMethod('prepare', (call: PluginCall) => { void this.perform(call, 'prepare'); });
    this.registerMethod('search', (call: PluginCall) => { void this.perform(call, 'search'); });
    this.registerMethod('open', (call: PluginCall) => { void this.perform(call, 'open'); });
    this.registerMethod('simulateLoss', (call: PluginCall) => { void this.perform(call, 'simulateLoss'); });
  }

  private file(photo: Photo): string {
    return this.context.filesDir + '/' + photo.id + '.jpg';
  }

  private async init(): Promise<void> {
    if (!this.initialized) {
      this.initialized = await textSearchImage.init();
      hilog.info(0, TAG, 'init=%{public}s', String(this.initialized));
      if (!this.initialized) {
        throw new Error('无法启动端侧文搜图服务');
      }
    }
  }

  private async prepare(): Promise<number> {
    await this.init();
    let added: number = 0;
    for (const photo of this.photos) {
      const path: string = this.file(photo);
      if (!(await fileIo.access(path))) {
        const data: Uint8Array = this.context.resourceManager.getRawFileContentSync('www/photos/' + photo.asset);
        const file = await fileIo.open(path, fileIo.OpenMode.WRITE_ONLY | fileIo.OpenMode.CREATE | fileIo.OpenMode.TRUNC);
        try {
          if (await fileIo.write(file.fd, data.buffer as ArrayBuffer) !== data.byteLength) {
            throw new Error('样张写入不完整');
          }
        } finally {
          await fileIo.close(file);
        }
      }
      if (await textSearchImage.insertImage(path, SCOPE)) {
        added++;
      }
    }
    hilog.info(0, TAG, 'indexed=%{public}d', added);
    return added;
  }

  private async matches(query: string): Promise<Match[]> {
    if (!query.trim() || query.length > 100) {
      throw new Error('请输入 1 至 100 字的描述');
    }
    await this.init();
    const results = await textSearchImage.search(query, SCOPE, 8);
    const mapped: Match[] = [];
    for (const result of results) {
      const photo = this.photos.find((entry: Photo) => this.file(entry) === result.imagePath);
      if (photo && result.scope === SCOPE) {
        mapped.push({ id: photo.id, name: photo.name, similarity: result.similarity });
      }
    }
    hilog.info(0, TAG, 'results=%{public}d known=%{public}d', results.length, mapped.length);
    return mapped;
  }

  private async preview(id: string): Promise<string> {
    const photo = this.photos.find((entry: Photo) => entry.id === id);
    if (!photo || !(await fileIo.access(this.file(photo)))) {
      return '';
    }
    const file = await fileIo.open(this.file(photo), fileIo.OpenMode.READ_ONLY);
    try {
      const buffer = new ArrayBuffer((await fileIo.stat(file.fd)).size);
      const bytes = await fileIo.read(file.fd, buffer);
      return 'data:image/jpeg;base64,' + new util.Base64Helper().encodeToStringSync(new Uint8Array(buffer, 0, bytes));
    } finally {
      await fileIo.close(file);
    }
  }

  private async perform(call: PluginCall, action: string): Promise<void> {
    if (this.active) {
      call.rejectMessage('BUSY', '上一项还在处理');
      return;
    }
    this.active = true;
    try {
      if (action === 'prepare') {
        const count: number = await this.prepare();
        resolve(call, { count: count });
      } else if (action === 'search') {
        const results = await this.matches(call.getString('query'));
        resolve(call, { results: results });
      } else if (action === 'open') {
        const data: string = await this.preview(call.getString('id'));
        resolve(call, { data: data });
      } else if (action === 'simulateLoss') {
        // 仅删除这个示例沙箱里拷贝的灯塔样张,用于验证悬空索引。
        const path: string = this.file(this.photos[0]);
        if (await fileIo.access(path)) {
          await fileIo.unlink(path);
        }
        resolve(call, { removed: true });
      }
    } catch (error) {
      const issue: BusinessError = error as BusinessError;
      hilog.warn(0, TAG, 'operation=%{public}s code=%{public}s', action, String(issue.code));
      call.rejectMessage(String(issue.code ?? 'PHOTO_FIND'), issue.message);
    } finally {
      this.active = false;
    }
  }
}

index.html

<!doctype html>
<html lang="zh-CN">
<head><meta charset="utf-8"><meta name="viewport" content="width=device-width,initial-scale=1">
<title>图册索引</title><link rel="stylesheet" href="./ionic/ionic.bundle.css"><link rel="stylesheet" href="./index.css">
<script type="module" src="./ionic/ionic.esm.js"></script><script defer src="./search.js"></script></head>
<body><ion-app><ion-content><div class="shell"><header><strong>◒ 图册索引</strong><span id="device" role="status">正在检查端侧检索</span></header>
<main><section class="query"><h1>记得画面?<br>用一句话找它。</h1><form id="search-form"><label for="query">描述要找的照片</label><div class="controls"><input id="query" maxlength="100" placeholder="海边的灯塔" required><ion-button id="search">搜索</ion-button></div></form>
<div class="examples"><button type="button" data-query="海边的灯塔">海边的灯塔</button><button type="button" data-query="桌上的草莓蛋糕">桌上的草莓蛋糕</button></div><ion-button id="prepare" fill="outline">载入两张同名样图</ion-button></section>
<section class="library" aria-labelledby="results-title"><div class="library-top"><h2 id="results-title">搜索结果</h2><p id="status" role="status">打开图册后可按画面内容检索。</p></div><div class="shelf" id="results"></div>
<section class="detail" id="detail" hidden><img id="preview" alt="所选结果原图"><div><h3 id="name"></h3><p id="location"></p></div></section>
<button type="button" class="test" id="loss">移除灯塔样图的沙箱副本</button></section></main></div></ion-content></ion-app></body></html>

search.js

'use strict';
const $ = (id) => document.getElementById(id);
const query = $('query');
const results = $('results');
const status = $('status');
let native;
let busy = false;

function enabled() {
  for (const id of ['prepare', 'search', 'loss']) $(id).disabled = busy || !native;
  for (const button of document.querySelectorAll('[data-query]')) button.disabled = busy || !native;
}

async function run(action) {
  if (busy || !native) return;
  busy = true;
  enabled();
  try {
    await action();
  } catch (error) {
    status.textContent = (error.message || '操作失败') + (error.code ? ' · ' + error.code : '');
  } finally {
    busy = false;
    enabled();
  }
}

function show(matches) {
  results.replaceChildren();
  $('detail').hidden = true;
  for (const match of matches) {
    const button = document.createElement('button');
    button.type = 'button';
    button.className = 'tile';
    const image = document.createElement('img');
    image.src = './photos/' + match.id + '.jpg';
    image.alt = match.id === 'shore' ? '灯塔样图' : '蛋糕样图';
    const caption = document.createElement('span');
    caption.textContent = match.name;
    const score = document.createElement('small');
    score.textContent = '相似度 ' + match.similarity.toFixed(3);
    caption.append(score);
    button.append(image, caption);
    button.addEventListener('click', () => run(async () => {
      const { data } = await native.open({ id: match.id });
      const preview = $('preview');
      preview.hidden = !data;
      if (data) preview.src = data;
      else preview.removeAttribute('src');
      $('name').textContent = match.name;
      $('location').textContent = data ? '已从沙箱打开原图' : '原图已不存在,请重新导入';
      $('detail').hidden = false;
    }));
    results.append(button);
  }
  status.textContent = matches.length ? '找到 ' + matches.length + ' 张' : '当前索引没有匹配图片';
}

function search() {
  run(async () => {
    status.textContent = '正在检索…';
    const response = await native.search({ query: query.value.trim() });
    show(response.results);
  });
}

document.addEventListener('DOMContentLoaded', async () => {
  $('search').addEventListener('click', search);
  $('search-form').addEventListener('submit', (event) => { event.preventDefault(); search(); });
  for (const button of document.querySelectorAll('[data-query]')) button.addEventListener('click', () => {
    query.value = button.dataset.query;
    search();
  });
  $('prepare').addEventListener('click', () => run(async () => {
    status.textContent = '正在建立本地图像索引…';
    const result = await native.prepare();
    status.textContent = '索引写入成功 ' + result.count + ' 张';
  }));
  $('loss').addEventListener('click', () => run(async () => {
    await native.simulateLoss();
    $('detail').hidden = true;
    status.textContent = '已移除灯塔副本,可点原结果复查';
  }));
  enabled();
  try {
    const bridge = window.Capacitor.Plugins.PhotoFind;
    const result = await bridge.status();
    if (result.supported) native = bridge;
    $('device').textContent = native ? '鸿蒙端侧检索' : '此设备缺少鸿蒙端侧视觉能力';
  } catch (error) {
    $('device').textContent = '原生插件未连接';
  }
  enabled();
});

index.css

:root{color-scheme:dark;--paper:#f6f1e6;--muted:#b3b3a9;--panel:#232620;--acid:#d5ed7c;--line:#41443a}*{box-sizing:border-box}body{margin:0;font:15px system-ui,sans-serif}ion-content{--background:#1a1d18;--color:var(--paper)}.shell{max-width:1520px;margin:auto;padding:0 5vw 44px}header{display:flex;align-items:center;justify-content:space-between;padding:24px 0;border-bottom:1px solid var(--line)}header strong{font-size:21px}header span{font-size:12px;color:var(--muted)}main{display:grid;grid-template-columns:minmax(285px,2fr) minmax(0,3fr);gap:clamp(36px,5vw,80px);padding-top:clamp(38px,7vh,90px)}h1,h2,h3,p{margin:0}.query h1{font-size:clamp(44px,6.3vw,98px);line-height:1.03;letter-spacing:-.06em;margin-bottom:36px}label{display:block;font-size:13px;color:var(--muted);margin-bottom:10px}.controls{display:flex;gap:8px}.controls input{min-width:0;flex:1;background:#292e25;border:1px solid #626553;border-radius:10px;color:var(--paper);font:inherit;padding:11px 12px;outline-offset:3px}.controls ion-button{margin:0;--background:var(--acid);--color:#212514;--border-radius:10px}.examples{display:flex;flex-wrap:wrap;gap:8px;margin:16px 0 28px}.examples button,.test{background:transparent;border:1px solid var(--line);border-radius:100px;color:var(--muted);padding:8px 12px;font:inherit}#prepare{--color:var(--acid);--border-color:#6f7a48;--border-radius:9px;margin:0}.library{min-width:0}.library-top{display:flex;justify-content:space-between;align-items:baseline;gap:15px;margin-bottom:16px}.library-top h2{font-size:23px}.library-top p{font-size:13px;color:var(--muted)}.shelf{display:grid;grid-template-columns:repeat(2,minmax(0,1fr));gap:14px;min-height:100px}.shelf:empty{border:1px dashed var(--line);border-radius:14px}.tile{display:block;text-align:left;color:var(--paper);background:var(--panel);border:1px solid var(--line);border-radius:14px;padding:0;overflow:hidden;cursor:pointer;font:inherit}.tile img,.detail img{display:block;width:100%;object-fit:cover;aspect-ratio:3/2}.tile span{display:block;padding:12px}.tile small{display:block;color:var(--acid);margin-top:3px}.detail{background:var(--panel);border:1px solid var(--line);border-radius:14px;overflow:hidden;margin-top:18px}.detail[hidden]{display:none}.detail img{max-height:27vh;object-fit:contain;background:#151813}.detail div{padding:14px}.detail p{margin-top:5px;color:var(--muted)}.test{margin-top:18px;font-size:12px;cursor:pointer}.test:disabled{opacity:.45}@media(max-width:730px){main{display:block}.library{margin-top:38px}.query h1{margin-bottom:24px}}
Logo

AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念,把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起,为开发者提供从开发、训练到部署的一站式体验。

更多推荐