一、引言

1.1 实现目标

要识别的验证码类型如下图所示：

1.2 人手动点选验证码逻辑

以我们人输入验证码的逻辑，分为三个步骤：

1. 首先应该观察下方的文字：请从图中以此选出“力量无限”
2. 在上图中观察所有的艺术字及其位置
3. 按顺序依次点击“力量无限”

1.3 计算机点选逻辑

所以当用计算机视觉的方法来点选此类验证码的过程也分为类似的四个步骤：

0.首先把原图像分为上方和下方两部分

1. 使用PaddleOCR开源的方法识别出下方文字（下方为常规常规字体，容易识别）
2. 使用YOLOv5检测检测的方法检测出上方所有艺术字的位置（数据集自制）
3. 使用分类的方法识别出每个艺术字对应的文字（需要标注）
4. 按照顺序给出四个字对应的位置

算法执行过程之所以比我们人检测步骤多一步，是因为其实人点选验证码的第二步（观察所有的艺术字及其位置），其实也等同于计算机的先观察位置，再判断艺术字对应的具体文字。

二、计算机验证方法

2.1 PaddleOCR下方文字识别方法

本文使用百度开源的OCR框架直接对整张图进行识别，由于下方文字比较规整，所以直接使用默认的OCR训练权重效果就已经很好，准确率在99%以上。
PaddleOCR链接: https://gitee.com/paddlepaddle/PaddleOCR
识别效果如下：

将上图中得出的文字按照规律先把引号消除，再取最后四个字符，即可得到我们需要点选的验证码文字。
此外，由于此类验证码图像比例相对固定，因此其实可以只输入验证码图像的下半部分，这样会提升模型推理速度。

2.2 YOLOv5目标检测方法

使用YOLOv5进行此类检测任务首先要搞的就是数据集了，笔者搜集了网络上一些开源数据集，并没有找到此类现成的数据集，因此就自己标注了一些，最后得到的图像样本一共是2757张，标注了821张样本，如下图所示：



使用这些样本训练出来的算法精度可以达到95%+，算法速度与精度都很高，一些检测效果示例图如下所示

2.3 艺术字分类方法

第三步是艺术字分类，笔者搜集了很多网络资源，依然没有找到好用的数据集，因此也只能自己标注了。
首先把上个步骤中使用YOLO算法检测出来的目标保存起来，接着按照文件名对齐进行文字标注，最后把标注好的艺术字文件都丢进分类网络训练

2.4 返回结果

最后一步就是简单的逻辑步骤了，首先把PaddleOCR检测出的文字与YOLOv5检测出的艺术字进行比对，接着按照OCR给出的字符顺序返回给服务器四个艺术字的坐标位置即可。

三、代码获取

q:1831255794