JAVA中医舌诊接口实战：舌象特征检测与识别代码示例

简介这份资源面向中医信息化开发者、健康管理应用研发者及人工智能方向学习者提供一套基于JAVA的中医舌诊接口调用与舌象图智能识别示例代码用于解决舌体区域提取、舌象特征检测与体质辨识等实际问题。压缩包共41个文件以30个java源码为核心辅以jpg、png示例舌象图、yml与xml配置及md说明文档整体约3.57MB结构清晰便于按模块阅读与二次开发。代码覆盖三十多种舌象特征的检测与识别并串联舌诊辨识体质、按年龄与性别问诊交互、结合舌诊与问诊判断脏腑健康状态及健康指导的完整流程。已有1407人学习下载适合希望快速理解舌象特征人工智能识别实现思路、搭建中医健康评估原型的开发者参考借鉴。1. 从一张舌象照片到可落地的 JAVA 中医舌诊接口这条路到底通不通手里有一批舌象照片想用 JAVA 做舌象图特征人工智能识别最后封装成一个能被业务系统调用的中医舌诊接口——这个需求在体检机构、中医馆信息化、健康管理 App 里越来越常见。但真正动手会发现难点不在调个模型而在三件事舌体怎么从复杂背景里抠出来、舌质舌苔的颜色纹理特征怎么量化、识别结果怎么用一套稳定的 JAVA 服务对外输出。标题里的接口使用示例代码和舌象特征检测与识别本质是同一套流水线的两端一端是图像算法一端是工程封装。这篇文章面向有 JAVA 基础、想把这个方向跑通的工程师。我会按图像预处理 → 特征提取 → 模型识别 → 接口封装 → 排错的顺序把每一步的选型理由、可抄的代码骨架、参数怎么调、哪里容易翻车讲清楚。不依赖任何特定厂商的闭源 SDK用 OpenCV 的 JAVA 绑定加一个轻量分类模型就能搭出最小可用版本。读完你应该能判断这个方向值不值得投入以及第一版该怎么落地。2. 舌象图特征检测的前置处理JAVA 侧怎么把舌头抠出来舌象识别的第一步不是识别是分割。原始照片里往往有嘴唇、牙齿、面部皮肤、甚至杯子和背景直接送进模型准确率会被这些干扰项拉垮。中医舌诊讲究舌质和舌苔两个维度前者看舌体本身的颜色形态后者看舌面覆盖物的厚薄颜色两者都要求先拿到干净的舌体区域。所以前置处理的目标很明确输入一张人脸或口腔照片输出一张只含舌体的 ROI 图并尽量保留原始色彩信息。2.1 为什么选 OpenCV JAVA 绑定而不是纯 JAVA 图像库纯 JAVA 的图像处理库比如 BufferedImage 那套做点像素级操作还行但一旦涉及色彩空间转换、形态学、轮廓提取代码量和性能都会失控。OpenCV 的 JAVA 绑定opencv-4xx.jar 对应平台的 native 库能直接复用成熟的 CV 算法代价是要处理好 native 库的加载路径。常见做法是把 native 库放进项目 resources启动时用 System.load 或 System.loadLibrary 加载避免UnsatisfiedLinkError这种一上来就劝退的问题。选型上还有一条路是调用 Python 侧的图像服务JAVA 只做 HTTP 转发。但这样会引入跨语言部署成本对只想做接口的团队不划算。除非你的模型是 Python 训练的且不想转格式否则我一般建议分割和特征提取都在 JAVA 侧用 OpenCV 完成模型推理再单独处理。2.2 舌体分割的最小可跑代码下面这段是分割流程的骨架读图、转 HSV、按舌体颜色范围做阈值、形态学去噪、取最大轮廓、裁剪 ROI。参数需要按你的数据集调这里给的是常见起点。import org.opencv.core.*; import org.opencv.imgcodecs.Imgcodecs; import org.opencv.imgproc.Imgproc; public class TongueSegment { static { System.loadLibrary(Core.NATIVE_LIBRARY_NAME); } public static Mat segment(String path) { Mat src Imgcodecs.imread(path); if (src.empty()) throw new IllegalArgumentException(图片读取失败: path); // 1. 转 HSVHSV 对光照变化比 RGB 稳 Mat hsv new Mat(); Imgproc.cvtColor(src, hsv, Imgproc.COLOR_BGR2HSV); // 2. 舌体颜色阈值H 0-20 覆盖红到橙红S/V 下限过滤灰白背景 Mat mask new Mat(); Core.inRange(hsv, new Scalar(0, 40, 60), new Scalar(20, 255, 255), mask); // 3. 形态学开运算去噪点闭运算补内部空洞 Mat kernel Imgproc.getStructuringElement(Imgproc.MORPH_ELLIPSE, new Size(7, 7)); Imgproc.morphologyEx(mask, mask, Imgproc.MORPH_OPEN, kernel); Imgproc.morphologyEx(mask, mask, Imgproc.MORPH_CLOSE, kernel); // 4. 取最大轮廓认为它是舌体 java.util.ListMatOfPoint contours new java.util.ArrayList(); Imgproc.findContours(mask, contours, new Mat(), Imgproc.RETR_EXTERNAL, Imgproc.CHAIN_APPROX_SIMPLE); if (contours.isEmpty()) throw new IllegalStateException(未检测到舌体区域); MatOfPoint biggest contours.get(0); for (MatOfPoint c : contours) { if (Imgproc.contourArea(c) Imgproc.contourArea(biggest)) biggest c; } // 5. 按外接矩形裁剪 ROI Rect roi Imgproc.boundingRect(biggest); return new Mat(src, roi); } }逻辑说明HSV 阈值是分割的核心H 通道决定色相舌体偏红所以 H 上限压在 20 左右S 下限 40 是为了排除接近灰白的皮肤和牙齿V 下限 60 排除过暗区域。形态学核大小 7x7 是经验值图小就调小图大且噪点多就调大。取最大轮廓这一步假设画面里舌体是最大色块如果照片里有大面积红色物体比如红色衣服这个假设会失效需要加位置约束或改用更鲁棒的分割模型。参数说明inRange 的六个值是最需要按数据集调的。建议先跑一批图把 mask 可视化出来看漏检和误检再决定是放宽还是收紧。别一上来就上深度学习分割除非你的背景极其复杂否则传统阈值加形态学在受控拍摄条件下够用。2.3 光照归一化被低估的一步舌象照片的光照差异是识别翻车的头号原因。同一根舌头冷光下偏紫暖光下偏黄模型直接学偏。常见做法是在分割后对 ROI 做一次白平衡或直方图均衡把亮度分布拉齐。OpenCV 里可以用 CLAHE限制对比度自适应直方图均衡在 LAB 空间的 L 通道上做避免直接改 RGB 导致色偏。Mat lab new Mat(); Imgproc.cvtColor(roi, lab, Imgproc.COLOR_BGR2Lab); java.util.ListMat ch new java.util.ArrayList(); Core.split(lab, ch); CLAHE clahe Imgproc.createCLAHE(2.0, new Size(8, 8)); clahe.apply(ch.get(0), ch.get(0)); Core.merge(ch, lab); Imgproc.cvtColor(lab, roi, Imgproc.COLOR_Lab2BGR);clipLimit 设 2.0 是温和增强设太高会把舌苔纹理放大成噪点。tileGridSize 8x8 适合中等分辨率图很大可以调到 16x16。这一步做完后续颜色特征才有一致性可言。3. 舌象特征提取与人工智能识别从颜色纹理到分类结果分割出 ROI 之后进入特征和识别环节。中医舌诊的数字化业内一般拆成几个可量化的维度舌质颜色淡白、红、绛、紫等、舌苔颜色白、黄、灰黑、舌苔厚薄、舌体胖瘦、有无齿痕裂纹。前三个用颜色和纹理特征就能覆盖大部分后两个偏形态需要轮廓几何特征。这一章讲怎么把这些维度变成模型能吃的输入以及 JAVA 侧怎么组织推理。3.1 颜色特征为什么用 HSV 和 LAB 的统计量而不是 RGB 均值RGB 均值对光照太敏感同一个舌体换个光源三个通道全变。HSV 的 H 通道对色相稳定LAB 的 a、b 通道分别对应红绿和黄蓝更接近人眼感知。常见做法是把 ROI 分成舌质区和舌苔区按亮度或饱和度再分一次分别统计 H、S、V、L、a、b 的均值、方差、偏度组成一个十几维的颜色特征向量。public static double[] colorFeatures(Mat roi) { Mat hsv new Mat(), lab new Mat(); Imgproc.cvtColor(roi, hsv, Imgproc.COLOR_BGR2HSV); Imgproc.cvtColor(roi, lab, Imgproc.COLOR_BGR2Lab); double[] feat new double[18]; int idx 0; for (Mat m : new Mat[]{hsv, lab}) { java.util.ListMat ch new java.util.ArrayList(); Core.split(m, ch); for (Mat c : ch) { MatOfDouble mu new MatOfDouble(), sigma new MatOfDouble(); Core.meanStdDev(c, mu, sigma); feat[idx] mu.toArray()[0]; feat[idx] sigma.toArray()[0]; feat[idx] skewness(c); // 偏度反映分布不对称 } } return feat; }逻辑说明每个通道取均值、标准差、偏度三个统计量HSV 三通道加 LAB 三通道共 18 维。均值反映整体色调标准差反映颜色均匀度舌苔厚薄的一个代理偏度反映分布偏向。这个向量可以直接喂给传统分类器SVM、随机森林也可以作为深度模型的辅助输入。参数说明skewness 需要自己实现公式是三阶中心矩除以标准差的三次方。注意 ROI 里如果有大量黑色背景残留统计量会被污染所以分割后要确保 mask 干净或者统计时只算 mask 内的像素。3.2 纹理特征LBP 和灰度共生矩阵怎么选舌苔的厚薄、腐腻靠颜色不够得看纹理。LBP局部二值模式计算快对单调光照变化鲁棒适合做粗粒度纹理描述灰度共生矩阵GLCM能刻画纹理的方向性和周期性但计算量大、参数多。工程上我一般先用 LBP 直方图维度低、好调效果不够再上 GLCM。// 简化版 LBP8 邻域取直方图 public static double[] lbpHistogram(Mat gray, int radius, int neighbors) { Mat lbp new Mat(gray.size(), CvType.CV_8UC1); for (int y radius; y gray.rows() - radius; y) { for (int x radius; x gray.cols() - radius; x) { int center (int) gray.get(y, x)[0]; int code 0; // 8 个采样点按圆环顺序比较 int[][] offsets {{-1,-1},{-1,0},{-1,1},{0,1},{1,1},{1,0},{1,-1},{0,-1}}; for (int i 0; i 8; i) { int ny y offsets[i][0], nx x offsets[i][1]; if ((int) gray.get(ny, nx)[0] center) code | (1 i); } lbp.put(y, x, code); } } // 统计 256 维直方图 double[] hist new double[256]; for (int y 0; y lbp.rows(); y) for (int x 0; x lbp.cols(); x) hist[(int) lbp.get(y, x)[0]]; // 归一化 double sum 0; for (double v : hist) sum v; for (int i 0; i 256; i) hist[i] / sum; return hist; }逻辑说明这段是教学用的朴素实现逐像素循环在 JAVA 里慢生产环境建议用 OpenCV 的 imgproc 或者把 ROI 缩小到 128x128 再算。radius 和 neighbors 控制采样范围radius1、neighbors8 是最基础的配置纹理细就加大 radius。直方图归一化后作为特征向量256 维偏高可以再做均匀模式uniform pattern降维到 59 维。参数说明LBP 对噪声敏感算之前最好先高斯模糊一下。如果舌苔纹理和舌质对比不强LBP 直方图区分度会差这时候要考虑 GLCM 的对比度、能量、熵这几个标量特征。3.3 模型推理JAVA 侧加载 ONNX 还是调 Python 服务特征工程做完可以用 SVM 这类传统模型也可以用 CNN 端到端。传统模型训练快、可解释适合特征维度低、样本量小的场景CNN 准确率高但需要标注数据。JAVA 侧推理有两条主流路径一是用 ONNX Runtime 的 JAVA API 直接加载 .onnx 模型二是把模型部署成 Python 服务JAVA 通过 HTTP 调用。ONNX Runtime 的好处是全 JAVA 栈部署简单缺点是模型转换可能踩坑算子不支持、动态 shape 问题。Python 服务的好处是训练推理同栈灵活缺点是多一个服务要维护。我的经验是如果模型固定、推理量不大优先 ONNX Runtime如果模型迭代频繁、团队以 Python 为主走服务化。// ONNX Runtime JAVA 推理骨架 import ai.onnxruntime.*; public class TongueClassifier { private OrtEnvironment env; private OrtSession session; public TongueClassifier(String modelPath) throws OrtException { env OrtEnvironment.getEnvironment(); session env.createSession(modelPath, new OrtSession.SessionOptions()); } public float[] predict(float[] input, long[] shape) throws OrtException { OnnxTensor tensor OnnxTensor.createTensor(env, java.nio.FloatBuffer.wrap(input), shape); OrtSession.Result result session.run(java.util.Collections.singletonMap(input, tensor)); float[][] output (float[][]) result.get(0).getValue(); return output[0]; // 各类别概率 } }逻辑说明输入张量的 shape 要和模型定义一致通常是 [1, C, H, W] 或 [1, N]。输出是 softmax 后的概率取 argmax 得到类别。注意 ONNX Runtime 的 JAVA API 版本要和 native 库匹配否则会报符号找不到。参数说明SessionOptions 里可以设线程数、优化级别。推理前要做和训练一致的归一化比如除以 255、减均值除方差这一步不一致是准确率暴跌的常见原因。4. 封装成 JAVA 中医舌诊接口从单次调用到可复用服务算法跑通只是第一步真正交付的是一个能被业务系统调用的接口。这一章讲接口设计、并发处理、以及怎么把前面几章的代码组织成一个可维护的服务。标题里的接口使用示例代码落到工程上就是一个接收图片、返回结构化舌诊结果的 HTTP 接口。4.1 接口契约设计返回什么字段舌诊结果不是单一标签而是一组结构化字段。常见设计是返回舌质颜色、舌苔颜色、舌苔厚薄、以及每个维度的置信度再加一个整体健康提示可选。用 JSON 返回字段名要稳定方便前端和下游系统对接。字段类型说明取值范围示例tongueColorString舌质颜色淡白/红/绛/紫tongueColorConffloat置信度0.0-1.0coatingColorString舌苔颜色白/黄/灰黑coatingColorConffloat置信度0.0-1.0coatingThicknessString舌苔厚薄薄/厚/腻coatingThicknessConffloat置信度0.0-1.0qualityScorefloat图像质量分0.0-1.0qualityScore 很重要用来告诉调用方这张图是否可用模糊、过暗、舌体不全。低于阈值时前端应该提示重拍而不是硬出结果。4.2 Spring Boot 接口骨架下面是一个最小可用的 Controller接收 multipart 图片调用前面的分割和推理返回 JSON。注意异常处理和超时控制图像处理是 CPU 密集操作不加限制会拖垮服务。RestController RequestMapping(/api/tongue) public class TongueController { private final TongueService tongueService; public TongueController(TongueService tongueService) { this.tongueService tongueService; } PostMapping(/diagnose) public ResponseEntity? diagnose(RequestParam(file) MultipartFile file) { if (file.isEmpty()) { return ResponseEntity.badRequest().body(Map.of(error, 图片为空)); } try { byte[] bytes file.getBytes(); TongueResult result tongueService.analyze(bytes); return ResponseEntity.ok(result); } catch (IllegalArgumentException e) { return ResponseEntity.badRequest().body(Map.of(error, e.getMessage())); } catch (Exception e) { return ResponseEntity.status(500).body(Map.of(error, 识别失败)); } } }逻辑说明Controller 只做参数校验和异常转换业务逻辑放 Service。analyze 方法内部串起分割、特征、推理三步。返回用统一的结果对象方便序列化。参数说明MultipartFile 有大小限制Spring Boot 默认 1MB舌象照片往往超过需要在配置里调 spring.servlet.multipart.max-file-size。另外要限制并发图像处理线程池大小按 CPU 核数设别用默认的 Tomcat 线程数硬扛。4.3 并发与资源管理OpenCV Mat 的内存坑OpenCV 的 Mat 是 native 内存不受 JVM 堆管理用完不 release 会内存泄漏。高并发下这个问题会迅速暴露。常见做法是用 try-finally 确保每个 Mat 都被释放或者用 Mat 的自动释放机制OpenCV 4.x 的 Mat 实现了 AutoCloseable可以 try-with-resources。public TongueResult analyze(byte[] imageBytes) { try (Mat src Imgcodecs.imdecode(new MatOfByte(imageBytes), Imgcodecs.IMREAD_COLOR)) { if (src.empty()) throw new IllegalArgumentException(图片解码失败); try (Mat roi TongueSegment.segment(src)) { double[] colorFeat FeatureExtractor.colorFeatures(roi); double[] lbpFeat FeatureExtractor.lbpHistogram(roi, 1, 8); float[] probs classifier.predict(merge(colorFeat, lbpFeat)); return buildResult(probs); } } }逻辑说明try-with-resources 保证 Mat 在异常时也能释放。merge 把颜色和纹理特征拼成一个向量顺序要和训练时一致。参数说明native 内存的释放有延迟高并发下即使 release 了也可能短时占用高。建议给服务设内存上限并监控 native 内存或者用信号量限制同时处理的请求数。5. 舌象识别落地避坑那些让准确率暴跌的细节这一章是我踩过的坑按现象 → 原因 → 解决写。很多问题不是算法不行是工程细节没处理好。5.1 现象本地测试准确率 90%上线后掉到 60%原因训练和推理的图像预处理不一致。本地测试用的是已经裁剪好的舌体图线上传的是原始照片分割步骤引入的误差没被训练集覆盖。另外归一化参数均值、方差在两边不一致。解决把分割和预处理固化成一个 pipeline训练和推理走同一套代码。归一化参数从训练集统计后存成配置文件推理时加载别硬编码。5.2 现象同一张图多次调用结果不一样原因模型推理有随机性dropout 没关、或者用了随机数据增强或者多线程下 Mat 被共享修改。解决推理时设 eval 模式关掉 dropout。确保每个请求的 Mat 是独立的别把 Mat 存成成员变量复用。5.3 现象服务跑几小时后 OOM 或 native 内存爆掉原因Mat 没释放或者 ONNX Tensor 没关闭。ONNX Runtime 的 OnnxTensor 和 Result 也需要显式 close。解决所有 native 资源用 try-with-resources。加监控看 native 内存增长曲线别只看 JVM 堆。5.4 现象黄色舌苔被识别成白色原因白平衡没做暖光下白色偏黄模型把偏黄的白色判成黄色。或者训练集里黄色样本太少类别不平衡。解决加光照归一化训练时对少数类做过采样或调类别权重。HSV 阈值也要按实际光源调别一套参数打天下。5.5 现象接口响应慢P99 超过 3 秒原因图像分辨率太高分割和 LBP 都是逐像素操作大图耗时线性增长。或者模型输入尺寸没降。解决上传后先缩放到固定尺寸比如长边 512再做后续处理。LBP 用 OpenCV 的实现替代手写循环。模型输入尺寸按训练时的来别在推理时放大。6. 把舌诊接口做扎实验证方法与一个提准确率的技巧接口能跑通之后怎么验证它靠不靠谱我的习惯是建一个小规模的回归测试集覆盖不同光源、不同手机、不同舌象类型每次改代码都跑一遍看各维度的准确率和置信度分布有没有漂移。别只看整体准确率舌质和舌苔要分开看因为两者的错误模式不一样。一个提准确率的实用技巧是引入拒识机制。当模型对某个维度的最高置信度低于阈值比如 0.6或者图像质量分低于阈值时接口返回无法判断而不是硬猜。这在医疗健康场景里比给错结果更负责任。实现上就是在 buildResult 里加一层判断private TongueResult buildResult(float[] probs, float qualityScore) { TongueResult r new TongueResult(); if (qualityScore 0.5f) { r.setStatus(LOW_QUALITY); return r; } float maxProb 0f; int maxIdx 0; for (int i 0; i probs.length; i) { if (probs[i] maxProb) { maxProb probs[i]; maxIdx i; } } if (maxProb 0.6f) { r.setStatus(UNCERTAIN); return r; } r.setStatus(OK); r.setLabel(LABELS[maxIdx]); r.setConfidence(maxProb); return r; }阈值 0.6 不是固定的要按你的验证集调。调高拒识率上升、错判率下降调低反之。医疗场景宁可拒识也别错判所以我会把阈值设得偏保守。验证方法上除了准确率还要看混淆矩阵。舌质颜色里淡白和红容易混绛和紫容易混这些混淆对要单独分析看是特征不够还是样本不足。如果是特征不够考虑加纹理或形态特征如果是样本不足针对性补数据比换模型更有效。最后说个习惯我每次上线新版本前会把旧版本和新版本在同一批图上跑一遍对比每个维度的输出差异。差异大的样本单独看往往能发现预处理或归一化的隐性改动。这个对比脚本比任何单元测试都管用因为它直接反映业务输出的变化。舌诊这个方向算法只是一半另一半是对数据和场景的敬畏。希望帮到你。本文还有配套的精品资源点击获取