发帖
雷达卡
1. 水下视觉的核心挑战：色彩失真与图像模糊
从事水下摄影或遥控潜水器（ROV）操作的工程人员普遍面临三大技术难题：
- 光谱吸收导致色偏：水中对红光的吸收速度远高于其他波段，使得深度超过5米后画面几乎仅保留蓝绿色调，物体原有的颜色和纹理信息严重丢失。
- 悬浮颗粒引发浑浊：浮游生物与泥沙微粒造成光线散射，形成类似陆地“雾霾”的视觉效果，显著降低图像对比度与清晰度。
- 实时处理能力受限：传统图像增强算法如Retinex或暗通道先验（DCP）在CPU上运算效率低，难以满足4K/30fps视频流的逐帧处理需求，易产生延迟，影响机械臂等精密操作。
2. 硬件选型关键：RK3588——边缘计算视觉平台的性能标杆
根据电鱼产品资料，EFISH-CORE-RK3588 是当前国产嵌入式系统中视觉处理能力最强的解决方案之一，完全适配水下图像实时增强所需的高算力场景。
- 高性能CPU架构：采用 Rockchip RK3588 芯片，集成四核Cortex-A76（主频2.4GHz）与四核Cortex-A55（1.8GHz），提供强大的通用计算能力，支撑复杂图像预处理逻辑。
- 先进图形处理单元：内置 Mali-G610 MP4 GPU，支持 OpenCL，可加速矩阵运算和滤波操作，提升非AI任务的执行效率。
- 大容量内存与高速接口：兼容 LPDDR4 8GB/16GB/32GB 内存，保障4K视频帧缓存需求；配备 HDMI 2.1 与 MIPI CSI 接口，确保高清视频无损输入输出。
- NPU人工智能加速引擎：内置三核NPU，算力达6TOPS，支持混合量化，专为CNN类卷积神经网络推理优化，是实现低延迟AI增强的关键组件。
3. 技术路径设计：基于NPU的实时图像增强链路
3.1 视频采集与ISP前端处理
硬件连接方式：通过 MIPI CSI 接口接入水下星光级摄像头传感器（例如 Sony IMX415），实现高质量原始数据采集。
ISP预处理流程：利用RK3588内置的新一代图像信号处理器（ISP），完成多级降噪与HDR合成。在图像送入NPU前，先行调整白平衡与曝光参数，有效抑制低照度环境下的噪声干扰。
3.2 AI增强模型：轻量级生成对抗网络应用
针对水下图像的色偏与模糊问题，推荐采用端到端的生成对抗网络（GAN）进行恢复。
- 模型训练阶段：在岸基服务器使用成对的“水下-空气中”图像数据集（如FUnIE-GAN或Water-Net）进行训练，学习色彩映射关系。
- 模型格式转换：借助 rknn-toolkit2 工具将PyTorch或TensorFlow模型转化为适用于RK3588的 .rknn 格式。
- NPU部署策略：在RK3588的NPU上对每一帧图像进行像素级推理；对于4K分辨率视频，采用“先降采样推理、再导向滤波上采样”的方案，在保证画质的同时维持30fps以上的稳定帧率。
3.3 辅助增强模块：传统算法协同优化
尽管AI在色彩还原方面表现优异，但在去雾处理上，基于物理模型的传统方法仍具优势。
混合处理架构：利用RK3588的 CPU/GPU 并行运行优化版暗通道先验（DCP）算法，生成透射率图，辅助NPU更精确地完成去雾处理，实现AI与经典算法的优势互补。
4. 系统整体架构：构建水下视觉盒（Vision Box）
4.1 硬件结构布局
- 输入端：双目MIPI摄像头配置（前视+下视视角），获取立体视觉信息。
- 处理核心：EFISH-CORE-RK3588 核心板配合定制载板，承担全流程图像处理任务。
- 输出通道：
- HDMI 2.1：直接连接ROV内部光纤发射模块，将增强后的4K画面实时传回水面端。
- 2.5G以太网接口：传输经H.265编码压缩的视频流至水面控制台，适应长距离通信需求。
4.2 软件处理流水线设计
- 使用 v4l2-ctl 获取来自MIPI接口的原始图像数据；
- 调用 RK MPI（Media Process Interface）启动ISP进行初步图像校正；
- 通过 RGA（Raster Graphic Acceleration）实现零拷贝缩放与裁剪操作；
- 加载 RKNN 模型，由NPU执行AI增强推理；
- 启用 MPP（Media Process Platform）进行H.265硬件编码；
- 最终通过网络或HDMI接口输出处理完成的视频流。
5. 工业级稳定性保障措施
由于水下设备空间封闭，散热与供电成为长期运行的关键瓶颈。
- 温度控制机制：EFISH-CORE-RK3588 支持 -40°C 至 70°C 宽温工作范围。在金属耐压舱内，通过导热硅胶将核心板热量传导至铝合金外壳，依靠海水实现被动散热，无需风扇即可持续稳定运行。
- 电源适应性设计：载板支持 DC 9~26V 宽电压输入（部分型号支持5-15V或9-36V），可直接对接ROV电池系统，有效抵御推进器启动瞬间引起的电压波动，避免视频中断。
6. 方案总结
基于电鱼 EFISH-CORE-RK3588 的水下视觉增强系统，充分发挥了 NPU 的高效推理能力，解决了传统算法处理速度慢的问题；同时结合 ISP 的前端降噪功能，有效应对低光照噪声。该方案将原本依赖后期处理的图像修复转变为实时在线增强，使ROV具备穿透浑浊水域的“慧眼”，显著提升了深海勘探、水下安防及渔业作业的整体效率。
核心模块：EFISH-CORE-RK3588
AI 运算性能：搭载 NPU，提供高达 6TOPS 的算力支持，基于 RKNN 架构，适用于多种人工智能推理任务
视频处理能力：支持 8K 级别的视频编码与解码功能，配备 HDMI 2.1 接口，满足高带宽、高分辨率的显示输出需求 [此处为图片2]
开发支持工具：配套提供 RKNN-Toolkit2 及 Rockchip Linux SDK，便于开发者进行模型转换、部署与系统级应用开发 [此处为图片3]
京公网安备 11010802022788号
