图像算法

岗位职责1.视频流处理与边缘端优化•基于RK88平台，使用C++/GStreamer/OpenCV实现多路实时视频流采集、解码（H.4/H.5）、抽帧（动态策略）及预处理（去噪、增强），保障低延迟（100ms）与高稳定性。•优化视频流传输与存储（本地化+云端同步），设计抽帧策略平衡带宽与算力（如关键帧优先、动态帧率调整）。2.NPU模型部署与推理加速•完成PyTorch/ONNX模型在RK88NPU上的量化（INT8/FP）、编译（RKNN工具链）及性能调优，目标推理耗时ms/帧（关键任务）。•开发C++推理引擎，集成目标检测（YOLOv8）、分割（MaskR-CNN）等模型，支持多任务并行推理（如检测+分类）。3.视频图像算法开发与训练•主导视频图像核心任务算法研发（目标检测、多目标跟踪、行为识别、异常检测等），针对边缘端场景优化精度与速度平衡（如小目标检测、运动模糊鲁棒性）。•设计视频时序建模策略（光流融合、3D卷积），解决帧间依赖问题；制定数据标注规范（目标框、分割掩码、行为标签），构建高质量训练集（含复杂场景噪声、遮挡）。•完成模型训练全流程（PyTorch/TensorFlow）：数据加载、训练调优（学习率策略、损失函数设计）、验证（mAP、FPS、误检率）及导出（ONNX/PT）、模型格式转换，支持迁移学习与小样本微调。4.多模态模型开发与大语言模型微调•负责大语言模型（LLaMA、ChatGLM、BERT）的微调与优化，支持视频-文本对齐任务（视频摘要生成、目标描述、视觉问答）。•设计多模态特征融合策略（CLIP、FLAVA），开发跨模态推理模块；探索轻量级LLM在RK88边缘端的部署方案（量化、蒸馏），目标推理延迟0ms。5.系统对接与功能扩展•对接Flask+Vue管理后台，实现远端策略调整（模型下载、抽帧频率、启停控制）、设备监控（视频流状态、资源占用）及与中心算法平台的双向通信（MQTT/RESTful）。•支持多模态数据推送（视频分析结果+文本描述）及国产化系统（麒麟OS/OpenHarmony）适配。任职要求1.核心技术能力•编程与系统：精通C++/Python，熟悉Linux多线程编程、交叉编译、V4L2采集及H.4/H.5硬编解码；掌握RK88开发全流程（NPU/CPU/GPU异构计算、低延迟传输）。•视频图像算法：深入理解CNN、Transformer、3D卷积、光流法等核心技术；熟练使用PyTorch/TensorFlow完成模型训练、调优及部署（量化、剪枝、蒸馏）；掌握目标检测（YOLO系列）、分割（U-Net）等模型的改进与优化。•多模态与大模型：熟悉LLM架构（Transformer、LLaMA）及微调方法（LoRA、QLoRA）；掌握多模态对齐技术（CLIP），具备视频-文本联合训练/微调经验；了解边缘端LLM部署工具（TensorRT-LLM、ONNXRuntime）。2.项目经验•3年以上视频图像算法研发经验，需提供全流程项目案例（如“工业质检缺陷检测：mAP从82%提升至95%，边缘端FPS从”）；•有复杂场景算法适配经验（低光照、遮挡、大视角变化）或小样本/增量学习应用案例；•有边缘端与云端协同开发经验（如本地推理+云端精调）或开源项目贡献优先。3.优先条件•熟悉视频编码与算法协同优化（H.5压缩+关键帧解码）；•具备Flask/Vue全栈开发能力或国产化系统（麒麟OS）适配经验；•了解军品/工业级开发规范（加密存储、可靠性测试）。
联系我时，请说是在58同城上看到的，谢谢！