Skip to content

changshanzhao/2023-TUP-Vision-JLUFIX

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

38 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

TUP-Vision-2023-JLUFIX

基于沈阳航空航天大学TUP战队2023赛季视觉基础程序开发仓库,尝试完善算法,缝合代码

Version

V3.1

程序基于ros-galactic框架

  • update
Time Function Description
2024/01/27 添加imu数据的topic 便于联合标定
2024/01/29 改成绝对角度,对齐时间戳 消除通信延迟问题
2024/01/31 小符模式固定转速 免计算转速,提高稳定性
2024/03/04 装甲板选择逻辑 没有合适装甲板时瞄观测装甲板的预测位置,放宽火控朝向角范围
2024/03/29 大符补偿 去掉bigdelay和smalldelay,删除转速计算不合理的延时,在predict中实现小符固定转速及大符补偿

1.Brief

程序整体架构采用前后端分离的模式,以实现更加高效的模块化编程。自瞄分为检测模块和预测模块,检测节点订阅相机图像并将图像送入网络推理输出目标信息,预测节点则订阅目标信息并进行跟踪预测。

功能模块流程图:

autoaim
sentry_autoaim
buff

2.Introduction

  • Packages
Name Function Description
global_user 定义全局接口 包含通用函数/结构体/枚举类型
global_interface 自定义消息 全局msg定义
serialport 串口驱动 定义与下位机的通信协议
camera_driver 相机驱动 包含大恒/海康/USB相机驱动接口
armor_detector 装甲板检测节点 识别出待打击目标
armor_processor 装甲板预测节点 对待打击目标进行预测
buff_detector 能量机关检测节点 识别出待打击扇叶
buff_processor 能量机关预测节点 对待打击扇叶进行预测
  • Custom messages
Message Topic Description
Autoaim.msg /armor_detector/armor_msg 目标装甲板消息
Buff.msg /buff_detector/buff_msg 目标能量机关消息
CarPos.msg /car_pos 车辆位置消息
Decision.msg /robot_decision/decision 决策消息
DetectorArray.msg /armor_detector/detections 目标消息
GameInfo.msg /game_info 比赛消息(下位机从裁判系统读入)
Gimbal.msg /armor_processor/gimbal_msg /armor_processor/tracking_msg /buff_processor/gimbal_msg /buff_processor/tracking_msg 云台消息(自瞄控制消息)
ObjHP.msg /obj_hp 目标血量消息(从裁判系统读入)
Serial.msg /serial_msg 串口消息

3.Environment

Library URL Description
OpenVINO https://www.intel.com/content/www/us/en/developer/tools/openvino-toolkit/download.html 目前使用的版本是OpenVINO2023.1,直接offline下载一键安装即可,需要给权限
glog https://github.com/google/glog/releases/tag/v0.5.0
yaml-cpp https://github.com/jbeder/yaml-cpp/releases/tag/yaml-cpp-0.5.3 需指定将yaml-cpp库编译成共享库
Ceres http://ceres-solver.org/installation.html Click "latest stable release"
Eigen https://gitlab.com/libeigen/eigen/-/releases/3.4.0 编译此库前首先对ceres库进行编译
OpenCV https://github.com/opencv/opencv/tree/4.2.0 \ https://github.com/opencv/opencv_contrib/tree/4.x 编译时两个包放一块,注意编译时需传入指定参数
海康相机库 https://www.hikrobotics.com/cn/machinevision/service/download?module=0 编译安装时给权限
大恒相机库 https://www.daheng-imaging.com/index.php?m=content&c=index&a=lists&catid=59&czxt=9&sylx=21&syxj=44#mmd 编译安装时给权限

4.Debug

  • Prepare

    • 参数配置文件位置:src/global_user/config/autoaim.yaml(参数配置详解见:Autoaim_Config )
    • 对应的launch文件位置:src/global_user/launch/autoaim_bringup.launch.py
    • 首先根据实际情况更改相机类型(camera_type)和型号(camera_name)(包括armor_detector空间和armor_processor空间下对应的参数),调试视频则把camera_type赋为3;
    • 与下位机通信调试时将配置文件中的using_imu参数改为true,同时把launch文件中的using_imu参数置为True;
    • 调试的参数主要是CS模型(singer_model)和IMM模型对应的参数(trans_prob_matrix\model_prob_vector\process_noise\measure_noise)。
  • Compile

      colcon build --symlink-install 
      . install/setup.bash
    
  • Command

      ros2 launch global_user autoaim_bringup.launch.py
    
  • Startup

    • Step1:设置shell脚本权限

      sudo chmod 777 your_shell_script_path
      
    • Step2:配置程序启动首选项

      gnome-terminal -- your_shell_script_path
      
  • Log

    • 日志保存路径设置

      sudo gedit ~/.bashrc
      export ROS_HOME=~/ros_logs
      

2.能量机关调试

  • Prepare

    • 参数配置文件位置:src/global_user/config/buff.yaml
    • 对应的launch文件位置:src/global_user/launch/buff_bringup.launch.py
    • 首先根据实际情况更改相机类型(camera_type)和型号(camera_name)(包括buff_detector空间和buff_processor空间下对应的参数),调试视频则把camera_type赋为3,同时更改launch文件中的相机类型;
    • 与下位机通信调试时将配置文件中的using_imu参数改为true,同时把launch文件中的using_imu参数置为True;
    • 调试时可以适当修改时间延迟量(delay_small和delay_big)。
  • Compile

      colcon build --symlink-install 
      . install/setup.bash
    
  • Command

      ros2 launch global_user buff_bringup.launch.py
    

5.Develop log

Date Issue Debug
2023-04-24 添加新网络模型,区分大小装甲板。
2023-04-14 相机驱动节点加入ros2bag录制图像数据和回放数据功能 比赛前须打开此功能。
2023-03-xx Fixed image transport delay problem.(0.5ms左右) 将图像订阅者的qos的depth设置为1。
2022-12-11 Update buff node.
2022-12-01 Merge armor_detector node and armor_processor node to one node.
2022-11-11 添加ros2 parameter callback,配合rqt_reconfigure插件可以实现节点动态调参(目前仅可在usb相机驱动节点使用)。 全局均可使用,普通数据类型可以直接修改,目前不支持对数组容器的动态修改。
2022-11-06 Construct system models and filter algorithms template class.
2022-11-05 Fixed serialport node bugs and armor processor node bugs.
2022-10-28 加入tf2,serialport包将陀螺仪数据加入到tf树,world->gyro(+ transformation == world->camera) Delete
2022-10-23 加入2022.1版本的OpenVINO,并在armor_detector节点调试成功,在7代i7NUC上测试网络推理部分耗时在15ms~30ms左右。(10~15ms) 在步兵和英雄10代i5的nuc上调试程序总延时在6~8ms。
2022-10-20 调试发现网络推理部分加载模型出现异常,ros下加载.xml文件后初始化失败。
2022-10-05 完成相机驱动功能包的开发,包括相机驱动和相机节点两部分,针对大恒、海康和usb相机。 迈德威视的驱动暂未添加,不可使用。

6.Supplement

Issue Debug Add
串口权限永久解决 1) whoami --查看用户名 2) sudo usermod -aG dialout username
程序运行出现WARNING:selected interface "lo" is not multicast-capable: disabling multicast / ERROR:Failed to find a free participant index for domain 0 FIXED:创建一个脚本/etc/network/if-up.d/ros2-lo-multicast:#!/bin/sh ip link set lo multicast on
Error:recvUC: malformed packet received from vendor 1.16 state parse Issue:ros2/ros2#1163
Error:编译时出现死机情况 加入参数--parallel-workers threads_num(>=1)
运行时出错,无法找到libopenvino 在.bashrc文件中export ldlibrary路径

7.弹丸命中率测试

Date Description ShootCount HitNum TP
2023-04-06 步兵射击机动状态下的英雄 55 50 90.1%

About

尝试算法改进,修复部分bug

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published