README_zh-CN.md

DeepSORVF: 基于深度学习的简单在线实时船舶数据融合方法

---

内河船舶交通监管中基于异步轨迹匹配的多模态海事数据融合
郭彧, 刘文*, 瞿晶祥, 卢煜旭, 朱凤华*, 吕宜生 (* 代表通讯作者)
arXiv preprint arXiv:2302.11283

简介： 在这项工作中，我们首先提取基于AIS和视频的船舶轨迹，然后提出了一种基于深度学习的异步轨迹匹配方法（名为 DeepSORVF），以将基于AIS的船舶信息与相应的视觉目标融合。此外，通过结合基于AIS和视频的运动特征，我们还提出了一种先验知识驱动的抗遮挡方法，以在遮挡条件下产生准确且稳健的船舶跟踪结果。

---

---

流程图

图1. DeepSORVF的流程图

图2. 面向视觉船舶轨迹提取的抗遮挡跟踪方法流程图

运行

• 将ckpt.t7保存至DeepSORVF/deep_sort/deep_sort/deep/checkpoint/文件夹下。
• 将YOLOX-final.pth保存至DeepSORVF/detection_yolox/model_data/文件夹下。
• 设置数据路径parser.add_argument("--data_path", type=str, default = './clip-01/', help='data path')。
• 运行main.py。

draw_org.py 用于同时可视化基于 ais 的轨迹（蓝线）、目标检测框（红框）和融合结果（黑色文本）。可以通过将 main.py 中的 import draw 修改为 import draw_org 来启用它。

测试数据: clip-01

FVessel: 用于船舶检测、跟踪和数据融合的基准数据集

FVessel基准数据集用于评估AIS和视频数据融合算法的可靠性，主要包含海康威视DS-2DC4423IW-D球型摄像机和赛扬AIS9000-08 B类AIS接收机在武汉长江段拍摄的26个视频和相应的AIS数据。为了保护隐私，在我们的数据集中每艘船的 MMSI 已替换为随机数。图3展了FVessel数据集的部分样本。

图3. FVessel数据集的部分样本，其中包含在晴天、多云和弱光条件下在桥区和江边采集的大量图像和视频

FVessel_V1.0 数据集上的性能

名称	MOFA (%)	IDP (%)	IDR (%)	IDF (%)	视频
video-01	79.94	89.35	90.76	90.05
video-02	73.19	83.27	91.60	87.23
video-03	96.45	99.23	97.20	98.20
video-04	98.08	99.45	98.63	99.03
video-05	89.19	93.46	95.91	94.67
video-06	91.17	96.04	95.08	95.56
video-07	96.81	99.59	97.21	98.39
video-08	82.28	99.64	82.58	90.31
video-09	98.45	100.00	98.45	99.22
video-10	88.74	90.42	99.26	94.63
video-11	97.66	99.29	98.36	98.83
video-12	95.45	99.06	96.36	97.69
video-13	84.82	94.82	89.72	92.20
video-14	93.10	97.82	95.22	96.50
video-15	95.88	97.19	98.74	97.96
video-16	98.68	100.00	98.68	99.33
video-17	90.02	93.80	96.39	95.08
video-18	74.49	83.57	92.72	87.91
video-19	96.62	98.31	98.31	98.31
video-20	96.74	98.66	98.07	98.36
video-21	76.43	87.03	89.82	88.40
video-22	96.82	99.35	97.45	98.39
video-23	94.71	98.91	95.77	97.31
video-24	94.70	98.34	96.33	97.32
video-25	91.49	97.66	93.73	95.66
video-26	97.44	99.11	98.32	98.72
均值	91.13	95.90	95.41	95.59	...

致谢

非常感谢武汉理工大学计算机与人工智能学院的苏建龙进行的数据采集和算法实现工作。

引用

@article{guo2023asynchronous,
  title={Asynchronous Trajectory Matching-Based Multimodal Maritime Data Fusion for Vessel Traffic Surveillance in Inland Waterways},
  author={Guo, Yu and Liu, Ryan Wen and Qu, Jingxiang and Lu, Yuxu and Zhu, Fenghua, and Lv, Yisheng},
  journal={IEEE Transactions on Intelligent Transportation Systems},
  year={2023}
}

参考资料

https://github.com/bubbliiiing/yolox-pytorch

https://github.com/dyh/unbox_yolov5_deepsort_counting/tree/main/deep_sort