摘要
在使用DeepSort做跟踪的时候，遇到了下面这个问题
matrix contains invalid numeric entries
出问题的代码如下：
def min_cost_matching(
distance_metric, max_distance, tracks, detections, track_indices=None,
detection_indices=None):
if track_indices is None:
track_indices = np.arange(len(tracks))
if detection_indices is None:
detection_indices = np.arange(len(detections))
if len(detection_indices) == 0 or len(track_indices) == 0:
return [], track_indices, detection_indices # Nothing to match.
for det in detections:
print(det.tlwh,det.confidence)
cost_matrix = distance_metric(
tracks, detections, track_indices, detection_indices)
print("distance_metric",cost_matrix)
cost_matrix[cost_matrix > max_distance] = max_distance + 1e-5
cost_matrix=np.nan_to_num(cost_matrix)
row_indices, col_indices = linear_assignment(cost_matrix)
matches, unmatched_tracks, unmatched_detections = [], [], []
for col, detection_idx in enumerate(detection_indices):
if col not in col_indices:
unmatched_detections.append(detection_idx)
for row, track_idx in enumerate(track_indices):
if row not in row_indices:
unmatched_tracks.append(track_idx)
for row, col in zip(row_indices, col_indices):
track_idx = track_indices[row]
detection_idx = detection_indices[col]
if cost_matrix[row, col] > max_distance:
unmatched_tracks.append(track_idx)
unmatched_detections.append(detection_idx)
else:
matches.append((track_idx, detection_idx))
return matches, unmatched_tracks, unmatched_detections
由于代码来源开源代码，没有太多的注释，所以只能一步步的分析。
通过分析发现cost_matrix里包含nan。
原因
经过初步分心是cost_matrix包含nan造成的，于是，将nan转为0，所以在代码上面加上，如下代码：
cost_matrix=np.nan_to_num(cost_matrix)
然而，为啥为nan呢？我们进一步查找，继续打印log分析，打印出detections
for det in detections:
print(det.tlwh,det.confidence)
发现，凡是出现nan的时候，两个检测框几乎重叠。所以，我们就锁定了bug的位置。在distance_metric中
cost_matrix = distance_metric(
tracks, detections, track_indices, detection_indices)
这个函数是上层传入的，在tracker.py可以找到，如下图：
然后，我们就可以锁定iou_matching.iou_cost，继续打印log，发现iou(bbox, candidates)为nan。
所以就锁定iou函数有问题。
然后，进入iou继续找bug。发现area_intersection = wh.prod(axis=1)，当出现nan的时候，area_intersection 为inf。
同时，打印wh，发现是整数数组，猜想应该溢出了。
解决办法
将数组转为float类型。代码如下：
wh =np.maximum(0., br - tl).astype(float)
area_intersection = wh.prod(axis=1)
area_bbox = bbox[2:].astype(float).prod()
area_candidates = candidates[:, 2:].astype(float).prod(axis=1)
return area_intersection / (area_bbox + area_candidates - area_intersection)
图像分类网络
AlexNet
VGGNet
GooLeNet系列
ResNet
DenseNet
Swin Transformer
【第49篇】Swin Transformer V2：扩展容量和分辨率
MAE
CoAtNet
【第22篇】CoAtNet：将卷积和注意力结合到所有数据大小上
ConvNeXtV1、V2
【第25篇】力压Tramsformer，ConvNeXt成了CNN的希望
【第64篇】ConvNeXt V2论文翻译：ConvNeXt V2与MAE激情碰撞
MobileNet系列
【第26篇】MobileNets：用于移动视觉应用的高效卷积神经网络
MPViT
VIT
SWA
EfficientNet系列
【第34篇】 EfficientNetV2：更快、更小、更强——论文翻译
MOBILEVIT
【第35篇】MOBILEVIT：轻量、通用和适用移动设备的Vision Transformer
EdgeViTs
【第37篇】EdgeViTs： 在移动设备上使用Vision Transformers 的轻量级 CNN
MixConv
RepLKNet
【第39篇】RepLKNet将内核扩展到 31x31：重新审视 CNN 中的大型内核设计
TransFG
【第40篇】TransFG：用于细粒度识别的 Transformer 架构
ConvMAE
【第41篇】ConvMAE：Masked Convolution 遇到 Masked Autoencoders
MicroNet
【第42篇】MicroNet：以极低的 FLOP 实现图像识别
RepVGG
MaxViT
MAFormer
【第53篇】MAFormer: 基于多尺度注意融合的变压器网络视觉识别
GhostNet系列
【第57篇】RepGhost:一个通过重新参数化实现硬件高效的Ghost模块
DEiT系列
【第58篇】DEiT：通过注意力训练数据高效的图像transformer &蒸馏
MetaFormer
RegNet
InternImage
【第73篇】InternImage：探索具有可变形卷积的大规模视觉基础模型
FasterNet
【第74篇】 FasterNet：CVPR2023年最新的网络，基于部分卷积PConv，性能远超MobileNet，MobileVit
注意力机制
物体检测
【第11篇】微软发布的Dynamic Head，创造COCO新记录：60.6AP
【第12篇】Sparse R-CNN: End-to-End Object Detection with Learnable Proposals
【第13篇】CenterNet2论文解析，COCO成绩最高56.4mAP
【第31篇】探索普通视觉Transformer Backbones用于物体检测
【第45篇】YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors
行人属性识别
行人跟踪
【第65篇】SMILEtrack:基于相似度学习的多目标跟踪
OCR
【第20篇】像人类一样阅读：自主、双向和迭代语言 场景文本识别建模
超分辨采样
弱光增强
RetinexNet
【第52篇】RetinexNet: Deep Retinex Decomposition for Low-Light Enhancement
NLP
多模态
知识蒸馏
【第54篇】知识蒸馏：Distilling the Knowledge in a Neural Network
