在训练中评估ckpts

[suyu-star]

您好，我观察到当参数validate设置为True的时候，可以边训练边验证，但是当我们进行验证的时候会发现在BEVEncoderde这段代码中

 shift_ref_2d = ref_2d.clone()
if self.use_temporal:
    shift_ref_2d += shift[:, None, None, :] # 确定和前一帧的偏移是多少
    if prev_bev is not None:
        prev_bev = prev_bev.permute(1, 0, 2)
        print('prev_bev',prev_bev.shape)
        print('bev_query',bev_query.shape)
        prev_bev = torch.stack(
            [prev_bev, bev_query], 1).reshape(bs * 2, len_bev, -1)

输出的维度如下所示，这应该是验证的时候和训练的时候batch_size不一致，导致的
bev_query torch.Size([1, 625, 96])
prev_bev torch.Size([8, 625, 96])
在拼接的时候出现错误，但是验证集的bs只能为1，保证时序连续，请问遇到这种问题应该如何解决呢

[lzzzzzm]

这是由于在train和val切换的时候，存留在self.temporal_fusion_list[i].history_last_bev没有被重置导致的，所以如果你想在训练的时候eval，在切换时，加上重置的功能，比如说像下面这个：

    def train(self, mode=True):
        super(STCOcc, self).train(mode)
        # Reset the history BEV when switching to train mode
        if mode and self.with_specific_component('temporal_fusion_list'):
            for temporal_fusion in self.temporal_fusion_list:
                temporal_fusion.reset_history()

[suyu-star]

这是由于在train和val切换的时候，存留在self.temporal_fusion_list[i].history_last_bev没有被重置导致的，所以如果你想在训练的时候eval，在切换时，加上重置的功能，比如说像下面这个：

    def train(self, mode=True):
        super(STCOcc, self).train(mode)
        # Reset the history BEV when switching to train mode
        if mode and self.with_specific_component('temporal_fusion_list'):
            for temporal_fusion in self.temporal_fusion_list:
                temporal_fusion.reset_history()

您好，我想在请问一下这个代码具体应该加在哪里，因为针对于Base3DDector好像只包含forward_train和forward_test，之后就跳转到stc自定义的训练和验证的情况，我是应在simple_test的开头和结尾处都增加下面这段代码吗

        if self.with_specific_component('temporal_fusion_list'):
            for temporal_fusion in self.temporal_fusion_list:
                temporal_fusion.reset_history()

[lzzzzzm]

直接在STCOcc下面添加就可以，因为在每次switch到val的时候，都会调用model.train()的

[suyu-star]

直接在STCOcc下面添加就可以，因为在每次switch到val的时候，都会调用model.train()的

您好，我刚刚加了这段代码发现SparseFusion模块中没有reset_history，然后我在SparseFusion模块中增加了

    def reset_history(self):
        """Clear all temporal caches."""
        self.history_bev = None
        self.history_last_bev = None
        self.history_forward_augs = None
        self.history_seq_ids = None
        self.history_sweep_time = None
   

然后我在STCOcc下面加了train这个函数，具体如

仍然会报错 bev_query torch.Size([1, 625, 96]) prev_bev torch.Size([8, 625, 96])， 当我在simple_test中增加 会出现这个报错

    can_bus[:3] = can_bus[:3] - self.scene_can_bus_info[sequence_group_idx[index].item()]['prev_pose'] # 存储的是增量的数据
KeyError: 0

[lzzzzzm]

self.scene_can_bus_info里的内容你也需要reset一下

[suyu-star]

self.scene_can_bus_info里的内容你也需要reset一下

您好，我在simple_test中加上

        if self.with_specific_component('temporal_fusion_list'):
            for temporal_fusion in self.temporal_fusion_list:
                temporal_fusion.reset_history()
            self.scene_can_bus_info = dict()
            can_bus = copy.deepcopy(img_metas[0]['can_bus'])
            self.scene_can_bus_info[img_metas[0]['sequence_group_idx']]= {
                            'prev_pose': copy.deepcopy(can_bus[:3]),
                            'prev_angle':copy.deepcopy(can_bus[-1])
                        }

这段代码去reset代码中的self.scene_can_bus_info时，发现模型可以进行验证，但是当重新训练的时候仍然会报错

can_bus[:3] = can_bus[:3] - self.scene_can_bus_info[sequence_group_idx[index].item()]['prev_pose'] # 存储的是增量的数据
KeyError: 10

我怀疑可能是验证的时候把先前的数据清空了，导致重新训练的时候出错，由于我是在simple_test中添加reset代码的，导致重新开始训练的时候self.scene_can_bus_info仍然会报错，请问这种情况应该如何解决呢

[lzzzzzm]

simple_test中应该是不用添加reset的，你可以试试只添加train那段代码，然后确保一下所有历史相关的，存在self中的参数都reset了

[suyu-star]

simple_test中应该是不用添加reset的，你可以试试只添加train那段代码，然后确保一下所有历史相关的，存在self中的参数都reset了

模型在训练的时候或者从val转换成train的时候才会调用model.train()吧，如果将train转换为val应该是需要调用model.eval()?我刚刚测试了只加train()的时候，发现是针对于每一个iteration都会进行调用一次，这样不会导致时序信息丢失吗

[lzzzzzm]

不是的，在switch道eval的时候会调用model.train(mode=False),在switch到train的时候，调用model.train(mode=True)

[suyu-star]

不是的，在switch道eval的时候会调用model.train(mode=False),在switch到train的时候，调用model.train(mode=True)

您好，我又去查了一下，发现mmcv框架中，针对于每个iteration都会调用一次model.train(mode)的情况，这个问题在train()中可以通过设定prev来修改，但是当分布时训练的时候仍然会报

can_bus[:3] = can_bus[:3] - self.scene_can_bus_info[sequence_group_idx[index].item()]['prev_pose'] # 存储的是增量的数据
KeyError: 10

这个我查了一下，好像是因为分布式训练并不会同步python的属性，因此训练的时候不同的rank之间可能会出错，针对于这个问题是否是只能用hook来进行解决呢