1.背景

  • 深度学习训练过程常常会因为各种原因意外中断,本应是一次训练但却得到断续好几个events.out.tfevents文件,导致Tensorboard不能很好地全部展示出来
  • 解决办法之一就是将这些文件拼接起来后再用Tensorboard展示拼接起来后的那个文件

2.cat

  • Linux直接就可以使用cat命令进行拼接,但是windows没有cat 命令
  • windows下可以借助git工具使用cat

3.实际操作

  • 打开git的交互面板

  • 进入存储events.out.tfevents文件的文件夹,例如我的是:

cd C:/Users/SMT/Desktop/mmediting-master/realbasicvsr_fengshenbang
  • 拼接文件:
cat events.out.tfevents.1661151093.DESKTOP-OIUBP2H.16032.0 >> events.out.tfevents.1661135974.DESKTOP-OIUBP2H.5824.0

实现效果是events.out.tfevents.1661151093.DESKTOP-OIUBP2H.16032.0拼接在events.out.tfevents.1661135974.DESKTOP-OIUBP2H.5824.0文件的尾部
在这里插入图片描述

4.效果

  • 合并前:tensorboard --logdir=tf_log_past
    在这里插入图片描述
    两个在时间上应该是先后关系的曲线被画成了并列关系
  • 合并之后:tensorboard --logdir=tf_log_all
    在这里插入图片描述
  • 合并前后效果相同,因为文件里面关于迭代次数的记录每个文件本身都是从0开始记录的
  • 如果换成时间作为横坐标,可以拼接成功,但是中间会有水平线

5.更改方案

  • 需要在训练前就修改代码,可以改变轮次的记录起始点
  • 或者加上时间戳
Logo

有“AI”的1024 = 2048,欢迎大家加入2048 AI社区

更多推荐