关于loss权重的问题 #465
-
|
当我在重新开始训练一个全新模型的时候，我想请教一个问题：模型的两个输出都会对模型的公共部分——backbone产生梯度。但是这两个输出各自产生的梯度因为损失函数的原因（我依然用的pysot中的损失函数，无修改）大小可能不在一个数量级上面，这对训练而言是不友好的，会导致公共部分的训练朝着大梯度分支的最优化方向前进，忽略了另外一个小梯度分支。是不是需要利用损失函数的权重去控制梯度？所以在RPN++系列模型在pysot的训练过程中，一般loss_loc与loss_cls的权重设置为多大比较合适？是config里面1与1.2吗？还有是否需要动态调整这个参数？ |
Beta Was this translation helpful? Give feedback.
Replies: 2 comments 1 reply
-
是
这是一个经验值，与数据高度相关
感觉没啥必要 |
Beta Was this translation helpful? Give feedback.
-
|
非常感谢您的回答！另外我想请教您，我完全初始化训练的模型性能很差，需要给RPN的哪个分支(分类or回归)更多关注？
…---原始邮件---
发件人: "Zhiyuan Chen"<notifications@github.com>
发送时间: 2020年11月6日(周五) 凌晨1:03
收件人: "STVIR/pysot"<pysot@noreply.github.com>;
抄送: "taowensheng1997"<874867819@qq.com>;"Author"<author@noreply.github.com>;
主题: Re: [STVIR/pysot] 关于loss权重的问题 (#465)
是不是需要利用损失函数的权重去控制梯度？
是
所以在RPN++系列模型在pysot的训练过程中，一般loss_loc与loss_cls的权重设置为多大比较合适？
这是一个经验值，与数据高度相关
还有是否需要动态调整这个参数？
感觉没啥必要
—
You are receiving this because you authored the thread.
Reply to this email directly, view it on GitHub, or unsubscribe.
---原始邮件---
发件人: "Zhiyuan Chen"<notifications@github.com>
发送时间: 2020年11月6日(周五) 凌晨1:03
收件人: "STVIR/pysot"<pysot@noreply.github.com>;
抄送: "taowensheng1997"<874867819@qq.com>;"Author"<author@noreply.github.com>;
主题: Re: [STVIR/pysot] 关于loss权重的问题 (#465)
是不是需要利用损失函数的权重去控制梯度？
是
所以在RPN++系列模型在pysot的训练过程中，一般loss_loc与loss_cls的权重设置为多大比较合适？
这是一个经验值，与数据高度相关
还有是否需要动态调整这个参数？
感觉没啥必要
—
You are receiving this because you authored the thread.
Reply to this email directly, view it on GitHub, or unsubscribe.
|
Beta Was this translation helpful? Give feedback.
-
|
首先你需要一个预训练的Backbone |
Beta Was this translation helpful? Give feedback.
是
这是一个经验值，与数据高度相关
感觉没啥必要