运行run_classifier的时候oom了

[zhengchang231]

请问模型对最低显存有要求吗？seq_len和batch_size等我都调到1了还是oom，我的显存是8G的，跑的是large版的，谢谢

[brightmart]

和这个对显存的要求是一致的：

System	Seq Length	Max Batch Size
BERT-Base	64	64
...	128	32
...	256	16
...	320	14
...	384	12
...	512	6
BERT-Large	64	12
...	128	6
...	256	2
...	320	1
...	384	0
...	512	0

[currenttime]

同样2080GPU 8G显存
已经调的非常小了
--max_seq_length=32 --train_batch_size=2
依旧OOM
Check failed: err == cudaSuccess || err == cudaErrorInvalidValue Unexpected CUDA error: out of memory

[brightmart]

后来早点原因了吗。或能被其他应用占了显存？

[currenttime]

已经找到原因了，当一次OOM运行过后，需要手动释放内存。如果不kill掉进程，参数设置的再小还依旧是OOM。

[liucongg]

@zhengchang231 您的问题解决了吗，我也遇到了这个问题，对于bert_large模型batch_size=2,max_len=32，都OOM，显存11G.
但是我发现，使用简单的adam优化器就可以跑，但是使用Bert自带的优化器就跑不了，oom。