数据处理中re.findall('##[\u4E00-\u9FA5]')作用

[xiaojinglu]

请问预训练中数据处理whole
word mask 中这一行有什么作用，我发现如果去掉这行后效果会显著下降

roberta_zh/create_pretraining_data.py

Line 526 in 13f7849

output_tokens = [t[2:] if len(re.findall('##[\u4E00-\u9FA5]', t))>0 else t for t in tokens]

[PeihanDou]

你好，我也有同样的疑问。请问你说的效果显著下降是指什么呢？是说预训练的模型推理精度会下降吗？

[sliderSun]

请问预训练中数据处理whole word mask 中这一行有什么作用，我发现如果去掉这行后效果会显著下降

roberta_zh/create_pretraining_data.py

Line 526 in 13f7849

output_tokens = [t[2:] if len(re.findall('##[\u4E00-\u9FA5]', t))>0 else t for t in tokens]

这不就是取除了##的中文部分token吗