LLaMAModel._causal_lm_process中的labels和logits对齐方法疑问

[chivychao]

# [invalid] Shift so that tokens < n predict n
# Do not need to shift here
shift_logits = logits[..., :-1, :].contiguous()
shift_labels = labels[..., :-1].contiguous()

其中还有必要把最后一位给抹掉吗？是不是直接可以取整个序列呢？

[li-yi-dong]

如果用的是Megatron-LM 原生的dataset 可以不用移位。具体要看label 和样本是怎么对应的。

[chivychao]

那是否可以不使用self._causal_lm_process()来计算loss，仍然使用post_language_model_processing()来计算loss呢？

[li-yi-dong]

那是否可以不使用self._causal_lm_process()来计算loss，仍然使用post_language_model_processing()来计算loss呢？

可以，但我们发现这个实现和HuggingFace 上的实现计算结果有些差异，需要你自己评估。