关于工具训练时候报错TypeError: 'NoneType' object is not iterable解决方法

[kylinccc]

System Info / 系統信息

transformers:4.43.4
cuda:12.4
GPU:4080s
python:3.10.12

Who can help? / 谁可以帮助到您？

No response

Information / 问题信息

• The official example scripts / 官方的示例脚本
• My own modified scripts / 我自己修改的脚本和任务

Reproduction / 复现过程

使用工具模式数据来lora训练的时候会报错TypeError: 'NoneType' object is not iterable

打印一下数据发现每段对话里都会出现一个'tools': None

应该是这个导致的
在process_batch方法和process_batch_eval方法里都加上这三行代码就可以正常训练下去了

没有去找数据解析是datasets库做的还是案例程序做的,不确定是否为训练案例的bug,仅分享出来给同样出现这个问题的人提供一个解决办法

Expected behavior / 期待表现

数据正确处理