postion_ids的定义

[Alwin4Zhang]

top_len = max(context_len, triple_len, goal_len)
pos = list(range(top_len - context_len + 1, top_len + 1)) + list(range(top_len - triple_len + 1, top_len + 1))
if goal_len > 0:
   pos.extend(list(range(top_len - goal_len + 1, top_len + 1)))

请问tokenization过程中的postion_ids这样定义的意义是？

[apple55bc]

bert预训练模型初始微调的时候会更加关注于与自己position近的char。更改上文、知识与生成的下文的position距离可以让下文更好兼顾上文和知识重要性

[Alwin4Zhang]

bert预训练模型初始微调的时候会更加关注于与自己position近的char。更改上文、知识与生成的下文的position距离可以让下文更好兼顾上文和知识重要性

首先，非常感谢。but还有一个问题：

eg.
history:['知道外国有个明星长得很萌吗？', '这个还真不知道呢，请问是谁啊？', '是托马斯·桑斯特，颜值太高了。']
triples:[['托马斯·桑斯特', '血型', 'A型'], ['托马斯·桑斯特', '标签', '口碑很好'], ['托马斯·桑斯特', '获奖', '移动迷宫_提名_(2015；第17届)_青少年选择奖_青少年选择奖-最佳电影火花'], ['托马斯·桑斯特', '性别', '男'], ['托马斯·桑斯特', '职业', '演员'], ['托马斯·桑斯特', '领域', '明星'], ['托马斯·桑斯特', '星座', '金牛座'], ['陈思宇', '星座', '金牛座'], ['陈思宇', '毕业院校', '北京电影学院'], ['陈思宇', '体重', '65kg'], ['陈思宇', '性别', '男'], ['陈思宇', '职业', '演员'], ['陈思宇', '领域', '明星'], ['托马斯·桑斯特', '评论', '第一次看到这孩子是在《真爱至上》，萌翻了，现在长大了气质不错'], ['托马斯·桑斯特', '主要成就', '2004年金卫星奖年轻男演员奖提名'], ['托马斯·桑斯特', '代表作', '神秘博士第三季']]
goals:[['START', '托马斯·桑斯特', '陈思宇'], ['托马斯·桑斯特', '出生日期', '1990-5-16'], ['陈思宇', '出生日期', '1990-5-16']]
最终的pos_ids = [243,290] + [1,290] + [243,290] + [290,308] 【context[-1]】

按照您的意思，是不是可以理解为：让goal和triples生成的position_ids离目标文本context[-1]越近，attention的权重会更高？BTW，不知道这是否有出处可以分享一下？另外这种position_id设置方式，不同的token会共用同一个id，会不会有什么问题？

[apple55bc]

抱歉忘回复。
position-id重复的地方，token-type-id会不同的。
没有出处，想到就这么试试了，在之前的比赛里特别是kdconv数据集效果明显。