OpenCompass Eval-Backend 不能用自定义的数据集吗？

[jackqdldd]

我在llmuses/benchmarks 按照格式定义了一个数据集，如何来验证vllm部署的模型？Native 模式没找到传模型地址的地方，OpenCompass模式 自定义的数据集不支持

[linpan]

llm-wizard/alpaca-gpt4-data-zh 没有注册

[wangxingjun778]

OpenCompass模式因为是使用openai api方式，需要先做settings的对齐，先期放了50个benchmark； 自定义的数据集我们会在这两天支持上。