💡 [REQUEST] - 希望能够实现函数调用的功能，并且提供说明文档，方便第三方写插件

[Johnson-yue]

起始日期 | Start Date

11/16/2024

实现PR | Implementation PR

No response

相关Issues | Reference Issues

No response

摘要 | Summary

希望能够像openAI的chatgpt那样，可以支持插件的使用，并且能够让用户自己写需要的插件，有一个规范，来弥补模型本身处理某些问题时候的不足

基本示例 | Basic Example

今天天气怎么样？， 然后他先自己回答，然后再看有没有关于查询天气的插件，然后尝试调用等等。

缺陷 | Drawbacks

需要有一个规范来写这些插件，我打算使用它

未解决问题 | Unresolved questions

No response

[LDLINGLINGLING]

你好，您是否使用的的是MiniCPM3模型进行工具调用？

[Johnson-yue]

你好，您是否使用的的是MiniCPM3模型进行工具调用？

@LDLINGLINGLING 我还未使用MiniCPM3 模型进行工具调用，我是有一个图片输入的功能需求，然后测试了一下，你们这个 MiniCPM-V的模型效果不错，希望进一步开发，但是只使用MiniCPM-V这个模型会输出幻觉，所以我希望有个工具调用的功能，但是在这个github上并没有看到相关的功能。

我的需要大致是： 从一张图片中获取一些信息（比如天气温度，当前日期，这一步模型回答是准确的）， 然后我希望将获取的信息与当前状态的信息进行比较，然后计算出差异（比如联网查询现在的日期是什么， 当前的温度是多少度， 然后进行计算，这一步模型开始瞎回答了）。 或者说，我需要是的一个基于 MiniCPM的 agent， 或者是这个MiniCPM-V模型支持插件的调用

[LDLINGLINGLING]

你好，目前的MiniCPM-V暂时没有开放function call的功能。但是我在MiniCPM的教程中有大量构建Agent的文章，你可以自己看一下https://modelbest.feishu.cn/wiki/D2tFw8Pcsi5CIzkaHNacLK64npg?from=from_copylink