OpenAI's tiktoken in Go.
Tiktoken is a fast BPE tokeniser for use with OpenAI's models.
Currently, it only tested in gpt-3.5(cl100k_base).
This is a port of the original tiktoken.
Go 语言版本的 OpenAI 的 tiktoken。
帮你把文本转换成 OpenAI 的模型可以识别的 token。
目前只测试过 gpt-3.5(cl100k_base)。
tiktoken的原项目地址tiktoken.