openai/tiktoken
tiktoken, на сайте с 31 марта 2023, 00:28
tiktoken is a fast BPE tokeniser for use with OpenAI's models.