Hugging Face Blog·· 11 天前精选AI 评分60
Hugging Face tokenizers v1 候选版发布，编码速度较 v0.23 提升 3 到 30 倍
tokenizers v1: encode, decode and scaling, measured
AI 导读
Hugging Face 发布 tokenizers v1 候选版，在 Apple M4 Max 上单线程编码速度较 v0.23 提升 3 到 30 倍，八线程扩展达线性加速的 76%。
推荐理由
官方给出各 tokenizer 家族的实测数据与优化手段拆解，读者可以据此评估升级到 v1 对训练和推理吞吐的影响。
来源：Hugging Face Blog · huggingface.co