Hugging Face tokenizers v1の性能比較、v0.23比で3〜30倍高速化

Hugging Faceは、tokenizers v1のリリース候補版について、v0.23と同じトークンIDを保ちながら、Apple M4 Maxの1スレッド測定でエンコードが3〜30倍高速になったと報告した。8ワーカーでは線形スケーリングの76%に達し、測定対象の10モデルファミリーで評価している。リリース候補版はcrates.ioで公開され、既存と同じAPIで利用できる。