AI 日報：毎日の AI ニュース（2026年9月 22日 · 火曜日）

Hugging Faceは、tokenizers v1のリリース候補版について、v0.23と同じトークンIDを保ちながら、Apple M4 Maxの1スレッド測定でエンコードが3〜30倍高速になったと報告した。8ワーカーでは線形スケーリングの76%に達し、測定対象の10モデルファミリーで評価している。リリース候補版はcrates.ioで公開され、既存と同じAPIで利用できる。