Google Cloud、TPU向けKVキャッシュ転送ライブラリ「TPU Sync」を公開

Google Cloudは、Cloud TPU上でKVキャッシュとモデル重みを転送するオープンソースのC++ライブラリ「TPU Sync」を公開しました。Googleの社内テストでは、Qwen3 235BのKV転送時間が数秒から約230 msに短縮され、235Bから480BのMoEモデルでKV転送のオーバーヘッドが90%超減少しました。