Sentence Transformersでマルチベクトル埋め込みを圧縮するトークンプーリング対応学習

Hugging Face Blogの執筆者が、Sentence Transformersを使ったトークンプーリング対応学習の方法と評価結果を紹介しています。pool_factor=4では、通常学習モデルのnDCG@10が49.03だったのに対し、プーリング対応学習モデルは51.23となり、文書ベクトル数を非圧縮時より74.8%削減しました。