MicrosoftとHugging Faceは、AIエージェントが残すデータベースの最終状態と副作用を評価するThinkingBoxとベンチマークThinkingBox-Benchを公開しました。507の業務ワークフローを対象に18モデルを各20回評価し、成功したツール呼び出しだけでは正しい結果や一貫性を判断できないことを示しています。ベンチマークはOpenEnv経由で利用できます。
推荐理由：会話やツール呼び出しではなく、データベースの最終状態と副作用で成否を判定し、20回の反復で業務エージェントの再現性を比較する評価方法が分かります。
Ai2は、研究質問と検索された文献抜粋から引用付きレポートを生成する「AstaBrief 8B」を公開した。AstaのGenerate a report機能ではFast modeとして提供され、Thinking modeの平均178.5秒に対し、レポート生成は平均51.1秒だった。モデルの重みと学習データに加え、研究者が自身のPDFからレポートを作るためのサンプルワークフローも公開した。
推荐理由：実クエリを使った学習と引用密度によるデータ選別が、科学文献のレポート生成にどう結びついたかを追えます。
ServiceNow CoreAIは、企業環境でのモデルの失敗をもとに学習タスクを生成・検証する「AutoSynthData」を開発した。EnterpriseOps GymのHybridでは2,000件を約18時間で生成し、Gemma-4-26B-A4B-itの平均Pass@1が7.2ポイント向上、検証器成功率は63.01%から68.55%になった。
推荐理由：モデルの失敗から学習課題を作り、実行可能性や検証器まで確認する手順と、EnterpriseOps Gymでの数値結果を読める。
Hugging Faceは、オープンソースの多言語テキスト音声合成（TTS）モデルを評価するOpen TTS Leaderboardを公開しました。WER・CERによる明瞭度、H200 GPUやCPUでの生成速度、話者類似度を測定し、モデル評価にかかる時間を数週間から数時間に短縮します。人間の嗜好評価に代わるものではなく、自然さや表現力、聴き手の好みを直接測る指標ではないと説明しています。
推荐理由：評価が数週間から数時間に短縮される仕組みと、WERや速度などの指標を確認でき、人間の嗜好評価を補完する方法が分かります。
NVIDIAは、表形式データの分類・回帰に対応する基盤モデル「Kumo Tabular」をHugging Faceで公開しました。ラベル付き行を文脈として与えると、追加学習や特徴量エンジニアリングなしで新しい行を予測でき、28M〜215Mパラメータの3サイズを用意しています。
推荐理由：人工データだけで事前学習した表形式データ向け基盤モデルが、複数のベンチマークで示した精度と速度を比較できます。
Multiverse Computingは、MCPエージェントの回答について、各主張を支える情報源と回答中で示された情報源が一致するかを検証するProvenanceGuardを発表しました。
推荐理由：複数のMCPツールの出力を一括せず、主張ごとに根拠の出所と回答中の帰属を照合する設計を、医療エージェントの評価結果とともに確認できます。
H Companyは、GUI、コード、MCP、APIを使い分けてソフトウェアを操作するエージェントモデル「Holo4」を公開した。27B denseと35B-A3B Mixture of Expertsの2サイズがあり、OSWorld 2.0ではHolo4 27Bが61.7%、Holo4 35B-A3Bが30.9%を記録した。両モデルはH Models APIで利用でき、重みも公開されている。
推荐理由：GUI、コード、MCP、APIをまたいで動作する設計と、OSWorld 2.0でのスコアが示され、汎用エージェントの性能とコストを比較できます。
UK AI Security Institute（AISI）は、EvalEvalの基盤を使い、評価結果をEvaluation Cardsで公開しています。公開データには、論文の主要実験で扱った5つのベンチマークと6つのモデルの検証済み結果、背景情報、設定情報が含まれます。このデータは、推論時の計算量や評価プロトコルがベンチマーク性能にどう影響するかを調べるAISIの論文に付随しています。
推荐理由：評価条件や設定情報を含む結果を共通形式で公開し、異なる条件で得たベンチマークの比較を可能にする取り組みです。
Hugging Faceは、TransformersでGGUF形式のモデルを読み込み、ローカル実行できるようにしました。初期対応はApple Silicon上のQwen3.5系で、ggmlのMetalカーネルを利用し、ベンチマークでは3種類のチェックポイントでllama.cppに近い性能を示しています。現時点のパック済み推論はMPSのみで、対応アーキテクチャにも制限があります。
推荐理由：GGUFをTransformersで扱う方法に加え、llama.cppとの速度比較や対応環境も示され、ローカル推論での使い分けを判断できます。
oMLXの開発者・メンテナーであるJun KimがHugging Faceに加わり、MLXコミュニティの支援を続ける。oMLXはApache 2.0ライセンスを維持し、Junが引き続き主導する。Hugging Faceは、Transformersのモデル定義からMLXのリファレンス実装への移行を迅速化することなどを目指す。
Hugging Faceは、tokenizers v1のリリース候補版について、v0.23と同じトークンIDを保ちながら、Apple M4 Maxの1スレッド測定でエンコードが3〜30倍高速になったと報告した。8ワーカーでは線形スケーリングの76%に達し、測定対象の10モデルファミリーで評価している。リリース候補版はcrates.ioで公開され、既存と同じAPIで利用できる。
推荐理由：比較条件やキャッシュの扱いを明示したうえで速度とスケーリングを測定しており、トークナイザーの性能評価を読み解く手掛かりになる。
ALTK-Evolveに、AIエージェントの判断の揺らぎを調べるConsistency Analyzerと、一貫性を改善するガイドライン生成機能が追加されました。研究チームは、GPT-4.1を使うAppWorldの実験で、平均成功率を下げずに実行間の一貫性を改善したと報告しています。
推荐理由：平均成功率だけでは見えないエージェントの再現性を、Pass^kとMean@kの差で測り、判断の揺らぎを特定して改善する手順を示しています。
Hugging Faceは、AUTOMATIC1111の機能の大半を単一のワークフローキャンバスに再構築したWorkflow1111を公開しました。73ノードで構成された11のメディアパイプラインは、画像生成や画像編集、検出からのインペイントマスク作成、画像から動画への変換などに対応します。
推荐理由：11のメディアパイプラインを単一キャンバスにまとめ、RESTエンドポイントやMCPツールとしても呼び出せる構成が、Gradio Workflowの活用範囲を具体的に示しています。
Hugging Faceのブログは、TRL v1.14のAsyncGRPOTrainerでLoRAアダプターのみをHugging Face Jobs上のvLLMに同期し、学習と推論を別マシンで実行する構成を紹介しています。
推荐理由：LoRAアダプターをStorage Bucket経由で同期する構成と、5回の実験でボトルネックを移しながら所要時間を短縮した手順を具体的に追えます。
Hugging Faceは、260Mと800Mの多言語マルチモーダルエンコーダー「NeoMME」と、文書画像検索向けにファインチューニングした「NeoMME-Retriever」を公開した。
推荐理由：単一の双方向Transformerで画像とテキストを扱う構成に加え、検索精度・処理速度・索引容量を数値で比較しており、文書検索への適用を検討する材料になります。
Hugging Faceは、複数のコーディングエージェントが過去の作業履歴を検索・参照できる記憶ツール「funes」を公開しました。ローカルで履歴を索引化し、必要に応じて自分が所有するHugging Face datasetへ共有できます。検索結果は元の発言と出所を示し、ベンチマークでは2つのタスクとも、書面の引き継ぎより4〜8倍低コストでした。
推荐理由：複数のコーディングエージェントやマシンで作業履歴を共有し、回答の根拠となる元の発言までたどれる設計が示されています。
筆者はTRLとOpenEnvを使い、Qwen/Qwen3.5-35B-A3Bを水彩画のコード生成に向けて強化学習し、データセットや環境、学習スクリプト、モデルを公開しました。手作業で評価した178点の絵を報酬に使い、報酬配分の異なる3つの学習結果を比較しています。ペアワイズ判定を使った設定では、参照画像に近づくにつれて描画の質や絵の具の使用量が向上したと報告しています。
推荐理由：手描き評価の178点を報酬に組み込む設計と3種類の報酬配分を比較し、好みを反映した学習で何が変わるかを具体的に示しています。
Hugging Face Blogは、TRLを使ってLFM2.5-350MをGRPOでファインチューニングする手順を公開し、IFStructのスコアが22.6%から29.7%に上がったと報告した。
推荐理由：約500件のデータと100ステップで構造化出力の評価値がどう変わるかを、学習設定と同一条件の比較から追えます。
AI2は、LLMベンチマークの個別設問が安全性や一般推論のどの能力を反映するかを分析する手法BenchMIRTを発表した。100モデル、16ベンチマーク、34K超の設問を用いた分析では、安全性と一般推論の2つの主要な能力次元を特定した。BBQは一般推論との関連が強く、WMDPのスコアも安全性より一般推論との関連が強かった。
推荐理由：ベンチマークの総合スコアに混在する能力を設問単位で分け、BBQやWMDPの評価が何を反映するかを読み解く方法を示している。
Hugging Faceは、207種のWebGPUカーネルと、Hubから読み込んで実行するJavaScriptライブラリ@huggingface/kernelsを公開した。
推荐理由：カーネルごとに契約、正当性テスト、ベンチマークをまとめて公開し、実機の検証結果をFleetで集める設計が、WebGPU最適化の進め方を具体化している。
Hugging FaceとVoice Arenaは、Open ASR Leaderboardにヒンディー語とインド英語の評価セット「Monsoon en-IN」「Monsoon hi-IN」を追加した。4つの公開・非公開分割は計4,888人の話者から収集され、各話者の属性を記録している。ヒンディー語では表記の異形を許容する lattice を採用し、OIWERで評価する。
推荐理由：話者属性や地域別に認識誤差を分析できる評価セットと、ヒンディー語の表記揺れを扱う採点方式を導入し、従来のWERでは見えにくい差を比較できます。
Sentence Transformers v6.0にMultiVectorEncoderが導入され、ColBERT形式のMulti-Vector検索モデルを学習・ファインチューニングする手順が公開されました。
推荐理由：MIRIADの医療検索評価を通じて、学習データや文書長の設定が検索精度に与える差と、インデックス圧縮とのトレードオフを具体的に追えます。
Multiverse Computingは、圧縮・4-bit化した大規模言語モデルを回復する手法Quantization-Aware Healing（QAH）を発表した。
推荐理由：元モデルを教師にする設計とベンチマーク結果を通じて、圧縮後の4-bitモデルで精度を回復する方法を比較できる。
Hugging Faceは、Gradioに組み込まれたgr.Workflowを紹介しました。処理手順を型付きノードのグラフとして組み立て、ドラッグ＆ドロップの画面で各ノードを実行し、中間結果を確認できます。ワークフローはREST APIとしても利用でき、Hugging Face Spacesへ1コマンドでデプロイできます。
推荐理由：処理手順をグラフとして操作でき、各段階の実行結果を確認しながら、同じワークフローをREST APIとして呼び出せる点が具体例とともに示されています。
Hugging Faceは、Papers with Codeの検索基盤を、Jobsによる論文埋め込みの一括生成、Storage Bucketsを介した成果物の受け渡し、Inference Endpointsによる検索時の埋め込み生成を組み合わせたハイブリッド検索として構築しました。
推荐理由：バッチ処理、オンライン検索、成果物の受け渡しを分けた設計を、低次元化やコールドスタート時のフォールバックを含む実測値とともに確認できます。
研究チームは、音声認識モデルが公開ベンチマークに特化している度合いを測る3つのテストを用い、広く使われるオープンソースASRモデル11種を評価しました。
推荐理由：11種類のオープンソース音声認識モデルを3つのテストで調べ、公開ベンチマークのスコアが音声の忠実な書き起こしをどの程度反映しないかを具体例と数値で示しています。
Hugging FaceとIBM Researchは、ALTK-Evolveによるエージェントの自己蒸留メモリを8モデルで評価し、適切なガイドライン量はモデルの能力によって異なると報告しました。
推荐理由：8モデルをAppWorldで比較し、性能帯ごとに有効なメモリ量が異なる結果を示しており、精度とトークンコストの調整方法を把握できます。
Sentence Transformers v6.0で、ColBERT方式の遅延インタラクション検索に対応する第4のモデル型MultiVectorEncoderが追加されました。
推荐理由：密ベクトルとの精度・容量の比較に加え、検索や画像文書への適用例も示し、導入時の設計上のトレードオフを具体的に把握できます。
Dharma AIは、制約を考慮したGPU割り当て方式をFIFOスケジューラと7つのシナリオで比較し、同一のハードウェアとワークロードでGPU利用率を最大33ポイント、優先度加重出力を最大105.1%改善しました。
推荐理由：FIFOとの7シナリオ比較に加え、制約を組み込んだ割り当て方法と需要予測の設計を示し、GPU運用の改善策を具体的に追えます。
Hugging Faceは、Hub上の活動データに基づき、2026年1〜8月のオープンモデル市場の動向をまとめた。モデル数やデータセット数が増える一方、ダウンロードは少数のリポジトリに集中し、「いいね」が示す注目とダウンロードが示す利用には大きな隔たりがある。分析では、Qwenの派生モデルが151,448件に達したことや、エージェントによるHubへのアクセスが増えていることも報告している。
推荐理由：ダウンロード数と「いいね」を分けて読むことで、注目度と継続利用の違いを示し、公開モデルの普及を捉える視点を提供している。
Strands Robots、LeRobot、Hugging Face Storage Bucketsを使い、ロボットのデモ記録から学習、実機へのポリシー展開までをつなぐデータループを解説しています。
推荐理由：記録から学習、実機への展開までを同じLeRobot形式でつなぎ、Storage Bucketsへの同期とストリーミングでデータを扱う手順を具体例から追えます。
Hugging Faceは、コミュニティ参加者1,221人が19日間でICML 2026の論文2,226本を再現検証したハッカソンの結果を公開した。35,908件の主張を判定し、検証した論文の51%で少なくとも1件の主張を独立に確認する一方、23%では反証または異論があった。
推荐理由：論文単位の再現率だけでなく、検証済みの誤りや誤検出も具体例で示し、AIエージェントによる研究監査の可能性と人間の役割を考える材料になる。