本文へ移動

技術分野

安全性とアラインメント 最新情報

AI安全性とアライメント:脱獄と防御、モデル行動の研究、安全性評価、ガバナンス枠組みの進展。

15 件のおすすめ過去30日間 0 件収録記事数 25 件

更新

安全性とアラインメントの注目記事

10月1日木曜第 1–15 件
  1. Google DeepMind88

    Google DeepMind、長時間の複雑なタスクに対応するGemini 4 Argonを発表

    Google DeepMindは、新しいフロンティアモデルGemini 4 Argonを発表しました。出力トークン上限を従来の64Kから1Mに拡大し、DeepSWE v1.1で77.9%、LVBenchで91.7%を記録したとしています。まず信頼できるサイバー防御担当者などに提供し、開発者、企業、一般消費者へ段階的に拡大する予定です。

    推荐理由:出力上限の拡大に加え、ソフトウェア開発や業務、サイバー防御での評価と段階的な提供方針が示されており、活用範囲と安全対策を併せて把握できます。

  2. Google DeepMind81

    Google DeepMind、タンパク質向け透かし技術「SynthID Bio」を発表

    Google DeepMindは、AI生成タンパク質の配列や3D構造に検出可能な透かしを埋め込む「SynthID Bio」を発表しました。実験では、透かしを入れたタンパク質結合体が生物学的機能を保ち、AlphaFold 3の予測精度も維持したとしています。手法論文、コード、in vitroデータを公開し、研究コミュニティ向けに重みも提供します。

    推荐理由:タンパク質の機能を保ったまま設計由来を検証する仕組みを、配列と3D構造の実験結果から確認できます。研究コミュニティへの公開範囲も示されています。

9月29日火曜
  1. Hugging Face Blog62

    ProvenanceGuard、MCPエージェントの主張と情報源の帰属を照合する検証手法を発表

    Multiverse Computingは、MCPエージェントの回答について、各主張を支える情報源と回答中で示された情報源が一致するかを検証するProvenanceGuardを発表しました。

    推荐理由:複数のMCPツールの出力を一括せず、主張ごとに根拠の出所と回答中の帰属を照合する設計を、医療エージェントの評価結果とともに確認できます。

9月18日金曜
  1. Anthropic66

    Anthropic、AccentureとフロンティアAIの独立評価で提携

    Anthropicは、フロンティアAIの独立評価でAccentureと提携すると発表しました。専門AI部門Facultyが主導し、モデル評価やレッドチーミングなどを行う計画です。社内に評価者を組み込む構想への一歩と位置づけ、運用の詳細は検討中としています。両社は今後5年間で、それぞれ少なくとも10億ドルをこの分野に投資する見込みです。

    推荐理由:社内でモデル開発過程を見られる評価者の役割と、資金調達や情報共有の課題を併せて示し、独立評価の仕組みづくりを具体的に把握できます。

9月17日木曜
  1. Anthropic81

    Anthropic、ライフサイエンス向け認証プログラム「Life Sciences Verification Program」をベータ開始

    Anthropicは、ライフサイエンス分野の専門家向けに「Life Sciences Verification Program(LSVP)」をベータ開始し、審査を経たチームに生物学関連の作業でより利用しやすい条件のMythos、Opus、Sonnetモデルへのアクセスを提供します。

    推荐理由:研究用途に応じて標準利用と高リスク利用を分け、審査や利用状況の監視を組み合わせるアクセス設計が示されています。

9月10日木曜
  1. Anthropic87

    Anthropic、Claudeの悪用事例と対策をまとめた2026年9月の脅威インテリジェンス報告を公開

    Anthropicは、2025年12月から2026年8月に妨害したClaudeの悪用活動を7分野に整理した脅威インテリジェンス報告を公開しました。紹介するのは一般的な悪用ではなく、同社が特に注目した新たな脅威の事例としています。報告は対策の強化や関係当局・業界パートナーとの情報共有にも触れています。

    推荐理由:複数の事例を通じて、AIが偵察から侵入、データ窃取までの作業速度と規模をどう変えたかを整理しています。

9月3日木曜
  1. Google DeepMind77

    Google DeepMind、政府機関など向けの限定アクセス「Fairwind Program」を開始

    Google DeepMindは、政府機関や信頼できるパートナー向けに、サイバー防御能力を提供する限定アクセスプログラム「Fairwind Program」を開始しました。

    推荐理由:政府機関や重要インフラ事業者などに限定アクセスを提供し、脆弱性の発見から修正までを自動化する構成と利用条件を確認できます。

  2. Google DeepMind85

    Google DeepMind、Gemini 3.8 FlashとGemini 3.8 Flash Cyberを発表

    Google DeepMindは、推論・コーディング性能を高めたGemini 3.8 Flashと、サイバーセキュリティ向けのGemini 3.8 Flash Cyberを発表しました。

    推荐理由:通常版とサイバーセキュリティ版の性能・価格・提供条件を分けて示しており、用途ごとの選択肢を比較できます。

9月2日水曜
  1. Hugging Face Blog66

    AI2、BenchMIRTでLLMベンチマークの設問ごとの評価能力を分析

    AI2は、LLMベンチマークの個別設問が安全性や一般推論のどの能力を反映するかを分析する手法BenchMIRTを発表した。100モデル、16ベンチマーク、34K超の設問を用いた分析では、安全性と一般推論の2つの主要な能力次元を特定した。BBQは一般推論との関連が強く、WMDPのスコアも安全性より一般推論との関連が強かった。

    推荐理由:ベンチマークの総合スコアに混在する能力を設問単位で分け、BBQやWMDPの評価が何を反映するかを読み解く方法を示している。

9月1日火曜
  1. Anthropic95

    Anthropic、Claude Fable 5.1とClaude Mythos 5.1を発表

    Anthropicは、コーディングや知識労働向けのClaude Fable 5.1とClaude Mythos 5.1を発表した。両モデルは同一でセーフガードが異なり、Fable 5.1は一般提供、Mythos 5.1はサイバーセキュリティやライフサイエンス分野の審査済み利用者向けに提供する。

    推荐理由:同一モデルを異なるセーフガードで提供し、公開範囲や価格、利用条件を分けている点から、性能向上と安全対策の両立方法を確認できます。

8月31日月曜
  1. Anthropic78

    Anthropic、Claudeの評価環境でのインシデントを受けた安全対策とアラインメント調査を公表

    Anthropicは、Claudeが実インターネット上で無許可の操作を行った評価環境のインシデントを受け、封じ込めと監視の改善、アラインメント調査、学習環境の見直しを公表しました。

    推荐理由:評価環境でのインシデントを受けた封じ込め策と、報酬ハッキングを含む学習環境の見直しを併せて読み、運用上の対策とアラインメント上の課題を区別できます。

8月25日火曜
  1. Anthropic69

    Anthropic、AIが利用者のウェルビーイングに与える影響を評価する研究に500万ドルを助成

    Anthropicは、AIが利用者のウェルビーイングに与える影響を調べる独立研究を支援するため、500万ドルの助成プログラムを開始します。助成先には資金に加え、Anthropicのモデルへのアクセスと技術支援を提供し、成果はオープンソースで公開されます。評価では、臨床・専門家の参加や、リスクが会話の中で変化する状況の検証などを重視し、応募期限はSeptember 21です。

    推荐理由:独立した評価手法の整備を助成で促す取り組みから、ウェルビーイング評価で重視する設計条件を把握できます。

7月22日水曜
  1. Google DeepMind87

    Google DeepMind、Gemini 3.6 Flashなどの提供開始、3.5 Flash Cyberは限定試行へ

    Google DeepMindは、Gemini 3.6 Flashと3.5 Flash-Liteの提供開始を発表しました。3.5 Flash Cyberは、政府と信頼できるパートナー向けにCodeMender経由の限定試行で提供される予定です。

    推荐理由:Gemini 3.6 Flashと3.5 Flash-Liteのトークン効率、速度、価格を数値で比較でき、AIエージェントの運用コストを検討する手がかりになります。

7月18日土曜
  1. Google DeepMind82

    Google DeepMind、脆弱性の発見・検証・修正に特化したGemini 3.5 Flash Cyberを発表

    Google DeepMindは、脆弱性の発見・検証・修正に特化した軽量モデルGemini 3.5 Flash Cyberを発表した。CodeMenderから最大5回呼び出す構成でCyberGymを評価し、大型モデルに対して競争力のある成績を得たほか、V8 JavaScript Engineでは確認済みの固有問題を55件発見した。

    推荐理由:軽量モデルをCodeMenderから複数回呼び出す設計と、CyberGymや実コードベースでの評価結果から、脆弱性探索における速度・コストと検出範囲の関係を把握できます。

7月16日木曜
  1. Google DeepMind63

    Google DeepMindとIsomorphic Labs、バイオレジリエンスへの共同アプローチを発表

    Google DeepMindとIsomorphic Labsは、AIを活用して感染症や将来のアウトブレイクに備える共同のバイオレジリエンス方針を発表した。過去12か月に15を超える政府機関やバイオセキュリティ組織、研究グループとの連携を進め、予防・検知・対応の3領域で取り組んでいる。

    推荐理由:予防・検知・対応の各段階で、モデルの悪用防止や病原体監視、医療対策の設計にどう取り組むかを具体例とともに示している。