TRLとOpenEnvでコードによる水彩画を描くモデルを学習・比較する方法

筆者はTRLとOpenEnvを使い、Qwen/Qwen3.5-35B-A3Bを水彩画のコード生成に向けて強化学習し、データセットや環境、学習スクリプト、モデルを公開しました。手作業で評価した178点の絵を報酬に使い、報酬配分の異なる3つの学習結果を比較しています。ペアワイズ判定を使った設定では、参照画像に近づくにつれて描画の質や絵の具の使用量が向上したと報告しています。