コンテンツにスキップ
RLMatrix Documentation

ダッシュボードの使い方

RLMatrixを始めようガイドから続いて、AIのトレーニング進捗をどのように監視するか疑問に思っているかもしれません。コンソールへの出力は簡単な例では機能しますが、実際のプロジェクトではより高度な監視が必要になることがよくあります。

RLMatrixダッシュボードはトレーニングメトリクスのリアルタイム可視化を提供し、AIが効果的に学習しているか、トレーニングが完了したか、または進展していないかを判断するのに役立ちます。

ダッシュボードのセットアップ

オプション1：フルリポジトリをクローンする

RLMatrixのソースコード全体が必要な場合：

RLMatrixリポジトリ全体をクローン
git clone https://github.com/asieradzk/RL_Matrix.git

オプション2：ダッシュボードのみを取得

ダッシュボードコンポーネントのみが必要な場合：

Git sparse-checkoutを使用してダッシュボードのみをクローン
git clone --filter=blob:none --sparse https://github.com/asieradzk/RL_Matrix.git
cd RL_Matrix
git sparse-checkout set src/RLMatrix.Dashboard

ダッシュボードの実行

ダッシュボードコードを入手したら、以下の操作が可能です：

  1. 好みのエディタ（Visual StudioやVS Codeなど）でプロジェクトを開く
  2. プロジェクトをビルドして実行する

あるいは、バイナリをビルドして直接実行することもできます。

これはBlazor Serverアプリケーションなので、以下のような出力のあるコンソールウィンドウが表示されます：

ダッシュボードコンソール出力
info: Microsoft.Hosting.Lifetime[14]
Now listening on: https://localhost:7126
info: Microsoft.Hosting.Lifetime[14]
Now listening on: http://localhost:5069
info: Microsoft.Hosting.Lifetime[0]
Application started. Press Ctrl+C to shut down.
info: Microsoft.Hosting.Lifetime[0]
Hosting environment: Development
info: Microsoft.Hosting.Lifetime[0]
Content root path: D:\path\to\your\dashboard\RLMatrix.Dashboard

ブラウザウィンドウが自動的に開かない場合は、ブラウザでhttps://localhost:7126にアクセスしてください。

プロジェクトをダッシュボードに接続する

RLMatrixを始めようガイドのパターンマッチング例に戻りましょう。トレーニングコードを実行すると、コンソールにメッセージが表示されるはずです：

Connected to dashboard

このメッセージが表示されない場合、接続に問題があります。以下を確認してください：

  1. ダッシュボードが実行されていること
  2. トレーニングコードの接続設定が正しいこと
  3. ファイアウォールが接続をブロックしていないこと

ダッシュボードデータの解釈

トレーニングを開始した後、ダッシュボードページを更新してください。左上のドロップダウンメニューに実験名が表示されるようになります。それを選択してトレーニングメトリクスを表示します：

RLMatrixダッシュボード

ダッシュボードはいくつかの重要なメトリクスを表示します：

時間経過による報酬

このグラフはエピソードごとに受け取った報酬を示します。パターンマッチングの例では、AIが正しいパターンを学習するにつれて、-1の報酬が減少していく様子が見られるはずです。

時間経過による累積報酬

これは時間の経過に伴う報酬の合計を示します。このグラフの傾きの変化は特に重要です - AIが報酬を最大化することを学ぶにつれて傾きは急になります。

時間経過によるエピソード長

これは各エピソードが何ステップかかるかを追跡します。シンプルなパターンマッチングの例では、エピソードごとに1ステップしか取らないため、常に1になります。より複雑な環境（カートポールなど）では、このメトリクスによってエージェントが時間の経過とともに長く生存しているかどうかがわかります。

時間経過による損失

これはニューラルネットワークの損失関数の値を示します。一般的に減少傾向を探してください - これはモデルがデータにより適合していることを示します。

時間経過による学習率

これはニューラルネットワークの学習率の変化を表示します。デフォルトでは、RLMatrixはトレーニング中に小さな振動を引き起こすスケジューラを使用しています。

リアルタイム更新

ダッシュボードの最も強力な機能の一つは、リアルタイム更新です。トレーニングが進むにつれて、ダッシュボードは最新のメトリクスを反映するために自動的に更新されます。

パターンマッチングの例では、コンソールウィンドウでEnterキーを押してトレーニングを続け、ダッシュボードがリアルタイムで更新される様子を見ることができます。

トレーニングデータのエクスポート

さらなる分析や記録のために、ダッシュボードの右上隅にある「Export as CSV」ボタンをクリックしてトレーニングデータをエクスポートできます。

これにより以下が可能になります：

  • Excelやほかのツールでカスタム分析を実行する
  • 異なるトレーニング実行を比較する
  • 同僚と結果を共有する

次のステップ

ダッシュボードでトレーニングを監視する方法を理解したので、より複雑な環境とアクション空間を探索する準備が整いました。

連続的なアクションの扱い方 より現実的な制御問題のために連続的なアクション空間でエージェントをトレーニングする方法を学びます。