5.9 KiB

Raw Permalink Blame History

コールバック数

コールバックは、PyTorch のトレーニングループの動作をカスタマイズできるオブジェクトです。トレーニングループを検査できる [Trainer] (この機能は TensorFlow にはまだ実装されていません) 状態を確認し (進捗レポート、TensorBoard または他の ML プラットフォームへのログ記録など)、決定を下します (初期段階など)。停止中）。

コールバックは、返される [TrainerControl] オブジェクトを除けば、「読み取り専用」のコード部分です。トレーニングループ内では何も変更できません。トレーニングループの変更が必要なカスタマイズの場合は、次のことを行う必要があります。 [Trainer] をサブクラス化し、必要なメソッドをオーバーライドします (例については、trainer を参照してください)。

デフォルトでは、TrainingArguments.report_to は "all" に設定されているため、[Trainer] は次のコールバックを使用します。

[DefaultFlowCallback] は、ログ記録、保存、評価のデフォルトの動作を処理します。
[PrinterCallback] または [ProgressCallback] で進行状況を表示し、ログ (最初のログは、[TrainingArguments] を通じて tqdm を非アクティブ化する場合に使用され、そうでない場合に使用されます) 2番目です)。
[~integrations.TensorBoardCallback] (PyTorch >= 1.4 を介して) tensorboard にアクセスできる場合またはテンソルボードX）。
[~integrations.WandbCallback] wandb がインストールされている場合。
[~integrations.CometCallback] comet_ml がインストールされている場合。
mlflow がインストールされている場合は [~integrations.MLflowCallback]。
[~integrations.NeptuneCallback] neptune がインストールされている場合。
[~integrations.AzureMLCallback] azureml-sdk の場合インストールされています。
[~integrations.CodeCarbonCallback] codecarbon の場合インストールされています。
[~integrations.ClearMLCallback] clearml がインストールされている場合。
[~integrations.DagsHubCallback] dagshub がインストールされている場合。
[~integrations.FlyteCallback] flyte がインストールされている場合。
[~integrations.DVCLiveCallback] dvclive がインストールされている場合。

パッケージがインストールされているが、付随する統合を使用したくない場合は、TrainingArguments.report_to を、使用したい統合のみのリストに変更できます (例: ["azure_ml", "wandb"]) 。

コールバックを実装するメインクラスは [TrainerCallback] です。それは、 [TrainingArguments] は [Trainer] をインスタンス化するために使用され、それにアクセスできます。 [TrainerState] を介してトレーナーの内部状態を取得し、トレーニングループ上でいくつかのアクションを実行できます。 [TrainerControl]。

利用可能なコールバック

ライブラリで利用可能な [TrainerCallback] のリストは次のとおりです。

autodoc integrations.CometCallback - setup

autodoc DefaultFlowCallback

autodoc PrinterCallback

autodoc ProgressCallback

autodoc EarlyStoppingCallback

autodoc integrations.TensorBoardCallback

autodoc integrations.WandbCallback - setup

autodoc integrations.MLflowCallback - setup

autodoc integrations.AzureMLCallback

autodoc integrations.CodeCarbonCallback

autodoc integrations.NeptuneCallback

autodoc integrations.ClearMLCallback

autodoc integrations.DagsHubCallback

autodoc integrations.FlyteCallback

autodoc integrations.DVCLiveCallback - setup

TrainerCallback

autodoc TrainerCallback

以下は、カスタムコールバックを PyTorch [Trainer] に登録する方法の例です。

class MyCallback(TrainerCallback):
    "A callback that prints a message at the beginning of training"

    def on_train_begin(self, args, state, control, **kwargs):
        print("Starting training")


trainer = Trainer(
    model,
    args,
    train_dataset=train_dataset,
    eval_dataset=eval_dataset,
    callbacks=[MyCallback],  # We can either pass the callback class this way or an instance of it (MyCallback())
)

コールバックを登録する別の方法は、次のように trainer.add_callback() を呼び出すことです。

trainer = Trainer(...)
trainer.add_callback(MyCallback)
# Alternatively, we can pass an instance of the callback class
trainer.add_callback(MyCallback())

TrainerState

autodoc TrainerState

TrainerControl

autodoc TrainerControl

5.9 KiB Raw Permalink Blame History Unescape Escape