# PatchTSMixer

## 概要

PatchTSMixerモデルは、Vijay Ekambaram、Arindam Jati、Nam Nguyen、Phanwadee Sinthong、Jayant Kalagnanam によって提案された [TSMixer: Lightweight MLP-Mixer Model for Multivariate Time Series Forecasting](https://huggingface.co/papers/2306.09364) に記載されています。

PatchTSMixerは、MLP-Mixerアーキテクチャに基づく軽量な時系列モデリング手法です。このHuggingFace実装では、PatchTSMixerの機能を提供し、パッチ、チャネル、隠れ特徴量間の軽量なミキシングを容易に行うことで、効果的な多次元時系列モデリングを支援します。また、単純なゲーティング付きアテンションから、より複雑な自己アテンションブロックまで、さまざまなアテンションメカニズムをサポートしており、必要に応じてカスタマイズできます。このモデルは事前学習が可能であり、予測、分類、回帰などのさまざまな下流タスクに後続で使用できます。

論文の抄録は以下の通りです。

*TSMixerは、パッチ化された時系列データにおける多変量予測と表現学習のために設計された、マルチレイヤーパーセプトロン（MLP）モジュールのみで構成される軽量なニューラルアーキテクチャです。当社のモデルは、コンピュータビジョンにおけるMLP-Mixerモデルの成功から着想を得ています。私たちは、Vision MLP-Mixerを時系列に適用する際の課題を示し、精度を向上させるために実証されたコンポーネントを導入します。これには、階層性やチャネル間の相関といった時系列の特性を明示的にモデル化するために、MLP-Mixerのバックボーンにオンライン調整ヘッドを付加するという新しい設計パラダイムが含まれます。また、既存のパッチチャネルミキシング手法で共通の課題である、ノイジーなチャネル間の相互作用の処理や多様なデータセットへの汎化を効果的に扱うためのハイブリッドチャネルモデリング手法を提案します。さらに、バックボーンにシンプルなゲーティング注意機構を導入し、重要な特徴を優先的に処理します。これらの軽量なコンポーネントを取り入れることで、シンプルなMLP構造の学習能力を大幅に強化し、計算リソースの最小限の使用で複雑なTransformerモデルを上回る性能を実現します。さらに、TSMixerのモジュール化された設計により、教師あり学習とマスク付き自己教師あり学習の両方との互換性が確保され、時系列のFoundation Modelsのための有望な構成要素となります。TSMixerは、予測において最先端のMLPモデルおよびTransformerモデルを8〜60%という大幅な差で上回ります。また、メモリと実行時間の大幅な削減（2〜3倍）を伴い、最新の強力なベンチマークであるPatch-Transformerモデルをも1〜2%上回ります。*

このモデルは、[ajati](https://huggingface.co/ajati)、[vijaye12](https://huggingface.co/vijaye12)、[gsinthong](https://huggingface.co/gsinthong)、[namctin](https://huggingface.co/namctin)、[wmgifford](https://huggingface.co/wmgifford)、[kashif](https://huggingface.co/kashif) によって提供されました。

## 使用例

以下のコードスニペットは、PatchTSMixerモデルをランダムに初期化する方法を示しています。このモデルは[Trainer API](../trainer)と互換性があります。

```python

from transformers import PatchTSMixerConfig, PatchTSMixerForPrediction
from transformers import Trainer, TrainingArguments,

config = PatchTSMixerConfig(context_length = 512, prediction_length = 96)
model = PatchTSMixerForPrediction(config)
trainer = Trainer(model=model, args=training_args, 
            train_dataset=train_dataset,
            eval_dataset=valid_dataset)
trainer.train()
results = trainer.evaluate(test_dataset)
```

## 使用のコツ

このモデルは、時系列分類および時系列回帰にも使用できます。それぞれに対応する[PatchTSMixerForTimeSeriesClassification](/docs/transformers/v5.23.0/ja/model_doc/patchtsmixer#transformers.PatchTSMixerForTimeSeriesClassification)クラスと[PatchTSMixerForRegression](/docs/transformers/v5.23.0/ja/model_doc/patchtsmixer#transformers.PatchTSMixerForRegression)クラスを参照してください。

## リソース

- PatchTSMixerを詳しく解説したブログ記事は[こちら](https://huggingface.co/blog/patchtsmixer)で確認できます。また、このブログはGoogle Colabでも開くことができます。

## PatchTSMixerConfig[[transformers.PatchTSMixerConfig]]

#### transformers.PatchTSMixerConfig[[transformers.PatchTSMixerConfig]]

```python
transformers.PatchTSMixerConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, context_length: int = 32, patch_length: int = 8, num_input_channels: int = 1, patch_stride: int = 8, num_parallel_samples: int = 100, d_model: int = 8, expansion_factor: int = 2, num_layers: int = 3, dropout: float | int = 0.2, mode: str = 'common_channel', gated_attn: bool = True, norm_mlp: str = 'LayerNorm', self_attn: bool = False, self_attn_heads: int = 1, use_positional_encoding: bool = False, positional_encoding_type: str = 'sincos', scaling: str | bool | None = 'std', loss: str = 'mse', init_std: float = 0.02, norm_eps: float = 1e-05, mask_type: str = 'random', random_mask_ratio: float = 0.5, num_forecast_mask_patches: list[int] | tuple[int, ...] | int | None = (2,), mask_value: int = 0, masked_loss: bool = True, channel_consistent_masking: bool = True, unmasked_channel_indices: list[int] | None = None, head_dropout: float | int = 0.2, distribution_output: str = 'student_t', prediction_length: int = 16, prediction_channel_indices: list | None = None, num_targets: int = 3, output_range: list | None = None, head_aggregation: str | None = 'max_pool')
```

[ソース](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/patchtsmixer/configuration_patchtsmixer.py#L24)

**パラメータ:**

context_length (`int`、*optional*、デフォルトは 32) : 入力シーケンスのコンテキスト/履歴の長さ。

patch_length (`int`, *optional*, デフォルトは 8) : 入力シーケンスのパッチ長です。

num_input_channels (`int`、*任意*、デフォルトは`1`) : 入力チャネル数。

patch_stride (`int`、*optional*、デフォルトは 8) : 2 つの連続するパッチ間の重複を決定します。重複しないパッチを希望する場合は、patch_length（またはそれ以上の値）に設定してください。

num_parallel_samples (`int`、*optional*、デフォルトは 100) : 確率的予測のために並列で生成するサンプル数。

d_model (`int`、*任意*、デフォルトは`8`) : エンコーダ層とプーラー層のサイズ。

expansion_factor (`int`、*optional*、デフォルトは 2) : MLP 内で使用する拡張係数です。推奨される範囲は 2〜5 です。値が大きいほど、より複雑なモデルを示します。

num_layers (`int`、*任意*、デフォルトは `3`) : Transformer デコーダーの隠れ層の数。

dropout (`Union[float, int]`、*任意*、デフォルトは`0.2`) : すべての dropout 層の比率。

mode (`str`、*任意*、デフォルトは`"common_channel"`) : Mixer Mode。チャネルの処理方法を決定します。許可される値: "common_channel"、"mix_channel"。"common_channel" モードでは、明示的なチャネルミキシングを行わず、チャネル非依存モデリングに従います。チャネルミキシングは、チャネル間で重みを共有することにより暗黙的に行われます。(推奨される第一の手法) "mix_channel" モードでは、パッチおよびフィーチャーミキサーに加えて、明示的なチャネルミキシングに従います。(チャネル間の相関をモデル化することが非常に重要な場合に推奨される手法)

gated_attn (`bool`、*任意*、デフォルトは`True`) : Gated Attentionを有効にします。

norm_mlp (`str`、*任意*、デフォルトは`"LayerNorm"`) : 正規化レイヤー（BatchNormまたはLayerNorm）。

self_attn (`bool`、*任意*、デフォルトは`False`) : パッチ全体にわたる Tiny self attention を有効にします。Vanilla PatchTSMixer のゲーティング付きアテンションの出力が満足できるものでない場合に、これを有効にできます。これを有効にすると、パッチ間の明示的なペアワイズアテンションとモデリングが行われます。

self_attn_heads (`int`、*任意*、デフォルトは 1) : セルフアテンションのヘッド数。`self_attn` が `True` に設定されている場合のみ機能します。

use_positional_encoding (`bool`, *任意*, デフォルトは `False`) : tiny self-attention レイヤーでの位置埋め込みの使用を有効にします。`self_attn` が `True` に設定されている場合のみ動作します。

positional_encoding_type (`str`、*任意*、デフォルトは`"sincos"`) : 位置エンコーディング。`"random"`と`"sincos"`のオプションがサポートされています。`use_positional_encoding`が`True`に設定されている場合のみ動作します。

scaling (`string` または `bool`、*任意*、デフォルトは `"std"`) : `None` の場合はスケーラーなし、それ以外の場合は "mean" スケーラーまたは "std" スケーラーで入力ターゲットをスケーリングするかどうか。`True` の場合、スケーラーは "mean" に設定されます。

loss (`string`、*任意*、デフォルトは`"mse"`) : `distribution_output`ヘッドに対応するモデルの損失関数です。パラメトリックな分布の場合は負の対数尤度（"nll"）、点推定の場合は平均二乗誤差（"mse"）です。

init_std (`float`、*任意*、デフォルトは`0.02`) : すべての重み行列を初期化するためのtruncated_normal_initializerの標準偏差です。

norm_eps (`float`、*optional*、デフォルトは 1e-05) : 正規化の数値的安定性を確保するために分母に追加される値。

mask_type (`str`、*任意*、デフォルトは`"random"`) : Masked Pretraining モードで使用するマスキングの種類。許可される値は "random"、"forecast" です。Random マスキングでは、点がランダムにマスクされます。Forecast マスキングでは、末尾に向かって点がマスクされます。

random_mask_ratio (`float`, *optional*, デフォルトは 0.5) : `mask_type` が `random` の場合に使用するマスキング比率。値が大きいほど、より多くのトークンがマスクされます。

num_forecast_mask_patches (`int` または `list`、*任意*、デフォルトは `[2]`) : 各バッチサンプルの末尾でマスクされるパッチの数です。整数の場合、バッチ内のすべてのサンプルで同じ数のパッチがマスクされます。リストの場合、バッチ内のサンプルは、リストで定義された数値に基づいてランダムにマスクされます。この引数は、予測事前学習でのみ使用されます。

mask_value (`float`、*任意*、デフォルトは`0.0`) : 使用するマスクの値。

masked_loss (`bool`、*任意*、デフォルトは`True`) : 事前学習の損失をマスクされた部分のみで計算するか、出力全体で計算するかを指定します。

channel_consistent_masking (`bool`、*任意*、デフォルトは`True`) : true の場合、タイムシリーズのすべてのチャンネルで同じマスキングが適用されます。それ以外の場合、チャンネルごとにマスキングの位置が異なります。

unmasked_channel_indices (`list`, *任意*) : 事前学習中にマスクされないチャネル。

head_dropout (`float`、*任意*、デフォルトは 0.2) : `PatchTSMixer`ヘッドのドロップアウト確率です。

distribution_output (`string`、*任意*、デフォルトは`"student_t"`) : lossが"nll"の場合のモデルの分布エミッションヘッドです。"student_t"、"normal"、"negative_binomial"のいずれかになります。

prediction_length (`int`, *optional*, デフォルトは 16) : 予測タスクにおいて予測するタイムステップ数。Forecast Horizon とも呼ばれます。

prediction_channel_indices (`list`, *任意*) : 予測対象のチャネルインデックスのリスト。None の場合、すべてのチャネルを予測します。ターゲットデータにはすべてのチャネルが含まれていることが期待されており、損失の計算前に予測とターゲットのチャネルを明示的にフィルタリングします。

num_targets (`int`、*optional*、デフォルトは 3) : 回帰タスクにおけるターゲットの数（回帰変数の次元数）。

output_range (`list`, *任意*) : 回帰タスクの出力範囲を制限するための範囲。デフォルトは None です。

head_aggregation (`str`、*任意*、デフォルトは`"max_pool"`) : 分類または回帰タスクで有効にする集約モード。許可される値は`None`、"use_last"、"max_pool"、"avg_pool"です。

これはPatchTSMixerModelの設定を保存するための設定クラスです。指定された引数に基づいてPatchtsmixerモデルをインスタンス化し、モデルのアーキテクチャを定義するために使用されます。デフォルト値で設定をインスタンス化すると、[ibm/patchtsmixer-etth1-pretrain](https://huggingface.co/ibm/patchtsmixer-etth1-pretrain)と類似した設定が得られます。

設定オブジェクトは [PreTrainedConfig](/docs/transformers/v5.23.0/ja/main_classes/configuration#transformers.PreTrainedConfig) を継承し、モデルの出力を制御するために使用できます。詳細については、[PreTrainedConfig](/docs/transformers/v5.23.0/ja/main_classes/configuration#transformers.PreTrainedConfig) のドキュメントを参照してください。

例:

```python
>>> from transformers import PatchTSMixerConfig, PatchTSMixerModel

>>> # Initializing a default PatchTSMixer configuration
>>> configuration = PatchTSMixerConfig()

>>> # Randomly initializing a model (with random weights) from the configuration
>>> model = PatchTSMixerModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config
```

## PatchTSMixerModel[[transformers.PatchTSMixerModel]]

#### transformers.PatchTSMixerModel[[transformers.PatchTSMixerModel]]

```python
transformers.PatchTSMixerModel(config: PatchTSMixerConfig, mask_input: bool = False)
```

[ソース](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/patchtsmixer/modeling_patchtsmixer.py#L1200)

**パラメータ:**

config ([PatchTSMixerConfig](/docs/transformers/v5.23.0/ja/model_doc/patchtsmixer#transformers.PatchTSMixerConfig)) : モデルのパラメータをすべて含むモデル設定クラスです。設定ファイルで初期化しても、モデルに関連する重みは読み込まれず、設定のみが読み込まれます。モデルの重みをロードするには、[from_pretrained()](/docs/transformers/v5.23.0/ja/main_classes/model#transformers.PreTrainedModel.from_pretrained) メソッドを確認してください。

mask_input (`bool`、*任意*、デフォルトは`False`) : `PatchTSMixerMasking`モジュールを使用して入力をマスクするかどうか。

時系列予測用の PatchTSMixer モデル。

このモデルは [PreTrainedModel](/docs/transformers/v5.23.0/ja/main_classes/model#transformers.PreTrainedModel) を継承しています。ライブラリがすべてのモデルに対して実装している汎用的なメソッド（ダウンロードや保存、入力埋め込みのリサイズ、ヘッドのプルーニングなど）については、スーパークラスのドキュメントを参照してください。

このモデルは、PyTorchの[torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module)のサブクラスでもあります。通常のPyTorch Moduleとして使用し、一般的な使用方法や動作に関する詳細については、PyTorchのドキュメントを参照してください。

#### forward[[transformers.PatchTSMixerModel.forward]]

```python
forward(past_values: Tensor, observed_mask: typing.Optional[torch.Tensor] = None, output_hidden_states: bool | None = None, **kwargs)
```

[ソース](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/patchtsmixer/modeling_patchtsmixer.py#L1226)

**パラメータ:**

past_values (`torch.Tensor`、shape `(batch_size, seq_length, num_input_channels)`) : 時系列のコンテキスト値。事前学習タスクでは、マスクされた部分を予測するための入力時系列を指します。予測タスクでは、履歴/過去の時系列値を指します。同様に、分類または回帰タスクでは、時系列の適切なコンテキスト値を指します。 単変量時系列の場合、`num_input_channels`次元は1である必要があります。多変量時系列の場合、1より大きくなります。

observed_mask (`torch.Tensor`、形状 `(batch_size, sequence_length, num_input_channels)`、*任意*) : `past_values` のどの値が観測され、どの値が欠損しているかを示すブールマスク。`[0, 1]` から選択されるマスクの値: - **観測**された値は 1、- **欠損**している値は 0（ゼロに置き換えられた NaN）。

output_hidden_states (`bool`, *任意*) : 全レイヤーの hidden states を返すかどうかを指定します。詳細は、返されるテンソルの `hidden_states` を参照してください。

**戻り値:** `PatchTSMixerModelOutput` または `tuple(torch.Tensor)`

`PatchTSMixerModelOutput`または`torch.Tensor`のタプル（`return_dict=False`が渡された場合、または`config.return_dict=False`の場合）。[PatchTSMixerConfig](/docs/transformers/v5.23.0/ja/model_doc/patchtsmixer#transformers.PatchTSMixerConfig)および入力に応じて、さまざまな要素で構成されます。

[PatchTSMixerModel](/docs/transformers/v5.23.0/ja/model_doc/patchtsmixer#transformers.PatchTSMixerModel)のforwardメソッドは、`__call__`特殊メソッドをオーバーライドします。

この関数内でフォワードパスの手順を定義する必要がありますが、その後、この関数ではなく`Module`インスタンスを呼び出すべきです。前者は前処理と後処理の実行を適切に処理するのに対し、後者はそれらを無視してしまいます。

- **last_hidden_state** (`torch.Tensor`、形状 `(batch_size, num_channels, num_patches, d_model)`) -- モデルの最終層の出力における隠れ状態。
- **hidden_states** (`tuple(torch.Tensor)`, *オプション*) -- 各層の出力におけるモデルの隠れ状態。
- **patch_input** (`torch.Tensor`、形状 `(batch_size, num_channels, num_patches, patch_length)`) -- モデルへのパッチ化された入力データ。
- **mask** (`torch.Tensor`、形状 `(batch_size, num_channels, num_patches)`、*任意*) -- マスクされたパッチが True、それ以外が False である Bool Tensor。
- **loc** (`torch.Tensor`、形状 `(batch_size, 1, num_channels)`、*任意*) -- 各チャネルごとのコンテキストウィンドウの平均値を指定します。revin が有効な場合、モデル外部での revin によるデノルマイズに使用されます。
- **scale** (`torch.Tensor`、形状 `(batch_size, 1, num_channels)`、*任意*) -- 各チャネルごとのコンテキストウィンドウの標準偏差を指定します。revin が有効な場合、モデル外部での revin による非正規化に使用されます。

## PatchTSMixerForPrediction[[transformers.PatchTSMixerForPrediction]]

#### transformers.PatchTSMixerForPrediction[[transformers.PatchTSMixerForPrediction]]

```python
transformers.PatchTSMixerForPrediction(config: PatchTSMixerConfig)
```

[ソース](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/patchtsmixer/modeling_patchtsmixer.py#L1481)

**パラメータ:**

config (`PatchTSMixerConfig`) : 設定。

**戻り値:**

`None`.

予測アプリケーション向けの`PatchTSMixer`。

#### forward[[transformers.PatchTSMixerForPrediction.forward]]

```python
forward(past_values: Tensor, observed_mask: typing.Optional[torch.Tensor] = None, future_values: typing.Optional[torch.Tensor] = None, output_hidden_states: bool | None = None, return_loss: bool = True, **kwargs)
```

[ソース](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/patchtsmixer/modeling_patchtsmixer.py#L1523)

**パラメータ:**

past_values (`torch.Tensor`、shape `(batch_size, seq_length, num_input_channels)`) : 時系列のコンテキスト値。事前学習タスクでは、マスクされた部分を予測するための入力時系列を指します。予測タスクでは、履歴/過去の時系列値を指します。同様に、分類または回帰タスクでは、時系列の適切なコンテキスト値を指します。 単変量時系列の場合、`num_input_channels`次元は1である必要があります。多変量時系列の場合、1より大きくなります。

observed_mask (`torch.Tensor`、形状 `(batch_size, sequence_length, num_input_channels)`、*任意*) : `past_values` のどの値が観測され、どの値が欠損しているかを示すブールマスク。`[0, 1]` から選択されるマスクの値: - **観測**された値は 1、- **欠損**している値は 0（ゼロに置き換えられた NaN）。

future_values (`torch.Tensor`、予測タスクでは `(batch_size, target_len, num_input_channels)`、回帰タスクでは `(batch_size, num_targets)`、分類タスクでは `(batch_size,)`、*任意*): 時系列のターゲット値であり、モデルのラベルとして機能します。`future_values` は、`past_values` が与えられた際に Transformer が出力を学習するために、トレーニング中に必要となるものです。なお、これは事前学習タスクでは必須ではありません。予測タスクの場合、形状は `(batch_size, target_len, num_input_channels)` となります。`prediction_channel_indices` パラメータにインデックスを設定して特定のチャネルのみを予測したい場合でも、予測とターゲットの両方に対してチャネルのフィルタリングは損失計算の前に手動で適用されるため、すべてのチャネルを含むターゲットデータを渡してください。

output_hidden_states (`bool`, *任意*) : 全レイヤーの hidden states を返すかどうかを指定します。詳細は、返されるテンソルの `hidden_states` を参照してください。

return_loss (`bool`,  *任意*) : `forward` 呼び出しで損失を返すかどうか。

**戻り値:** `PatchTSMixerForPredictionOutput` または `tuple(torch.Tensor)`

`PatchTSMixerForPredictionOutput`、または`torch.Tensor`のタプル（`return_dict=False`が渡された場合、または`config.return_dict=False`の場合）。[PatchTSMixerConfig](/docs/transformers/v5.23.0/ja/model_doc/patchtsmixer#transformers.PatchTSMixerConfig)および入力に応じて、さまざまな要素で構成されます。

[PatchTSMixerForPrediction](/docs/transformers/v5.23.0/ja/model_doc/patchtsmixer#transformers.PatchTSMixerForPrediction) の forward メソッドは、`__call__` という特殊メソッドをオーバーライドします。

この関数内でフォワードパスの手順を定義する必要がありますが、その後、この関数ではなく`Module`インスタンスを呼び出すべきです。前者は前処理と後処理の実行を適切に処理するのに対し、後者はそれらを無視してしまいます。

- **loss** (`*optional*`, `y` が提供された場合に返されます, `torch.Tensor`、形状 `()`) -- 総損失。
- **prediction_outputs** (`torch.Tensor`、形状 `(batch_size, prediction_length, num_input_channels)`) -- 予測ヘッドからの予測出力。
- **last_hidden_state** (`torch.Tensor`、形状 `(batch_size, num_input_channels, num_patches, d_model)`) -- ヘッドを通過する前のバックボーン埋め込みです。
- **hidden_states** (`tuple(torch.Tensor)`, *オプション*) -- 各層の出力におけるモデルの隠れ状態と、任意の初期埋め込み出力。
- **loc** (`torch.Tensor`、*optional*、形状 `(batch_size, 1, num_input_channels)`) -- 入力平均
- **scale** (`torch.Tensor`、*optional*、形状 `(batch_size, 1, num_input_channels)`) -- 入力標準偏差

## PatchTSMixerForTimeSeriesClassification[[transformers.PatchTSMixerForTimeSeriesClassification]]

#### transformers.PatchTSMixerForTimeSeriesClassification[[transformers.PatchTSMixerForTimeSeriesClassification]]

```python
transformers.PatchTSMixerForTimeSeriesClassification(config: PatchTSMixerConfig)
```

[ソース](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/patchtsmixer/modeling_patchtsmixer.py#L1707)

**パラメータ:**

config (`PatchTSMixerConfig`) : 設定。

**戻り値:**

`None`.

分類アプリケーション向けの`PatchTSMixer`。

#### forward[[transformers.PatchTSMixerForTimeSeriesClassification.forward]]

```python
forward(past_values: Tensor, target_values: typing.Optional[torch.Tensor] = None, output_hidden_states: bool | None = None, return_loss: bool = True, **kwargs)
```

[ソース](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/patchtsmixer/modeling_patchtsmixer.py#L1734)

**パラメータ:**

past_values (`torch.Tensor`、shape `(batch_size, seq_length, num_input_channels)`) : 時系列のコンテキスト値。事前学習タスクでは、マスクされた部分を予測するための入力時系列を指します。予測タスクでは、履歴/過去の時系列値を指します。同様に、分類または回帰タスクでは、時系列の適切なコンテキスト値を指します。 単変量時系列の場合、`num_input_channels`次元は1である必要があります。多変量時系列の場合、1より大きくなります。

target_values (`torch.Tensor`、予測タスクでは `(batch_size, target_len, num_input_channels)`、回帰タスクでは `(batch_size, num_targets)`、分類タスクでは `(batch_size,)`、*任意*): 時系列のターゲット値。モデルのラベルとして機能します。`target_values` は、`past_values` が与えられた際に Transformer が出力を学習するために、トレーニング中に必要となるものです。なお、事前学習タスクではこれは必須ではありません。予測タスクの場合、形状は `(batch_size, target_len, num_input_channels)` となります。`prediction_channel_indices` パラメータにインデックスを設定して特定のチャネルのみを予測したい場合でも、予測とターゲットの両方に対してチャネルのフィルタリングは損失計算の前に手動で適用されるため、すべてのチャネルを含むターゲットデータを渡してください。分類タスクの場合、形状は `(batch_size,)` です。回帰タスクの場合、形状は `(batch_size, num_targets)` です。

output_hidden_states (`bool`, *任意*) : 全レイヤーの hidden states を返すかどうかを指定します。詳細は、返されるテンソルの `hidden_states` を参照してください。

return_loss (`bool`, *任意*) : `forward` 呼び出しで損失を返すかどうか。

**戻り値:** `PatchTSMixerForTimeSeriesClassificationOutput` または `tuple(torch.Tensor)`

`PatchTSMixerForTimeSeriesClassificationOutput`、または`torch.Tensor`のタプル（`return_dict=False`が渡された場合、または`config.return_dict=False`の場合）。構成（[PatchTSMixerConfig](/docs/transformers/v5.23.0/ja/model_doc/patchtsmixer#transformers.PatchTSMixerConfig)）や入力に応じて、さまざまな要素で構成されます。

[PatchTSMixerForTimeSeriesClassification](/docs/transformers/v5.23.0/ja/model_doc/patchtsmixer#transformers.PatchTSMixerForTimeSeriesClassification)のforwardメソッドは、`__call__`特殊メソッドをオーバーライドします。

この関数内でフォワードパスの手順を定義する必要がありますが、その後、この関数ではなく`Module`インスタンスを呼び出すべきです。前者は前処理と後処理の実行を適切に処理するのに対し、後者はそれらを無視してしまいます。

- **loss** (`*optional*`, `y` が提供された場合に返されます, `torch.Tensor`、形状 `()`) -- 総損失。
- **prediction_outputs** (`torch.Tensor`、形状 `(batch_size, num_labels)`) -- 分類ヘッドからの予測出力。
- **last_hidden_state** (`torch.Tensor`、形状 `(batch_size, num_input_channels, num_patches, d_model)`) -- ヘッドを通過する前のバックボーン埋め込みです。
- **hidden_states** (`tuple(torch.Tensor)`, *オプション*) -- 各層の出力におけるモデルの隠れ状態と、任意の初期埋め込み出力。

## PatchTSMixerForPretraining[[transformers.PatchTSMixerForPretraining]]

#### transformers.PatchTSMixerForPretraining[[transformers.PatchTSMixerForPretraining]]

```python
transformers.PatchTSMixerForPretraining(config: PatchTSMixerConfig)
```

[ソース](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/patchtsmixer/modeling_patchtsmixer.py#L1313)

**パラメータ:**

config ([PatchTSMixerConfig](/docs/transformers/v5.23.0/ja/model_doc/patchtsmixer#transformers.PatchTSMixerConfig)) : モデルのパラメータをすべて含むモデル設定クラスです。設定ファイルで初期化しても、モデルに関連する重みは読み込まれず、設定のみが読み込まれます。モデルの重みをロードするには、[from_pretrained()](/docs/transformers/v5.23.0/ja/main_classes/model#transformers.PreTrainedModel.from_pretrained) メソッドを確認してください。

`PatchTSMixer`によるマスク事前学習。

このモデルは [PreTrainedModel](/docs/transformers/v5.23.0/ja/main_classes/model#transformers.PreTrainedModel) を継承しています。ライブラリがすべてのモデルに対して実装している汎用的なメソッド（ダウンロードや保存、入力埋め込みのリサイズ、ヘッドのプルーニングなど）については、スーパークラスのドキュメントを参照してください。

このモデルは、PyTorchの[torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module)のサブクラスでもあります。通常のPyTorch Moduleとして使用し、一般的な使用方法や動作に関する詳細については、PyTorchのドキュメントを参照してください。

#### forward[[transformers.PatchTSMixerForPretraining.forward]]

```python
forward(past_values: Tensor, observed_mask: typing.Optional[torch.Tensor] = None, output_hidden_states: bool | None = None, return_loss: bool = True, **kwargs)
```

[ソース](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/patchtsmixer/modeling_patchtsmixer.py#L1323)

**パラメータ:**

past_values (`torch.Tensor`、shape `(batch_size, seq_length, num_input_channels)`) : 時系列のコンテキスト値。事前学習タスクでは、マスクされた部分を予測するための入力時系列を指します。予測タスクでは、履歴/過去の時系列値を指します。同様に、分類または回帰タスクでは、時系列の適切なコンテキスト値を指します。 単変量時系列の場合、`num_input_channels`次元は1である必要があります。多変量時系列の場合、1より大きくなります。

observed_mask (`torch.Tensor`、形状 `(batch_size, sequence_length, num_input_channels)`、*任意*) : `past_values` のどの値が観測され、どの値が欠損しているかを示すブールマスク。`[0, 1]` から選択されるマスクの値: - **観測**された値は 1、- **欠損**している値は 0（ゼロに置き換えられた NaN）。

output_hidden_states (`bool`, *任意*) : 全レイヤーの hidden states を返すかどうかを指定します。詳細は、返されるテンソルの `hidden_states` を参照してください。

return_loss (`bool`,  *任意*) : `forward` 呼び出しで損失を返すかどうか。

**戻り値:** `PatchTSMixerForPreTrainingOutput` または `tuple(torch.Tensor)`

`PatchTSMixerForPreTrainingOutput`または`torch.Tensor`のタプル（`return_dict=False`が渡された場合、または`config.return_dict=False`の場合）。設定（[PatchTSMixerConfig](/docs/transformers/v5.23.0/ja/model_doc/patchtsmixer#transformers.PatchTSMixerConfig)）および入力に応じて、さまざまな要素で構成されます。

[PatchTSMixerForPretraining](/docs/transformers/v5.23.0/ja/model_doc/patchtsmixer#transformers.PatchTSMixerForPretraining) の forward メソッドは、`__call__` という特殊メソッドをオーバーライドします。

この関数内でフォワードパスの手順を定義する必要がありますが、その後、この関数ではなく`Module`インスタンスを呼び出すべきです。前者は前処理と後処理の実行を適切に処理するのに対し、後者はそれらを無視してしまいます。

- **loss** (`*optional*`、`y` が提供された場合に返されます、`torch.Tensor`、形状 `()`) -- 総損失
- **prediction_outputs** (`torch.Tensor`、形状 `(batch_size, num_input_channels, num_patches, patch_length)`) -- pretrain headからの予測出力。
- **last_hidden_state** (`torch.Tensor`、形状 `(batch_size, num_input_channels, num_patches, d_model)`) -- ヘッドを通過する前のバックボーン埋め込みです。
- **hidden_states** (`tuple(torch.Tensor)`, *オプション*) -- 各層の出力におけるモデルの隠れ状態。

## PatchTSMixerForRegression[[transformers.PatchTSMixerForRegression]]

#### transformers.PatchTSMixerForRegression[[transformers.PatchTSMixerForRegression]]

```python
transformers.PatchTSMixerForRegression(config: PatchTSMixerConfig)
```

[ソース](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/patchtsmixer/modeling_patchtsmixer.py#L1875)

**パラメータ:**

config ([PatchTSMixerConfig](/docs/transformers/v5.23.0/ja/model_doc/patchtsmixer#transformers.PatchTSMixerConfig)) : モデルのパラメータをすべて含むモデル設定クラスです。設定ファイルで初期化しても、モデルに関連する重みは読み込まれず、設定のみが読み込まれます。モデルの重みをロードするには、[from_pretrained()](/docs/transformers/v5.23.0/ja/main_classes/model#transformers.PreTrainedModel.from_pretrained) メソッドを確認してください。

回帰アプリケーション向けの`PatchTSMixer`。

このモデルは [PreTrainedModel](/docs/transformers/v5.23.0/ja/main_classes/model#transformers.PreTrainedModel) を継承しています。ライブラリがすべてのモデルに対して実装している汎用的なメソッド（ダウンロードや保存、入力埋め込みのリサイズ、ヘッドのプルーニングなど）については、スーパークラスのドキュメントを参照してください。

このモデルは、PyTorchの[torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module)のサブクラスでもあります。通常のPyTorch Moduleとして使用し、一般的な使用方法や動作に関する詳細については、PyTorchのドキュメントを参照してください。

#### forward[[transformers.PatchTSMixerForRegression.forward]]

```python
forward(past_values: Tensor, target_values: typing.Optional[torch.Tensor] = None, output_hidden_states: bool | None = None, return_loss: bool = True, **kwargs)
```

[ソース](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/patchtsmixer/modeling_patchtsmixer.py#L1913)

**パラメータ:**

past_values (`torch.Tensor`、shape `(batch_size, seq_length, num_input_channels)`) : 時系列のコンテキスト値。事前学習タスクでは、マスクされた部分を予測するための入力時系列を指します。予測タスクでは、履歴/過去の時系列値を指します。同様に、分類または回帰タスクでは、時系列の適切なコンテキスト値を指します。 単変量時系列の場合、`num_input_channels`次元は1である必要があります。多変量時系列の場合、1より大きくなります。

target_values (`torch.Tensor`、予測タスクでは `(batch_size, target_len, num_input_channels)`、回帰タスクでは `(batch_size, num_targets)`、分類タスクでは `(batch_size,)`、*任意*): 時系列のターゲット値。モデルのラベルとして機能します。`target_values` は、`past_values` が与えられた際に Transformer が出力を学習するために、トレーニング中に必要となるものです。なお、事前学習タスクではこれは必須ではありません。予測タスクの場合、形状は `(batch_size, target_len, num_input_channels)` となります。`prediction_channel_indices` パラメータにインデックスを設定して特定のチャネルのみを予測したい場合でも、予測とターゲットの両方に対してチャネルのフィルタリングは損失計算の前に手動で適用されるため、すべてのチャネルを含むターゲットデータを渡してください。分類タスクの場合、形状は `(batch_size,)` です。回帰タスクの場合、形状は `(batch_size, num_targets)` です。

output_hidden_states (`bool`, *任意*) : 全レイヤーの hidden states を返すかどうかを指定します。詳細は、返されるテンソルの `hidden_states` を参照してください。

return_loss (`bool`, *任意*) : `forward` 呼び出しで損失を返すかどうか。

**戻り値:** `PatchTSMixerForRegressionOutput` または `tuple(torch.Tensor)`

`PatchTSMixerForRegressionOutput`、または`torch.Tensor`のタプル（`return_dict=False`が渡された場合、または`config.return_dict=False`の場合）。設定（[PatchTSMixerConfig](/docs/transformers/v5.23.0/ja/model_doc/patchtsmixer#transformers.PatchTSMixerConfig)）と入力に応じて、さまざまな要素で構成されます。

[PatchTSMixerForRegression](/docs/transformers/v5.23.0/ja/model_doc/patchtsmixer#transformers.PatchTSMixerForRegression)のforwardメソッドは、`__call__`特殊メソッドをオーバーライドします。

この関数内でフォワードパスの手順を定義する必要がありますが、その後、この関数ではなく`Module`インスタンスを呼び出すべきです。前者は前処理と後処理の実行を適切に処理するのに対し、後者はそれらを無視してしまいます。

- **loss** (`*optional*`, `y` が提供された場合に返されます, `torch.Tensor`、形状 `()`) -- 総損失。
- **regression_outputs** (`torch.Tensor`、形状 `(batch_size, num_targets)`) -- 回帰ヘッドからの予測出力。
- **last_hidden_state** (`torch.Tensor`、形状 `(batch_size, num_input_channels, num_patches, d_model)`) -- ヘッドを通過する前のバックボーン埋め込みです。
- **hidden_states** (`tuple(torch.Tensor)`, *オプション*) -- 各層の出力におけるモデルの隠れ状態と、任意の初期埋め込み出力。

