# PatchTST

## Обзор

Модель PatchTST была предложена в статье [A Time Series is Worth 64 Words: Long-term Forecasting with Transformers](https://huggingface.co/papers/2211.14730) авторами Yuqi Nie, Nam H. Nguyen, Phanwadee Sinthong и Jayant Kalagnanam.

На высоком уровне модель векторизирует временной ряд в патчи заданного размера и кодирует полученную последовательность векторов с помощью Transformer, который затем выдает прогноз на заданную длину через соответствующий head. Модель иллюстрируется на следующей схеме:

![model](https://github.com/namctin/transformers/assets/8100/150af169-29de-419a-8d98-eb78251c21fa)

Аннотация из статьи следующая:

*Мы предлагаем эффективный дизайн моделей на основе Transformer для прогнозирования многомерных временных рядов и обучения представлений с самообучением. Он основан на двух ключевых компонентах: (i) сегментация временных рядов на подряды-патчи, которые используются в качестве входных токенов для Transformer; (ii) независимость каналов, при которой каждый канал содержит одномерный временной ряд, а все ряды используют общие веса эмбеддинга и Transformer. Дизайн с патчами естественным образом обеспечивает тройную выгоду: локальная семантическая информация сохраняется в эмбеддинге; вычислительные затраты и потребление памяти для карт внимания квадратично снижаются при том же окне наблюдения; и модель может учитывать более длинную историю. Наш независимый от каналов патч-Transformer для временных рядов (PatchTST) значительно повышает точность долгосрочного прогноза по сравнению с лучшими моделями на основе Transformer. Мы также применяем нашу модель к задачам предобучения с самообучением и получаем отличные результаты дообучения, превосходящие результаты обучения с учителем на больших наборах данных. Перенос маскированных представлений, полученных при предобучении на одном наборе данных, на другие также обеспечивает точность прогноза, сопоставимую с лучшими результатами.*

Эта модель была предоставлена [namctin](https://huggingface.co/namctin), [gsinthong](https://huggingface.co/gsinthong), [diepi](https://huggingface.co/diepi), [vijaye12](https://huggingface.co/vijaye12), [wmgifford](https://huggingface.co/wmgifford) и [kashif](https://huggingface.co/kashif). Исходный код можно найти [здесь](https://github.com/yuqinie98/PatchTST).

## Советы по использованию

Модель также можно использовать для классификации временных рядов и регрессии временных рядов. См. соответствующие классы [PatchTSTForClassification](/docs/transformers/v5.23.0/ru/model_doc/patchtst#transformers.PatchTSTForClassification) и [PatchTSTForRegression](/docs/transformers/v5.23.0/ru/model_doc/patchtst#transformers.PatchTSTForRegression).

## Ресурсы

- Подробное объяснение PatchTST в формате блога можно найти [здесь](https://huggingface.co/blog/patchtst). Блог также можно открыть в Google Colab.

## PatchTSTConfig[[transformers.PatchTSTConfig]]

#### transformers.PatchTSTConfig[[transformers.PatchTSTConfig]]

```python
transformers.PatchTSTConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, num_input_channels: int = 1, context_length: int = 32, distribution_output: str = 'student_t', loss: str | None = 'mse', patch_length: int = 1, patch_stride: int = 1, num_hidden_layers: int = 3, d_model: int = 128, num_attention_heads: int = 4, share_embedding: bool = True, channel_attention: bool = False, ffn_dim: int = 512, norm_type: str = 'batchnorm', norm_eps: float = 1e-05, attention_dropout: float | int = 0.0, positional_dropout: float | int = 0.0, path_dropout: float | int = 0.0, ff_dropout: float | int = 0.0, bias: bool = True, activation_function: str = 'gelu', pre_norm: bool = True, positional_encoding_type: str = 'sincos', use_cls_token: bool = False, init_std: float = 0.02, share_projection: bool = True, scaling: str | bool | None = 'std', do_mask_input: bool | None = None, mask_type: str = 'random', random_mask_ratio: float = 0.5, num_forecast_mask_patches: list[int] | tuple[int, ...] | int | None = (2,), channel_consistent_masking: bool | None = False, unmasked_channel_indices: list[int] | None = None, mask_value: int = 0, pooling_type: str | None = 'mean', head_dropout: float | int = 0.0, prediction_length: int = 24, num_targets: int = 1, output_range: list | None = None, num_parallel_samples: int = 100)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/patchtst/configuration_patchtst.py#L24)

**Параметры:**

num_input_channels (`int`, *необязательный*, по умолчанию `1`) : Количество входных каналов.

context_length (`int`, *необязательный*, по умолчанию 32) : Длина контекста входной последовательности.

distribution_output (`str`, *необязательный*, по умолчанию `"student_t"`) : Голова распределения эмиссии для модели, когда loss равен "nll". Может принимать значения "student_t", "normal" или "negative_binomial".

loss (`str`, *необязательный*, по умолчанию `"mse"`) : Функция потерь для модели, соответствующая голове `distribution_output`. Для параметрических распределений это отрицательная логарифмическая правдоподобность ("nll"), а для точечных оценок — средняя квадратичная ошибка "mse".

patch_length (`int`, *optional*, по умолчанию 1) : Определяет длину патча в процессе патчификации.

patch_stride (`int`, *optional*, по умолчанию 1) : Определяет шаг процесса патчификации.

num_hidden_layers (`int`, *необязательный*, по умолчанию `3`) : Количество скрытых слоев в декодере Transformer.

d_model (`int`, *необязательный*, по умолчанию `128`) : Размер слоев кодировщика и пулера.

num_attention_heads (`int`, *optional*, по умолчанию 4) : Количество головок внимания для каждого слоя внимания в кодере Transformer.

share_embedding (`bool`, *необязательный*, по умолчанию `True`) : Разделение входного эмбеддинга между всеми каналами.

channel_attention (`bool`, *необязательный*, по умолчанию `False`) : Включает блок внимания по каналам в Transformer, позволяя каналам обращать внимание друг на друга.

ffn_dim (`int`, *необязательный*, по умолчанию 512) : Размерность «промежуточного» (часто называемого feed-forward) слоя в кодере Transformer.

norm_type (`str` , *необязательный*, по умолчанию `"batchnorm"`) : Нормализация на каждом слое Transformer. Может быть `"batchnorm"` или `"layernorm"`.

norm_eps (`float`, *optional*, по умолчанию 1e-05) : Значение, добавляемое к знаменателю для обеспечения численной стабильности нормализации.

attention_dropout (`Union[float, int]`, *необязательный*, по умолчанию `0.0`) : Коэффициент dropout для вероятностей внимания.

positional_dropout (`float`, *необязательный*, по умолчанию 0.0) : Вероятность dropout в слое позиционного эмбеддинга.

path_dropout (`float`, *необязательный*, по умолчанию 0.0) : Путь dropout в остаточном блоке.

ff_dropout (`float`, *optional*, по умолчанию 0.0) : Вероятность dropout, используемая между двумя слоями полносвязных сетей.

bias (`bool`, *необязательный*, по умолчанию `True`) : Добавлять ли смещение в полносвязных сетях.

activation_function (`str`, *необязательный*, по умолчанию `"gelu"`) : Нелинейная функция активации (строка) в Transformer. Поддерживаются `"gelu"` и `"relu"`.

pre_norm (`bool`, *необязательный*, по умолчанию `True`) : Нормализация применяется перед self-attention, если pre_norm установлен в `True`. В противном случае нормализация применяется после residual block.

positional_encoding_type (`str`, *необязательный*, по умолчанию `"sincos"`) : Позиционные кодирования. Поддерживаются варианты `"random"` и `"sincos"`.

use_cls_token (`bool`, *необязательный*, по умолчанию `False`) : Используется ли токен cls.

init_std (`float`, *optional*, по умолчанию 0.02) : Стандартное отклонение распределения обрезанного нормального инициализации весов.

share_projection (`bool`, *необязательный*, по умолчанию `True`) : Использование общего проекционного слоя для разных каналов в прогнозном модуле.

scaling (`Union`, *необязательный*, по умолчанию `"std"`) : Указывает, следует ли масштабировать входные целевые значения с помощью масштабирующего типа "mean", "std" или без масштабирования, если `None`. Если `True`, масштабирующий тип устанавливается в "mean".

do_mask_input (`bool`, *необязательный*) : Применять маскирование во время предварительного обучения.

mask_type (`str`, *необязательный*, по умолчанию `"random"`) : Тип маскирования. В настоящее время поддерживаются только `"random"` и `"forecast"`.

random_mask_ratio (`float`, *optional*, по умолчанию 0.5) : Коэффициент маскирования, применяемый для маскирования входных данных во время случайной предварительной подготовки.

num_forecast_mask_patches (`int` или `list`, *необязательный*, по умолчанию `[2]`) : Количество патчей, которые будут замаскированы в конце каждого образца батча. Если это целое число, все образцы в батче будут иметь одинаковое количество замаскированных патчей. Если это список, образцы в батче будут случайно маскироваться в соответствии с числами, заданными в списке. Этот аргумент используется только для предварительного обучения прогнозированию.

channel_consistent_masking (`bool`, *необязательный*, по умолчанию `False`) : Если маскировка с согласованием по каналам включена, все каналы будут иметь одинаковый шаблон маскировки.

unmasked_channel_indices (`list`, *optional*) : Индексы каналов, которые не маскируются во время предварительного обучения. Значения в списке — числа от 1 до `num_input_channels`

mask_value (`int`, *необязательный*, по умолчанию 0) : Значения в замаскированных патчах будут заполнены значением `mask_value`.

pooling_type (`str`, *необязательный*, по умолчанию `"mean"`) : Пулинг эмбеддинга. Поддерживаются `"mean"`, `"max"` и `None`.

head_dropout (`float`, *необязательный*, по умолчанию 0.0) : Вероятность dropout для head.

prediction_length (`int`, *optional*, по умолчанию 24) : Горизонт прогноза, который будет выведен моделью.

num_targets (`int`, *optional*, по умолчанию 1) : Количество целевых переменных для задач регрессии и классификации. Для классификации это количество классов.

output_range (`list`, *необязательный*) : Диапазон выходных значений для задачи регрессии. Диапазон выходных значений можно задать, чтобы заставить модель выдавать значения в пределах этого диапазона.

num_parallel_samples (`int`, *optional*, по умолчанию 100) : Количество образцов, генерируемых параллельно для вероятностного предсказания.

Это класс конфигурации для хранения настроек модели PatchTSTModel. Он используется для создания модели Patchtst в соответствии с указанными аргументами, определяя архитектуру модели. Создание конфигурации с параметрами по умолчанию даст конфигурацию, аналогичную конфигурации модели [ibm-granite/granite-timeseries-patchtst](https://huggingface.co/ibm-granite/granite-timeseries-patchtst)

Объекты конфигурации наследуются от [PreTrainedConfig](/docs/transformers/v5.23.0/ru/main_classes/configuration#transformers.PreTrainedConfig) и могут использоваться для управления выводами модели. Подробнее см. в документации [PreTrainedConfig](/docs/transformers/v5.23.0/ru/main_classes/configuration#transformers.PreTrainedConfig).

```python
>>> from transformers import PatchTSTConfig, PatchTSTModel

>>> # Initializing an PatchTST configuration with 12 time steps for prediction
>>> configuration = PatchTSTConfig(prediction_length=12)

>>> # Randomly initializing a model (with random weights) from the configuration
>>> model = PatchTSTModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config
```

## PatchTSTModel[[transformers.PatchTSTModel]]

#### transformers.PatchTSTModel[[transformers.PatchTSTModel]]

```python
transformers.PatchTSTModel(config: PatchTSTConfig)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/patchtst/modeling_patchtst.py#L1066)

**Параметры:**

config ([PatchTSTConfig](/docs/transformers/v5.23.0/ru/model_doc/patchtst#transformers.PatchTSTConfig)) : Класс конфигурации модели со всеми параметрами модели. Инициализация с файлом конфигурации не загружает веса, связанные с моделью, только конфигурацию. Используйте метод [from_pretrained()](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.PreTrainedModel.from_pretrained) для загрузки весов модели.

Модель Patchtst без дополнительных слоёв, выводящая необработанные скрытые состояния.

Эта модель наследуется от [PreTrainedModel](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.PreTrainedModel). Общие методы, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка головок и т. д.), описаны в документации родительского класса.

Эта модель также является подклассом [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением.

#### forward[[transformers.PatchTSTModel.forward]]

```python
forward(past_values: Tensor, past_observed_mask: typing.Optional[torch.Tensor] = None, future_values: typing.Optional[torch.Tensor] = None, output_hidden_states: bool | None = None, output_attentions: bool | None = None, return_dict: bool | None = None, **kwargs)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/patchtst/modeling_patchtst.py#L1085)

**Параметры:**

past_values (`torch.Tensor` формы `(bs, sequence_length, num_input_channels)`, *обязательный*) : Входная последовательность для модели

past_observed_mask (`torch.BoolTensor` формы `(batch_size, sequence_length, num_input_channels)`, *необязательный*) : Булева маска, указывающая, какие значения `past_values` были наблюдаемы, а какие отсутствуют. Значения маски выбираются из `[0, 1]`:  - 1 для значений, которые **наблюдаемы**, - 0 для значений, которые **отсутствуют** (т. е. NaN, заменённые нулями).

future_values (`torch.BoolTensor` формы `(batch_size, prediction_length, num_input_channels)`, *необязательный*) : Будущие целевые значения, связанные с `past_values`

output_hidden_states (`bool`, *необязательный*) : Возвращать ли скрытые состояния всех слоёв

output_attentions (`bool`, *необязательный*) : Возвращать ли выходные значения внимания для всех слоёв

return_dict (`bool`, *необязательный*) : Нужно ли возвращать `ModelOutput` вместо обычного кортежа.

**Возвращаемое значение:**

`PatchTSTModelOutput` или кортеж `torch.Tensor` (если `return_dict`=False или `config.return_dict`=False)

Примеры:

```python
>>> from huggingface_hub import hf_hub_download
>>> import torch
>>> from transformers import PatchTSTModel

>>> file = hf_hub_download(
...     repo_id="hf-internal-testing/etth1-hourly-batch", filename="train-batch.pt", repo_type="dataset"
... )
>>> batch = torch.load(file)

>>> model = PatchTSTModel.from_pretrained("namctin/patchtst_etth1_pretrain")

>>> # during training, one provides both past and future values
>>> outputs = model(
...     past_values=batch["past_values"],
...     future_values=batch["future_values"],
... )

>>> last_hidden_state = outputs.last_hidden_state
```

## PatchTSTForPrediction[[transformers.PatchTSTForPrediction]]

#### transformers.PatchTSTForPrediction[[transformers.PatchTSTForPrediction]]

```python
transformers.PatchTSTForPrediction(config: PatchTSTConfig)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/patchtst/modeling_patchtst.py#L1560)

**Параметры:**

config ([PatchTSTConfig](/docs/transformers/v5.23.0/ru/model_doc/patchtst#transformers.PatchTSTConfig)) : Класс конфигурации модели со всеми параметрами модели. Инициализация с файлом конфигурации не загружает веса, связанные с моделью, только конфигурацию. Используйте метод [from_pretrained()](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.PreTrainedModel.from_pretrained) для загрузки весов модели.

Модель прогнозирования PatchTST.

Эта модель наследуется от [PreTrainedModel](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.PreTrainedModel). Общие методы, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка головок и т. д.), описаны в документации родительского класса.

Эта модель также является подклассом [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением.

#### forward[[transformers.PatchTSTForPrediction.forward]]

```python
forward(past_values: Tensor, past_observed_mask: typing.Optional[torch.Tensor] = None, future_values: typing.Optional[torch.Tensor] = None, output_hidden_states: bool | None = None, output_attentions: bool | None = None, return_dict: bool | None = None, **kwargs)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/patchtst/modeling_patchtst.py#L1590)

**Параметры:**

past_values (`torch.Tensor` формы `(bs, sequence_length, num_input_channels)`, *обязательный*) : Входная последовательность для модели

past_observed_mask (`torch.BoolTensor` формы `(batch_size, sequence_length, num_input_channels)`, *необязательный*) : Булева маска, указывающая, какие значения `past_values` были наблюдаемы, а какие отсутствуют. Значения маски выбираются из `[0, 1]`:  - 1 для значений, которые **наблюдаемы**, - 0 для значений, которые **отсутствуют** (т. е. NaN, заменённые нулями).

future_values (`torch.Tensor` формы `(bs, forecast_len, num_input_channels)`, *необязательный*) : Будущие целевые значения, связанные с `past_values`

output_hidden_states (`bool`, *необязательный*) : Возвращать ли скрытые состояния всех слоёв

output_attentions (`bool`, *необязательный*) : Возвращать ли выходные значения внимания для всех слоёв

return_dict (`bool`, *необязательный*) : Нужно ли возвращать `ModelOutput` вместо обычного кортежа.

**Возвращаемое значение:**

`PatchTSTForPredictionOutput` или кортеж `torch.Tensor` (если `return_dict`=False или `config.return_dict`=False)

Примеры:

```python
>>> from huggingface_hub import hf_hub_download
>>> import torch
>>> from transformers import PatchTSTConfig, PatchTSTForPrediction

>>> file = hf_hub_download(
...     repo_id="hf-internal-testing/etth1-hourly-batch", filename="train-batch.pt", repo_type="dataset"
... )
>>> batch = torch.load(file)

>>> # Prediction task with 7 input channels and prediction length is 96
>>> model = PatchTSTForPrediction.from_pretrained("namctin/patchtst_etth1_forecast")

>>> # during training, one provides both past and future values
>>> outputs = model(
...     past_values=batch["past_values"],
...     future_values=batch["future_values"],
... )

>>> loss = outputs.loss
>>> loss.backward()

>>> # during inference, one only provides past values, the model outputs future values
>>> outputs = model(past_values=batch["past_values"])
>>> prediction_outputs = outputs.prediction_outputs
```

## PatchTSTForClassification[[transformers.PatchTSTForClassification]]

#### transformers.PatchTSTForClassification[[transformers.PatchTSTForClassification]]

```python
transformers.PatchTSTForClassification(config: PatchTSTConfig)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/patchtst/modeling_patchtst.py#L1366)

**Параметры:**

config ([PatchTSTConfig](/docs/transformers/v5.23.0/ru/model_doc/patchtst#transformers.PatchTSTConfig)) : Класс конфигурации модели со всеми параметрами модели. Инициализация с файлом конфигурации не загружает веса, связанные с моделью, только конфигурацию. Используйте метод [from_pretrained()](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.PreTrainedModel.from_pretrained) для загрузки весов модели.

Модель PatchTST для классификации.

Эта модель наследуется от [PreTrainedModel](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.PreTrainedModel). Общие методы, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка головок и т. д.), описаны в документации родительского класса.

Эта модель также является подклассом [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением.

#### forward[[transformers.PatchTSTForClassification.forward]]

```python
forward(past_values: Tensor, target_values: typing.Optional[torch.Tensor] = None, past_observed_mask: bool | None = None, output_hidden_states: bool | None = None, output_attentions: bool | None = None, return_dict: bool | None = None, **kwargs)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/patchtst/modeling_patchtst.py#L1381)

**Параметры:**

past_values (`torch.Tensor` формы `(bs, sequence_length, num_input_channels)`, *обязательный*) : Входная последовательность для модели

target_values (`torch.Tensor`, *необязательный*) : Метки, связанные с `past_values`

past_observed_mask (`torch.BoolTensor` формы `(batch_size, sequence_length, num_input_channels)`, *необязательный*) : Булева маска, указывающая, какие значения `past_values` были наблюдаемы, а какие отсутствуют. Значения маски выбираются из `[0, 1]`:  - 1 для значений, которые **наблюдаемы**, - 0 для значений, которые **отсутствуют** (т. е. NaN, заменённые нулями).

output_hidden_states (`bool`, *необязательный*) : Нужно ли возвращать скрытые состояния всех слоёв. Подробнее о `hidden_states` в разделе возвращаемых тензоров.

output_attentions (`bool`, *необязательный*) : Нужно ли возвращать тензоры внимания всех слоев внимания. Подробнее см. `attentions` в разделе возвращаемых тензоров.

return_dict (`bool`, *необязательный*) : Нужно ли возвращать [ModelOutput](/docs/transformers/v5.23.0/ru/main_classes/output#transformers.utils.ModelOutput) вместо обычного кортежа.

**Возвращает:** `PatchTSTForClassificationOutput` или `tuple(torch.Tensor)`

Объект `PatchTSTForClassificationOutput` или кортеж `torch.Tensor` (если передано `return_dict=False` или если `config.return_dict=False`), содержащий различные элементы в зависимости от конфигурации ([PatchTSTConfig](/docs/transformers/v5.23.0/ru/model_doc/patchtst#transformers.PatchTSTConfig)) и входных данных.

Метод forward класса [PatchTSTForClassification](/docs/transformers/v5.23.0/ru/model_doc/patchtst#transformers.PatchTSTForClassification) переопределяет специальный метод `__call__`.

Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр `Module`, а не эту функцию, поскольку первый выполняет шаги предварительной и постобработки, тогда как второй молча их игнорирует.

- **loss** (`*optional*`, возвращается, если задан `labels`, `torch.Tensor` формы `(1,)`) -- Суммарная потеря, равная сумме потерь маскированного языкового моделирования и потери классификации для предсказания следующего последовательности.
- **prediction_logits** (`torch.Tensor` формы `(batch_size, num_targets)`) — Оценки предсказаний модели PatchTST (оценки до применения SoftMax).
- **hidden_states** (`tuple[torch.Tensor]`, *необязательный*, возвращается, если передано `output_hidden_states=True` или если `config.output_hidden_states=True`) -- Кортеж `torch.Tensor` (один для вывода слоя встраиваний, если модель имеет слой встраиваний, + один для вывода каждого слоя) формы `(batch_size, sequence_length, hidden_size)`.

  Скрытые состояния модели на выходе каждого слоя, а также необязательные выходные значения начального слоя встраивания.
- **attentions** (`tuple[torch.Tensor]`, *необязательный*, возвращается при передаче `output_attentions=True` или когда `config.output_attentions=True`) -- Кортеж `torch.Tensor` (по одному на каждый слой) формы `(batch_size, num_heads, sequence_length, sequence_length)`.

  Веса внимания после softmax в механизме внимания, используемые для вычисления взвешенного среднего в головах само-внимания.

Примеры:

```python
>>> from transformers import PatchTSTConfig, PatchTSTForClassification

>>> # classification task with two input channel2 and 3 classes
>>> config = PatchTSTConfig(
...     num_input_channels=2,
...     num_targets=3,
...     context_length=512,
...     patch_length=12,
...     stride=12,
...     use_cls_token=True,
... )
>>> model = PatchTSTForClassification(config=config)

>>> # during inference, one only provides past values
>>> past_values = torch.randn(20, 512, 2)
>>> outputs = model(past_values=past_values)
>>> labels = outputs.prediction_logits
```

## PatchTSTForPretraining[[transformers.PatchTSTForPretraining]]

#### transformers.PatchTSTForPretraining[[transformers.PatchTSTForPretraining]]

```python
transformers.PatchTSTForPretraining(config: PatchTSTConfig)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/patchtst/modeling_patchtst.py#L1212)

**Параметры:**

config ([PatchTSTConfig](/docs/transformers/v5.23.0/ru/model_doc/patchtst#transformers.PatchTSTConfig)) : Класс конфигурации модели со всеми параметрами модели. Инициализация с файлом конфигурации не загружает веса, связанные с моделью, только конфигурацию. Используйте метод [from_pretrained()](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.PreTrainedModel.from_pretrained) для загрузки весов модели.

Модель PatchTST для предварительного обучения.

Эта модель наследуется от [PreTrainedModel](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.PreTrainedModel). Общие методы, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка головок и т. д.), описаны в документации родительского класса.

Эта модель также является подклассом [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением.

#### forward[[transformers.PatchTSTForPretraining.forward]]

```python
forward(past_values: Tensor, past_observed_mask: typing.Optional[torch.Tensor] = None, output_hidden_states: bool | None = None, output_attentions: bool | None = None, return_dict: bool | None = None, **kwargs)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/patchtst/modeling_patchtst.py#L1223)

**Параметры:**

past_values (`torch.Tensor` формы `(bs, sequence_length, num_input_channels)`, *обязательный*) : Входная последовательность для модели

past_observed_mask (`torch.BoolTensor` формы `(batch_size, sequence_length, num_input_channels)`, *необязательный*) : Булева маска, указывающая, какие значения `past_values` были наблюдаемы, а какие отсутствуют. Значения маски выбираются из `[0, 1]`:  - 1 для значений, которые **наблюдаемы**, - 0 для значений, которые **отсутствуют** (т. е. NaN, заменённые нулями).

output_hidden_states (`bool`, *необязательный*) : Возвращать ли скрытые состояния всех слоёв

output_attentions (`bool`, *необязательный*) : Возвращать ли выходные значения внимания для всех слоёв

return_dict (`bool`, *необязательный*) : Нужно ли возвращать `ModelOutput` вместо обычного кортежа.

**Возвращаемое значение:**

`PatchTSTForPretrainingOutput` или кортеж `torch.Tensor` (если `return_dict`=False или `config.return_dict`=False)

Примеры:

```python
>>> from huggingface_hub import hf_hub_download
>>> import torch
>>> from transformers import PatchTSTConfig, PatchTSTForPretraining

>>> file = hf_hub_download(
...     repo_id="hf-internal-testing/etth1-hourly-batch", filename="train-batch.pt", repo_type="dataset"
... )
>>> batch = torch.load(file)

>>> # Config for random mask pretraining
>>> config = PatchTSTConfig(
...     num_input_channels=7,
...     context_length=512,
...     patch_length=12,
...     stride=12,
...     mask_type='random',
...     random_mask_ratio=0.4,
...     use_cls_token=True,
... )
>>> # Config for forecast mask pretraining
>>> config = PatchTSTConfig(
...     num_input_channels=7,
...     context_length=512,
...     patch_length=12,
...     stride=12,
...     mask_type='forecast',
...     num_forecast_mask_patches=5,
...     use_cls_token=True,
... )
>>> model = PatchTSTForPretraining(config)

>>> # during training, one provides both past and future values
>>> outputs = model(past_values=batch["past_values"])

>>> loss = outputs.loss
>>> loss.backward()
```

## PatchTSTForRegression[[transformers.PatchTSTForRegression]]

#### transformers.PatchTSTForRegression[[transformers.PatchTSTForRegression]]

```python
transformers.PatchTSTForRegression(config: PatchTSTConfig)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/patchtst/modeling_patchtst.py#L1809)

**Параметры:**

config ([PatchTSTConfig](/docs/transformers/v5.23.0/ru/model_doc/patchtst#transformers.PatchTSTConfig)) : Класс конфигурации модели со всеми параметрами модели. Инициализация с файлом конфигурации не загружает веса, связанные с моделью, только конфигурацию. Используйте метод [from_pretrained()](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.PreTrainedModel.from_pretrained) для загрузки весов модели.

Модель PatchTST для регрессии.

Эта модель наследуется от [PreTrainedModel](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.PreTrainedModel). Общие методы, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка головок и т. д.), описаны в документации родительского класса.

Эта модель также является подклассом [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением.

#### forward[[transformers.PatchTSTForRegression.forward]]

```python
forward(past_values: Tensor, target_values: typing.Optional[torch.Tensor] = None, past_observed_mask: typing.Optional[torch.Tensor] = None, output_hidden_states: bool | None = None, output_attentions: bool | None = None, return_dict: bool | None = None, **kwargs)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/patchtst/modeling_patchtst.py#L1836)

**Параметры:**

past_values (`torch.Tensor` формы `(bs, sequence_length, num_input_channels)`, *обязательный*) : Входная последовательность для модели

target_values (`torch.Tensor` формы `(bs, num_input_channels)`) : Целевые значения, связанные с `past_values`

past_observed_mask (`torch.BoolTensor` формы `(batch_size, sequence_length, num_input_channels)`, *необязательный*) : Булева маска, указывающая, какие значения `past_values` были наблюдаемы, а какие отсутствуют. Значения маски выбираются из `[0, 1]`:  - 1 для **наблюдаемых** значений, - 0 для **отсутствующих** значений (т. е. NaN, заменённых нулями). Возвращать ли `ModelOutput` вместо обычного кортежа.

output_hidden_states (`bool`, *необязательный*) : Нужно ли возвращать скрытые состояния всех слоёв. Подробнее о `hidden_states` в разделе возвращаемых тензоров.

output_attentions (`bool`, *необязательный*) : Нужно ли возвращать тензоры внимания всех слоев внимания. Подробнее см. `attentions` в разделе возвращаемых тензоров.

return_dict (`bool`, *необязательный*) : Нужно ли возвращать [ModelOutput](/docs/transformers/v5.23.0/ru/main_classes/output#transformers.utils.ModelOutput) вместо обычного кортежа.

**Возвращает:** `PatchTSTForRegressionOutput` или `tuple(torch.Tensor)`

Объект `PatchTSTForRegressionOutput` или кортеж `torch.Tensor` (если передано `return_dict=False` или если `config.return_dict=False`), содержащий различные элементы в зависимости от конфигурации ([PatchTSTConfig](/docs/transformers/v5.23.0/ru/model_doc/patchtst#transformers.PatchTSTConfig)) и входных данных.

Метод forward класса [PatchTSTForRegression](/docs/transformers/v5.23.0/ru/model_doc/patchtst#transformers.PatchTSTForRegression) переопределяет специальный метод `__call__`.

Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр `Module`, а не эту функцию, поскольку первый выполняет шаги предварительной и постобработки, тогда как второй молча их игнорирует.

- **loss** (`*optional*`, возвращается, если задан `labels`, `torch.Tensor` формы `(1,)`) -- MSE loss.
- **regression_outputs** (`torch.Tensor` формы `(batch_size, num_targets)`) -- Выходные данные регрессии головок моделирования временных рядов.
- **hidden_states** (`tuple[torch.Tensor]`, *необязательный*, возвращается, если передано `output_hidden_states=True` или если `config.output_hidden_states=True`) -- Кортеж `torch.Tensor` (один для вывода слоя встраиваний, если модель имеет слой встраиваний, + один для вывода каждого слоя) формы `(batch_size, sequence_length, hidden_size)`.

  Скрытые состояния модели на выходе каждого слоя, а также необязательные выходные значения начального слоя встраивания.
- **attentions** (`tuple[torch.Tensor]`, *необязательный*, возвращается при передаче `output_attentions=True` или когда `config.output_attentions=True`) -- Кортеж `torch.Tensor` (по одному на каждый слой) формы `(batch_size, num_heads, sequence_length, sequence_length)`.

  Веса внимания после softmax в механизме внимания, используемые для вычисления взвешенного среднего в головах само-внимания.

Примеры:

```python
>>> from transformers import PatchTSTConfig, PatchTSTForRegression

>>> # Regression task with 6 input channels and regress 2 targets
>>> model = PatchTSTForRegression.from_pretrained("namctin/patchtst_etth1_regression")

>>> # during inference, one only provides past values, the model outputs future values
>>> past_values = torch.randn(20, 512, 6)
>>> outputs = model(past_values=past_values)
>>> regression_outputs = outputs.regression_outputs
```

