Transformers documentation

PatchTST

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Model ini dipublikasikan di HF papers pada 2022-11-27 dan disumbangkan ke Hugging Face Transformers pada 2023-11-13.

PatchTST

Ikhtisar

Model PatchTST diusulkan dalam A Time Series is Worth 64 Words: Long-term Forecasting with Transformers oleh Yuqi Nie, Nam H. Nguyen, Phanwadee Sinthong, dan Jayant Kalagnanam.

Secara garis besar, model memvektorkan deret waktu menjadi patch berukuran tertentu dan mengenkapsulasi urutan vektor yang dihasilkan melalui Transformer, yang kemudian menghasilkan prediksi panjang forecast melalui head yang sesuai. Model ini digambarkan pada gambar berikut:

model

Abstrak dari makalah tersebut adalah sebagai berikut:

Kami mengusulkan desain model berbasis Transformer yang efisien untuk peramalan deret waktu multivariat dan pembelajaran representasi self-supervised. Desain ini didasarkan pada dua komponen utama: (i) segmentasi deret waktu menjadi patch pada tingkat subseries yang berfungsi sebagai token input untuk Transformer; (ii) channel-independence, di mana setiap channel berisi satu deret waktu univariat yang berbagi embedding dan bobot Transformer yang sama di seluruh deret. Desain patching secara alami memberikan tiga manfaat: informasi semantik lokal dipertahankan dalam embedding; komputasi dan penggunaan memori dari peta perhatian berkurang secara kuadratik untuk jendela look-back yang sama; dan model dapat memperhatikan riwayat yang lebih panjang. Patch time series Transformer (PatchTST) yang channel-independent kami dapat meningkatkan akurasi peramalan jangka panjang secara signifikan dibandingkan dengan model berbasis Transformer SOTA. Kami juga menerapkan model kami pada tugas pre-training self-supervised dan mencapai kinerja fine-tuning yang sangat baik, yang melampaui pelatihan supervised pada dataset besar. Pemindahan representasi pre-trained yang di-mask dari satu dataset ke dataset lain juga menghasilkan akurasi peramalan SOTA.

Model ini disumbangkan oleh namctin, gsinthong, diepi, vijaye12, wmgifford, dan kashif. Kode aslinya dapat ditemukan di sini.

Tips penggunaan

Model ini juga dapat digunakan untuk klasifikasi deret waktu dan regresi deret waktu. Lihat kelas PatchTSTForClassification dan PatchTSTForRegression yang masing-masing.

Sumber daya

  • Sebuah artikel blog yang menjelaskan PatchTST secara mendalam dapat ditemukan di sini. Blog tersebut juga dapat dibuka di Google Colab.

PatchTSTConfig

kelas transformers.PatchTSTConfig

< >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonenum_input_channels: int = 1context_length: int = 32distribution_output: str = 'student_t'loss: str | None = 'mse'patch_length: int = 1patch_stride: int = 1num_hidden_layers: int = 3d_model: int = 128num_attention_heads: int = 4share_embedding: bool = Truechannel_attention: bool = Falseffn_dim: int = 512norm_type: str = 'batchnorm'norm_eps: float = 1e-05attention_dropout: float | int = 0.0positional_dropout: float | int = 0.0path_dropout: float | int = 0.0ff_dropout: float | int = 0.0bias: bool = Trueactivation_function: str = 'gelu'pre_norm: bool = Truepositional_encoding_type: str = 'sincos'use_cls_token: bool = Falseinit_std: float = 0.02share_projection: bool = Truescaling: str | bool | None = 'std'do_mask_input: bool | None = Nonemask_type: str = 'random'random_mask_ratio: float = 0.5num_forecast_mask_patches: list[int] | tuple[int, ...] | int | None = (2,)channel_consistent_masking: bool | None = Falseunmasked_channel_indices: list[int] | None = Nonemask_value: int = 0pooling_type: str | None = 'mean'head_dropout: float | int = 0.0prediction_length: int = 24num_targets: int = 1output_range: list | None = Nonenum_parallel_samples: int = 100 )

Parameter

  • num_input_channels (int, opsional, defaultnya 1) — Jumlah saluran input.
  • context_length (int, opsional, defaultnya 32) — Panjang konteks dari urutan input.
  • distribution_output (str, opsional, default "student_t") — Head emisi distribusi untuk model ketika loss adalah “nll”. Bisa berupa “student_t”, “normal” atau “negative_binomial”.
  • loss (str, opsional, default "mse") — Fungsi loss untuk model yang sesuai dengan head distribution_output. Untuk distribusi parametrik, ini adalah negative log likelihood (“nll”), dan untuk estimasi titik, ini adalah mean squared error “mse”.
  • patch_length (int, opsional, default 1) — Menentukan panjang patch dari proses patchification.
  • patch_stride (int, opsional, default 1) — Menentukan stride dari proses patchification.
  • num_hidden_layers (int, opsional, default 3) — Jumlah lapisan tersembunyi dalam decoder Transformer.
  • d_model (int, opsional, default 128) — Ukuran lapisan encoder dan lapisan pooler.
  • num_attention_heads (int, opsional, default 4) — Jumlah attention head untuk setiap lapisan attention di encoder Transformer.
  • share_embedding (bool, opsional, default True) — Berbagi input embedding di semua channel.
  • channel_attention (bool, opsional, default False) — Aktifkan blok channel attention di Transformer agar channel dapat saling memperhatikan.
  • ffn_dim (int, opsional, default 512) — Dimensi lapisan “intermediate” (sering disebut feed-forward) pada encoder Transformer.
  • norm_type (str , opsional, defaultnya "batchnorm") — Normalisasi pada setiap lapisan Transformer. Bisa berupa "batchnorm" atau "layernorm".
  • norm_eps (float, opsional, default 1e-05) — Nilai yang ditambahkan ke penyebut untuk stabilitas numerik normalisasi.
  • attention_dropout (Union[float, int], opsional, default 0.0) — Rasio dropout untuk probabilitas perhatian.
  • positional_dropout (float, opsional, default 0.0) — Probabilitas dropout pada lapisan embedding posisional.
  • path_dropout (float, opsional, default 0.0) — Dropout path di dalam blok residual.
  • ff_dropout (float, opsional, default 0.0) — Probabilitas dropout yang digunakan di antara dua lapisan dari jaringan feed-forward.
  • bias (bool, opsional, default True) — Apakah akan menambahkan bias pada jaringan feed-forward.
  • activation_function (str, opsional, defaultnya "gelu") — Fungsi aktivasi non-linear (string) dalam Transformer."gelu" dan "relu" didukung.
  • pre_norm (bool, opsional, default True) — Normalisasi diterapkan sebelum self-attention jika pre_norm diset ke True. Jika tidak, normalisasi diterapkan setelah blok residual.
  • positional_encoding_type (str, opsional, default "sincos") — Enkoding posisi. Opsi "random" dan "sincos" didukung.
  • use_cls_token (bool, opsional, default False) — Apakah token cls digunakan.
  • init_std (float, opsional, default 0.02) — Standar deviasi dari distribusi inisialisasi bobak normal terpotong.
  • share_projection (bool, opsional, default True) — Berbagi lapisan proyeksi di antara saluran yang berbeda pada kepala prediksi.
  • scaling (Union, opsional, default "std") — Apakah target input akan diskalakan menggunakan scaler “mean”, scaler “std”, atau tanpa scaler jika None. Jika True, scaler diatur ke “mean”.
  • do_mask_input (bool, opsional) — Terapkan masking selama pretraining.
  • mask_type (str, opsional, defaultnya "random") — Jenis masking. Saat ini hanya "random" dan "forecast" yang didukung.
  • random_mask_ratio (float, opsional, default 0.5) — Rasio masking yang diterapkan untuk memask data input selama pra-pelatihan acak.
  • num_forecast_mask_patches (int atau list, opsional, defaultnya [2]) — Jumlah patch yang akan di-mask di akhir setiap sampel batch. Jika berupa bilangan bulat, semua sampel dalam batch akan memiliki jumlah patch yang di-mask sama. Jika berupa list, sampel dalam batch akan di-mask secara acak sesuai angka yang didefinisikan dalam list. Argumen ini hanya digunakan untuk pretraining forecast.
  • channel_consistent_masking (bool, opsional, default False) — Jika channel consistent masking bernilai True, semua channel akan memiliki pola masking yang sama.
  • unmasked_channel_indices (list, opsional) — Indeks dari channel yang tidak di-mask selama pretraining. Nilai dalam list adalah angka antara 1 dan num_input_channels
  • mask_value (int, opsional, default 0) — Nilai pada patch yang dimasker akan diisi dengan mask_value.
  • pooling_type (str, opsional, default "mean") — Pooling dari embedding. "mean", "max" dan None didukung.
  • head_dropout (float, opsional, default 0.0) — Probabilitas dropout untuk head.
  • prediction_length (int, opsional, default 24) — Horizon prediksi yang akan dioutput oleh model.
  • num_targets (int, opsional, default 1) — Jumlah target untuk tugas regresi dan klasifikasi. Untuk klasifikasi, ini adalah jumlah kelas.
  • output_range (list, opsional) — Rentang output untuk tugas regresi. Rentang nilai output dapat diatur untuk memaksa model menghasilkan nilai dalam rentang tertentu.
  • num_parallel_samples (int, opsional, default 100) — Jumlah sampel yang dihasilkan secara paralel untuk prediksi probabilistik.

Ini adalah kelas konfigurasi untuk menyimpan konfigurasi dari PatchTSTModel. Kelas ini digunakan untuk membuat model Patchtst berdasarkan argumen yang ditentukan, yang mendefinisikan arsitektur model. Membuat konfigurasi dengan nilai bawaan akan menghasilkan konfigurasi yang serupa dengan konfigurasi dari ibm-granite/granite-timeseries-patchtst

Objek konfigurasi mewarisi dari PreTrainedConfig dan dapat digunakan untuk mengontrol output model. Baca dokumentasi dari PreTrainedConfig untuk informasi lebih lanjut.

>>> from transformers import PatchTSTConfig, PatchTSTModel

>>> # Initializing an PatchTST configuration with 12 time steps for prediction
>>> configuration = PatchTSTConfig(prediction_length=12)

>>> # Randomly initializing a model (with random weights) from the configuration
>>> model = PatchTSTModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

PatchTSTModel

kelas transformers.PatchTSTModel

< >

( config: PatchTSTConfig )

Parameter

  • config (PatchTSTConfig) — Kelas konfigurasi model dengan semua parameter model. Inisialisasi dengan file konfigurasi tidak memuat bobot yang terkait dengan model, hanya konfigurasinya. Lihat metode from_pretrained() untuk memuat bobot model.

Model Patchtst polos yang menghasilkan hidden-states mentah tanpa head spesifik di atasnya.

Model ini mewarisi dari PreTrainedModel. Periksa dokumentasi kelas induk untuk metode generik yang diimplementasikan oleh pustaka untuk semua model (seperti mengunduh atau menyimpan, mengubah ukuran embedding input, memangkas kepala, dll.)

Model ini juga merupakan subclass dari torch.nn.Module PyTorch. Gunakan sebagai PyTorch Module biasa dan merujuk ke dokumentasi PyTorch untuk semua hal yang berkaitan dengan penggunaan dan perilaku umum.

forward

< >

( past_values: Tensorpast_observed_mask: typing.Optional[torch.Tensor] = Nonefuture_values: typing.Optional[torch.Tensor] = Noneoutput_hidden_states: bool | None = Noneoutput_attentions: bool | None = Nonereturn_dict: bool | None = None**kwargs )

Parameter

  • past_values (torch.Tensor dengan bentuk (bs, sequence_length, num_input_channels), wajib) — Urutan input ke model
  • past_observed_mask (torch.BoolTensor dengan bentuk (batch_size, sequence_length, num_input_channels), opsional) — Mask boolean untuk menunjukkan nilai past_values mana yang teramati dan mana yang hilang. Nilai mask dipilih dari [0, 1]:
    • 1 untuk nilai yang diamati,
    • 0 untuk nilai yang hilang (yaitu NaN yang diganti dengan nol).
  • future_values (torch.BoolTensor dengan bentuk (batch_size, prediction_length, num_input_channels), opsional) — Nilai target masa depan yang terkait dengan past_values
  • output_hidden_states (bool, opsional) — Apakah akan mengembalikan hidden states dari semua lapisan
  • output_attentions (bool, opsional) — Apakah akan mengembalikan output perhatian dari semua lapisan
  • return_dict (bool, opsional) — Apakah akan mengembalikan ModelOutput alih-alih tuple biasa.

Contoh:

>>> from huggingface_hub import hf_hub_download
>>> import torch
>>> from transformers import PatchTSTModel

>>> file = hf_hub_download(
...     repo_id="hf-internal-testing/etth1-hourly-batch", filename="train-batch.pt", repo_type="dataset"
... )
>>> batch = torch.load(file)

>>> model = PatchTSTModel.from_pretrained("namctin/patchtst_etth1_pretrain")

>>> # during training, one provides both past and future values
>>> outputs = model(
...     past_values=batch["past_values"],
...     future_values=batch["future_values"],
... )

>>> last_hidden_state = outputs.last_hidden_state

PatchTSTForPrediction

kelas transformers.PatchTSTForPrediction

< >

( config: PatchTSTConfig )

Parameter

  • config (PatchTSTConfig) — Kelas konfigurasi model dengan semua parameter model. Inisialisasi dengan file konfigurasi tidak memuat bobot yang terkait dengan model, hanya konfigurasinya. Lihat metode from_pretrained() untuk memuat bobot model.

Model prediksi PatchTST.

Model ini mewarisi dari PreTrainedModel. Periksa dokumentasi kelas induk untuk metode generik yang diimplementasikan oleh pustaka untuk semua model (seperti mengunduh atau menyimpan, mengubah ukuran embedding input, memangkas kepala, dll.)

Model ini juga merupakan subclass dari torch.nn.Module PyTorch. Gunakan sebagai PyTorch Module biasa dan merujuk ke dokumentasi PyTorch untuk semua hal yang berkaitan dengan penggunaan dan perilaku umum.

forward

< >

( past_values: Tensorpast_observed_mask: typing.Optional[torch.Tensor] = Nonefuture_values: typing.Optional[torch.Tensor] = Noneoutput_hidden_states: bool | None = Noneoutput_attentions: bool | None = Nonereturn_dict: bool | None = None**kwargs )

Parameter

  • past_values (torch.Tensor dengan bentuk (bs, sequence_length, num_input_channels), wajib) — Urutan input ke model
  • past_observed_mask (torch.BoolTensor dengan bentuk (batch_size, sequence_length, num_input_channels), opsional) — Mask boolean untuk menunjukkan nilai past_values mana yang teramati dan mana yang hilang. Nilai mask dipilih dari [0, 1]:
    • 1 untuk nilai yang diamati,
    • 0 untuk nilai yang hilang (yaitu NaN yang diganti dengan nol).
  • future_values (torch.Tensor dengan bentuk (bs, forecast_len, num_input_channels), opsional) — Nilai target masa depan yang terkait dengan past_values
  • output_hidden_states (bool, opsional) — Apakah akan mengembalikan hidden states dari semua lapisan
  • output_attentions (bool, opsional) — Apakah akan mengembalikan output perhatian dari semua lapisan
  • return_dict (bool, opsional) — Apakah akan mengembalikan ModelOutput alih-alih tuple biasa.

Contoh:

>>> from huggingface_hub import hf_hub_download
>>> import torch
>>> from transformers import PatchTSTConfig, PatchTSTForPrediction

>>> file = hf_hub_download(
...     repo_id="hf-internal-testing/etth1-hourly-batch", filename="train-batch.pt", repo_type="dataset"
... )
>>> batch = torch.load(file)

>>> # Prediction task with 7 input channels and prediction length is 96
>>> model = PatchTSTForPrediction.from_pretrained("namctin/patchtst_etth1_forecast")

>>> # during training, one provides both past and future values
>>> outputs = model(
...     past_values=batch["past_values"],
...     future_values=batch["future_values"],
... )

>>> loss = outputs.loss
>>> loss.backward()

>>> # during inference, one only provides past values, the model outputs future values
>>> outputs = model(past_values=batch["past_values"])
>>> prediction_outputs = outputs.prediction_outputs

PatchTSTForClassification

kelas transformers.PatchTSTForClassification

< >

( config: PatchTSTConfig )

Parameter

  • config (PatchTSTConfig) — Kelas konfigurasi model dengan semua parameter model. Inisialisasi dengan file konfigurasi tidak memuat bobot yang terkait dengan model, hanya konfigurasinya. Lihat metode from_pretrained() untuk memuat bobot model.

Model PatchTST untuk klasifikasi.

Model ini mewarisi dari PreTrainedModel. Periksa dokumentasi kelas induk untuk metode generik yang diimplementasikan oleh pustaka untuk semua model (seperti mengunduh atau menyimpan, mengubah ukuran embedding input, memangkas kepala, dll.)

Model ini juga merupakan subclass dari torch.nn.Module PyTorch. Gunakan sebagai PyTorch Module biasa dan merujuk ke dokumentasi PyTorch untuk semua hal yang berkaitan dengan penggunaan dan perilaku umum.

forward

< >

( past_values: Tensortarget_values: typing.Optional[torch.Tensor] = Nonepast_observed_mask: bool | None = Noneoutput_hidden_states: bool | None = Noneoutput_attentions: bool | None = Nonereturn_dict: bool | None = None**kwargs ) → PatchTSTForClassificationOutput or tuple(torch.Tensor)

Parameter

  • past_values (torch.Tensor dengan bentuk (bs, sequence_length, num_input_channels), wajib) — Urutan input ke model
  • target_values (torch.Tensor, opsional) — Label yang terkait dengan past_values
  • past_observed_mask (torch.BoolTensor dengan bentuk (batch_size, sequence_length, num_input_channels), opsional) — Mask boolean untuk menunjukkan nilai past_values mana yang teramati dan mana yang hilang. Nilai mask dipilih dari [0, 1]:
    • 1 untuk nilai yang diamati,
    • 0 untuk nilai yang hilang (yaitu NaN yang diganti dengan nol).
  • output_hidden_states (bool, opsional) — Apakah akan mengembalikan hidden states dari semua lapisan. Lihat hidden_states di bawah tensor yang dikembalikan untuk detail lebih lanjut.
  • output_attentions (bool, opsional) — Apakah akan mengembalikan tensor attentions dari semua lapisan attention. Lihat attentions di bawah tensor yang dikembalikan untuk detail lebih lanjut.
  • return_dict (bool, opsional) — Apakah akan mengembalikan ModelOutput alih-alih tuple biasa.

Mengembalikan

PatchTSTForClassificationOutput atau tuple(torch.Tensor)

PatchTSTForClassificationOutput atau tuple dari torch.Tensor (jika return_dict=False diteruskan atau ketika config.return_dict=False) yang terdiri dari berbagai elemen tergantung pada konfigurasi (PatchTSTConfig) dan input.

Metode forward dari PatchTSTForClassification menimpa metode khusus __call__.

Meskipun resep untuk forward pass perlu didefinisikan di dalam fungsi ini, sebaiknya panggil instance Module setelahnya alih-alih fungsi ini, karena yang pertama menangani langkah-langkah pra-pemrosesan dan pasca-pemrosesan, sedangkan yang kedua mengabaikannya secara diam-diam.

  • loss (*optional*, dikembalikan saat labels disediakan, torch.Tensor dengan bentuk (1,)) — Total loss sebagai jumlah dari masked language modeling loss dan next sequence prediction (classification) loss.

  • prediction_logits (torch.Tensor dengan bentuk (batch_size, num_targets)) — Skor prediksi dari kepala pemodelan PatchTST (skor sebelum SoftMax).

  • hidden_states (tuple[torch.Tensor], opsional, dikembalikan saat output_hidden_states=True dilewatkan atau saat config.output_hidden_states=True) — Tuple dari torch.Tensor (satu untuk output dari embeddings, jika model memiliki lapisan embedding, + satu untuk output dari setiap lapisan) dengan bentuk (batch_size, sequence_length, hidden_size).

    Hidden-states model pada output setiap layer ditambah output embedding awal yang opsional.

  • attentions (tuple[torch.Tensor], opsional, dikembalikan saat output_attentions=True dilewatkan atau saat config.output_attentions=True) — Tuple dari torch.Tensor (satu untuk setiap layer) dengan bentuk (batch_size, num_heads, sequence_length, sequence_length).

    Bobot perhatian setelah softmax perhatian, digunakan untuk menghitung rata-rata berbobot di kepala perhatian diri (self-attention).

Contoh:

>>> from transformers import PatchTSTConfig, PatchTSTForClassification

>>> # classification task with two input channel2 and 3 classes
>>> config = PatchTSTConfig(
...     num_input_channels=2,
...     num_targets=3,
...     context_length=512,
...     patch_length=12,
...     stride=12,
...     use_cls_token=True,
... )
>>> model = PatchTSTForClassification(config=config)

>>> # during inference, one only provides past values
>>> past_values = torch.randn(20, 512, 2)
>>> outputs = model(past_values=past_values)
>>> labels = outputs.prediction_logits

PatchTSTForPretraining

kelas transformers.PatchTSTForPretraining

< >

( config: PatchTSTConfig )

Parameter

  • config (PatchTSTConfig) — Kelas konfigurasi model dengan semua parameter model. Inisialisasi dengan file konfigurasi tidak memuat bobot yang terkait dengan model, hanya konfigurasinya. Lihat metode from_pretrained() untuk memuat bobot model.

PatchTST untuk model pretrain.

Model ini mewarisi dari PreTrainedModel. Periksa dokumentasi kelas induk untuk metode generik yang diimplementasikan oleh pustaka untuk semua model (seperti mengunduh atau menyimpan, mengubah ukuran embedding input, memangkas kepala, dll.)

Model ini juga merupakan subclass dari torch.nn.Module PyTorch. Gunakan sebagai PyTorch Module biasa dan merujuk ke dokumentasi PyTorch untuk semua hal yang berkaitan dengan penggunaan dan perilaku umum.

forward

< >

( past_values: Tensorpast_observed_mask: typing.Optional[torch.Tensor] = Noneoutput_hidden_states: bool | None = Noneoutput_attentions: bool | None = Nonereturn_dict: bool | None = None**kwargs )

Parameter

  • past_values (torch.Tensor dengan bentuk (bs, sequence_length, num_input_channels), wajib) — Urutan input ke model
  • past_observed_mask (torch.BoolTensor dengan bentuk (batch_size, sequence_length, num_input_channels), opsional) — Mask boolean untuk menunjukkan nilai past_values mana yang teramati dan mana yang hilang. Nilai mask dipilih dari [0, 1]:
    • 1 untuk nilai yang diamati,
    • 0 untuk nilai yang hilang (yaitu NaN yang diganti dengan nol).
  • output_hidden_states (bool, opsional) — Apakah akan mengembalikan hidden states dari semua lapisan
  • output_attentions (bool, opsional) — Apakah akan mengembalikan output perhatian dari semua lapisan
  • return_dict (bool, opsional) — Apakah akan mengembalikan ModelOutput alih-alih tuple biasa.

Contoh:

>>> from huggingface_hub import hf_hub_download
>>> import torch
>>> from transformers import PatchTSTConfig, PatchTSTForPretraining

>>> file = hf_hub_download(
...     repo_id="hf-internal-testing/etth1-hourly-batch", filename="train-batch.pt", repo_type="dataset"
... )
>>> batch = torch.load(file)

>>> # Config for random mask pretraining
>>> config = PatchTSTConfig(
...     num_input_channels=7,
...     context_length=512,
...     patch_length=12,
...     stride=12,
...     mask_type='random',
...     random_mask_ratio=0.4,
...     use_cls_token=True,
... )
>>> # Config for forecast mask pretraining
>>> config = PatchTSTConfig(
...     num_input_channels=7,
...     context_length=512,
...     patch_length=12,
...     stride=12,
...     mask_type='forecast',
...     num_forecast_mask_patches=5,
...     use_cls_token=True,
... )
>>> model = PatchTSTForPretraining(config)

>>> # during training, one provides both past and future values
>>> outputs = model(past_values=batch["past_values"])

>>> loss = outputs.loss
>>> loss.backward()

PatchTSTForRegression

kelas transformers.PatchTSTForRegression

< >

( config: PatchTSTConfig )

Parameter

  • config (PatchTSTConfig) — Kelas konfigurasi model dengan semua parameter model. Inisialisasi dengan file konfigurasi tidak memuat bobot yang terkait dengan model, hanya konfigurasinya. Lihat metode from_pretrained() untuk memuat bobot model.

Model PatchTST untuk regresi.

Model ini mewarisi dari PreTrainedModel. Periksa dokumentasi kelas induk untuk metode generik yang diimplementasikan oleh pustaka untuk semua model (seperti mengunduh atau menyimpan, mengubah ukuran embedding input, memangkas kepala, dll.)

Model ini juga merupakan subclass dari torch.nn.Module PyTorch. Gunakan sebagai PyTorch Module biasa dan merujuk ke dokumentasi PyTorch untuk semua hal yang berkaitan dengan penggunaan dan perilaku umum.

forward

< >

( past_values: Tensortarget_values: typing.Optional[torch.Tensor] = Nonepast_observed_mask: typing.Optional[torch.Tensor] = Noneoutput_hidden_states: bool | None = Noneoutput_attentions: bool | None = Nonereturn_dict: bool | None = None**kwargs ) → PatchTSTForRegressionOutput or tuple(torch.Tensor)

Parameter

  • past_values (torch.Tensor dengan bentuk (bs, sequence_length, num_input_channels), wajib) — Urutan input ke model
  • target_values (torch.Tensor dengan bentuk (bs, num_input_channels)) — Nilai target yang terkait dengan past_values
  • past_observed_mask (torch.BoolTensor dengan bentuk (batch_size, sequence_length, num_input_channels), opsional) — Mask boolean untuk menunjukkan nilai past_values mana yang teramati dan mana yang hilang. Nilai mask dipilih dalam [0, 1]: 1 untuk nilai yang teramati, 0 untuk nilai yang hilang (yaitu NaN yang diganti dengan nol). Apakah akan mengembalikan ModelOutput alih-alih tuple biasa. [0, 1]:
    • 1 untuk nilai yang diamati,
    • 0 untuk nilai yang hilang (yaitu NaN yang diganti dengan nol). Apakah akan mengembalikan ModelOutput alih-alih tuple biasa.
  • output_hidden_states (bool, opsional) — Apakah akan mengembalikan hidden states dari semua lapisan. Lihat hidden_states di bawah tensor yang dikembalikan untuk detail lebih lanjut.
  • output_attentions (bool, opsional) — Apakah akan mengembalikan tensor attentions dari semua lapisan attention. Lihat attentions di bawah tensor yang dikembalikan untuk detail lebih lanjut.
  • return_dict (bool, opsional) — Apakah akan mengembalikan ModelOutput alih-alih tuple biasa.

Mengembalikan

PatchTSTForRegressionOutput atau tuple(torch.Tensor)

PatchTSTForRegressionOutput atau tuple dari torch.Tensor (jika return_dict=False diteruskan atau ketika config.return_dict=False) yang terdiri dari berbagai elemen tergantung pada konfigurasi (PatchTSTConfig) dan input.

Metode forward dari PatchTSTForRegression menimpa metode khusus __call__.

Meskipun resep untuk forward pass perlu didefinisikan di dalam fungsi ini, sebaiknya panggil instance Module setelahnya alih-alih fungsi ini, karena yang pertama menangani langkah-langkah pra-pemrosesan dan pasca-pemrosesan, sedangkan yang kedua mengabaikannya secara diam-diam.

  • loss (*optional*, returned when labels is provided, torch.Tensor of shape (1,)) — MSE loss.

  • regression_outputs (torch.Tensor dengan bentuk (batch_size, num_targets)) — Output regresi dari kepala pemodelan deret waktu.

  • hidden_states (tuple[torch.Tensor], opsional, dikembalikan saat output_hidden_states=True dilewatkan atau saat config.output_hidden_states=True) — Tuple dari torch.Tensor (satu untuk output dari embeddings, jika model memiliki lapisan embedding, + satu untuk output dari setiap lapisan) dengan bentuk (batch_size, sequence_length, hidden_size).

    Hidden-states model pada output setiap layer ditambah output embedding awal yang opsional.

  • attentions (tuple[torch.Tensor], opsional, dikembalikan saat output_attentions=True dilewatkan atau saat config.output_attentions=True) — Tuple dari torch.Tensor (satu untuk setiap layer) dengan bentuk (batch_size, num_heads, sequence_length, sequence_length).

    Bobot perhatian setelah softmax perhatian, digunakan untuk menghitung rata-rata berbobot di kepala perhatian diri (self-attention).

Contoh:

>>> from transformers import PatchTSTConfig, PatchTSTForRegression

>>> # Regression task with 6 input channels and regress 2 targets
>>> model = PatchTSTForRegression.from_pretrained("namctin/patchtst_etth1_regression")

>>> # during inference, one only provides past values, the model outputs future values
>>> past_values = torch.randn(20, 512, 6)
>>> outputs = model(past_values=past_values)
>>> regression_outputs = outputs.regression_outputs
Update on GitHub