Transformers documentation
PatchTST
Model ini dipublikasikan di HF papers pada 2022-11-27 dan disumbangkan ke Hugging Face Transformers pada 2023-11-13.
PatchTST
Ikhtisar
Model PatchTST diusulkan dalam A Time Series is Worth 64 Words: Long-term Forecasting with Transformers oleh Yuqi Nie, Nam H. Nguyen, Phanwadee Sinthong, dan Jayant Kalagnanam.
Secara garis besar, model memvektorkan deret waktu menjadi patch berukuran tertentu dan mengenkapsulasi urutan vektor yang dihasilkan melalui Transformer, yang kemudian menghasilkan prediksi panjang forecast melalui head yang sesuai. Model ini digambarkan pada gambar berikut:
Abstrak dari makalah tersebut adalah sebagai berikut:
Kami mengusulkan desain model berbasis Transformer yang efisien untuk peramalan deret waktu multivariat dan pembelajaran representasi self-supervised. Desain ini didasarkan pada dua komponen utama: (i) segmentasi deret waktu menjadi patch pada tingkat subseries yang berfungsi sebagai token input untuk Transformer; (ii) channel-independence, di mana setiap channel berisi satu deret waktu univariat yang berbagi embedding dan bobot Transformer yang sama di seluruh deret. Desain patching secara alami memberikan tiga manfaat: informasi semantik lokal dipertahankan dalam embedding; komputasi dan penggunaan memori dari peta perhatian berkurang secara kuadratik untuk jendela look-back yang sama; dan model dapat memperhatikan riwayat yang lebih panjang. Patch time series Transformer (PatchTST) yang channel-independent kami dapat meningkatkan akurasi peramalan jangka panjang secara signifikan dibandingkan dengan model berbasis Transformer SOTA. Kami juga menerapkan model kami pada tugas pre-training self-supervised dan mencapai kinerja fine-tuning yang sangat baik, yang melampaui pelatihan supervised pada dataset besar. Pemindahan representasi pre-trained yang di-mask dari satu dataset ke dataset lain juga menghasilkan akurasi peramalan SOTA.
Model ini disumbangkan oleh namctin, gsinthong, diepi, vijaye12, wmgifford, dan kashif. Kode aslinya dapat ditemukan di sini.
Tips penggunaan
Model ini juga dapat digunakan untuk klasifikasi deret waktu dan regresi deret waktu. Lihat kelas PatchTSTForClassification dan PatchTSTForRegression yang masing-masing.
Sumber daya
- Sebuah artikel blog yang menjelaskan PatchTST secara mendalam dapat ditemukan di sini. Blog tersebut juga dapat dibuka di Google Colab.
PatchTSTConfig
kelas transformers.PatchTSTConfig
< source >( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonenum_input_channels: int = 1context_length: int = 32distribution_output: str = 'student_t'loss: str | None = 'mse'patch_length: int = 1patch_stride: int = 1num_hidden_layers: int = 3d_model: int = 128num_attention_heads: int = 4share_embedding: bool = Truechannel_attention: bool = Falseffn_dim: int = 512norm_type: str = 'batchnorm'norm_eps: float = 1e-05attention_dropout: float | int = 0.0positional_dropout: float | int = 0.0path_dropout: float | int = 0.0ff_dropout: float | int = 0.0bias: bool = Trueactivation_function: str = 'gelu'pre_norm: bool = Truepositional_encoding_type: str = 'sincos'use_cls_token: bool = Falseinit_std: float = 0.02share_projection: bool = Truescaling: str | bool | None = 'std'do_mask_input: bool | None = Nonemask_type: str = 'random'random_mask_ratio: float = 0.5num_forecast_mask_patches: list[int] | tuple[int, ...] | int | None = (2,)channel_consistent_masking: bool | None = Falseunmasked_channel_indices: list[int] | None = Nonemask_value: int = 0pooling_type: str | None = 'mean'head_dropout: float | int = 0.0prediction_length: int = 24num_targets: int = 1output_range: list | None = Nonenum_parallel_samples: int = 100 )
Parameter
- num_input_channels (
int, opsional, defaultnya1) — Jumlah saluran input. - context_length (
int, opsional, defaultnya 32) — Panjang konteks dari urutan input. - distribution_output (
str, opsional, default"student_t") — Head emisi distribusi untuk model ketika loss adalah “nll”. Bisa berupa “student_t”, “normal” atau “negative_binomial”. - loss (
str, opsional, default"mse") — Fungsi loss untuk model yang sesuai dengan headdistribution_output. Untuk distribusi parametrik, ini adalah negative log likelihood (“nll”), dan untuk estimasi titik, ini adalah mean squared error “mse”. - patch_length (
int, opsional, default 1) — Menentukan panjang patch dari proses patchification. - patch_stride (
int, opsional, default 1) — Menentukan stride dari proses patchification. - num_hidden_layers (
int, opsional, default3) — Jumlah lapisan tersembunyi dalam decoder Transformer. - d_model (
int, opsional, default128) — Ukuran lapisan encoder dan lapisan pooler. - num_attention_heads (
int, opsional, default 4) — Jumlah attention head untuk setiap lapisan attention di encoder Transformer. - share_embedding (
bool, opsional, defaultTrue) — Berbagi input embedding di semua channel. - channel_attention (
bool, opsional, defaultFalse) — Aktifkan blok channel attention di Transformer agar channel dapat saling memperhatikan. - ffn_dim (
int, opsional, default 512) — Dimensi lapisan “intermediate” (sering disebut feed-forward) pada encoder Transformer. - norm_type (
str, opsional, defaultnya"batchnorm") — Normalisasi pada setiap lapisan Transformer. Bisa berupa"batchnorm"atau"layernorm". - norm_eps (
float, opsional, default 1e-05) — Nilai yang ditambahkan ke penyebut untuk stabilitas numerik normalisasi. - attention_dropout (
Union[float, int], opsional, default0.0) — Rasio dropout untuk probabilitas perhatian. - positional_dropout (
float, opsional, default 0.0) — Probabilitas dropout pada lapisan embedding posisional. - path_dropout (
float, opsional, default 0.0) — Dropout path di dalam blok residual. - ff_dropout (
float, opsional, default 0.0) — Probabilitas dropout yang digunakan di antara dua lapisan dari jaringan feed-forward. - bias (
bool, opsional, defaultTrue) — Apakah akan menambahkan bias pada jaringan feed-forward. - activation_function (
str, opsional, defaultnya"gelu") — Fungsi aktivasi non-linear (string) dalam Transformer."gelu"dan"relu"didukung. - pre_norm (
bool, opsional, defaultTrue) — Normalisasi diterapkan sebelum self-attention jika pre_norm diset keTrue. Jika tidak, normalisasi diterapkan setelah blok residual. - positional_encoding_type (
str, opsional, default"sincos") — Enkoding posisi. Opsi"random"dan"sincos"didukung. - use_cls_token (
bool, opsional, defaultFalse) — Apakah token cls digunakan. - init_std (
float, opsional, default 0.02) — Standar deviasi dari distribusi inisialisasi bobak normal terpotong. - share_projection (
bool, opsional, defaultTrue) — Berbagi lapisan proyeksi di antara saluran yang berbeda pada kepala prediksi. - scaling (
Union, opsional, default"std") — Apakah target input akan diskalakan menggunakan scaler “mean”, scaler “std”, atau tanpa scaler jikaNone. JikaTrue, scaler diatur ke “mean”. - do_mask_input (
bool, opsional) — Terapkan masking selama pretraining. - mask_type (
str, opsional, defaultnya"random") — Jenis masking. Saat ini hanya"random"dan"forecast"yang didukung. - random_mask_ratio (
float, opsional, default 0.5) — Rasio masking yang diterapkan untuk memask data input selama pra-pelatihan acak. - num_forecast_mask_patches (
intataulist, opsional, defaultnya[2]) — Jumlah patch yang akan di-mask di akhir setiap sampel batch. Jika berupa bilangan bulat, semua sampel dalam batch akan memiliki jumlah patch yang di-mask sama. Jika berupa list, sampel dalam batch akan di-mask secara acak sesuai angka yang didefinisikan dalam list. Argumen ini hanya digunakan untuk pretraining forecast. - channel_consistent_masking (
bool, opsional, defaultFalse) — Jika channel consistent masking bernilai True, semua channel akan memiliki pola masking yang sama. - unmasked_channel_indices (
list, opsional) — Indeks dari channel yang tidak di-mask selama pretraining. Nilai dalam list adalah angka antara 1 dannum_input_channels - mask_value (
int, opsional, default 0) — Nilai pada patch yang dimasker akan diisi denganmask_value. - pooling_type (
str, opsional, default"mean") — Pooling dari embedding."mean","max"danNonedidukung. - head_dropout (
float, opsional, default 0.0) — Probabilitas dropout untuk head. - prediction_length (
int, opsional, default 24) — Horizon prediksi yang akan dioutput oleh model. - num_targets (
int, opsional, default 1) — Jumlah target untuk tugas regresi dan klasifikasi. Untuk klasifikasi, ini adalah jumlah kelas. - output_range (
list, opsional) — Rentang output untuk tugas regresi. Rentang nilai output dapat diatur untuk memaksa model menghasilkan nilai dalam rentang tertentu. - num_parallel_samples (
int, opsional, default 100) — Jumlah sampel yang dihasilkan secara paralel untuk prediksi probabilistik.
Ini adalah kelas konfigurasi untuk menyimpan konfigurasi dari PatchTSTModel. Kelas ini digunakan untuk membuat model Patchtst berdasarkan argumen yang ditentukan, yang mendefinisikan arsitektur model. Membuat konfigurasi dengan nilai bawaan akan menghasilkan konfigurasi yang serupa dengan konfigurasi dari ibm-granite/granite-timeseries-patchtst
Objek konfigurasi mewarisi dari PreTrainedConfig dan dapat digunakan untuk mengontrol output model. Baca dokumentasi dari PreTrainedConfig untuk informasi lebih lanjut.
>>> from transformers import PatchTSTConfig, PatchTSTModel
>>> # Initializing an PatchTST configuration with 12 time steps for prediction
>>> configuration = PatchTSTConfig(prediction_length=12)
>>> # Randomly initializing a model (with random weights) from the configuration
>>> model = PatchTSTModel(configuration)
>>> # Accessing the model configuration
>>> configuration = model.configPatchTSTModel
kelas transformers.PatchTSTModel
< source >( config: PatchTSTConfig )
Parameter
- config (PatchTSTConfig) — Kelas konfigurasi model dengan semua parameter model. Inisialisasi dengan file konfigurasi tidak memuat bobot yang terkait dengan model, hanya konfigurasinya. Lihat metode from_pretrained() untuk memuat bobot model.
Model Patchtst polos yang menghasilkan hidden-states mentah tanpa head spesifik di atasnya.
Model ini mewarisi dari PreTrainedModel. Periksa dokumentasi kelas induk untuk metode generik yang diimplementasikan oleh pustaka untuk semua model (seperti mengunduh atau menyimpan, mengubah ukuran embedding input, memangkas kepala, dll.)
Model ini juga merupakan subclass dari torch.nn.Module PyTorch. Gunakan sebagai PyTorch Module biasa dan merujuk ke dokumentasi PyTorch untuk semua hal yang berkaitan dengan penggunaan dan perilaku umum.
forward
< source >( past_values: Tensorpast_observed_mask: typing.Optional[torch.Tensor] = Nonefuture_values: typing.Optional[torch.Tensor] = Noneoutput_hidden_states: bool | None = Noneoutput_attentions: bool | None = Nonereturn_dict: bool | None = None**kwargs )
Parameter
- past_values (
torch.Tensordengan bentuk(bs, sequence_length, num_input_channels), wajib) — Urutan input ke model - past_observed_mask (
torch.BoolTensordengan bentuk(batch_size, sequence_length, num_input_channels), opsional) — Mask boolean untuk menunjukkan nilaipast_valuesmana yang teramati dan mana yang hilang. Nilai mask dipilih dari[0, 1]:- 1 untuk nilai yang diamati,
- 0 untuk nilai yang hilang (yaitu NaN yang diganti dengan nol).
- future_values (
torch.BoolTensordengan bentuk(batch_size, prediction_length, num_input_channels), opsional) — Nilai target masa depan yang terkait denganpast_values - output_hidden_states (
bool, opsional) — Apakah akan mengembalikan hidden states dari semua lapisan - output_attentions (
bool, opsional) — Apakah akan mengembalikan output perhatian dari semua lapisan - return_dict (
bool, opsional) — Apakah akan mengembalikanModelOutputalih-alih tuple biasa.
Contoh:
>>> from huggingface_hub import hf_hub_download
>>> import torch
>>> from transformers import PatchTSTModel
>>> file = hf_hub_download(
... repo_id="hf-internal-testing/etth1-hourly-batch", filename="train-batch.pt", repo_type="dataset"
... )
>>> batch = torch.load(file)
>>> model = PatchTSTModel.from_pretrained("namctin/patchtst_etth1_pretrain")
>>> # during training, one provides both past and future values
>>> outputs = model(
... past_values=batch["past_values"],
... future_values=batch["future_values"],
... )
>>> last_hidden_state = outputs.last_hidden_statePatchTSTForPrediction
kelas transformers.PatchTSTForPrediction
< source >( config: PatchTSTConfig )
Parameter
- config (PatchTSTConfig) — Kelas konfigurasi model dengan semua parameter model. Inisialisasi dengan file konfigurasi tidak memuat bobot yang terkait dengan model, hanya konfigurasinya. Lihat metode from_pretrained() untuk memuat bobot model.
Model prediksi PatchTST.
Model ini mewarisi dari PreTrainedModel. Periksa dokumentasi kelas induk untuk metode generik yang diimplementasikan oleh pustaka untuk semua model (seperti mengunduh atau menyimpan, mengubah ukuran embedding input, memangkas kepala, dll.)
Model ini juga merupakan subclass dari torch.nn.Module PyTorch. Gunakan sebagai PyTorch Module biasa dan merujuk ke dokumentasi PyTorch untuk semua hal yang berkaitan dengan penggunaan dan perilaku umum.
forward
< source >( past_values: Tensorpast_observed_mask: typing.Optional[torch.Tensor] = Nonefuture_values: typing.Optional[torch.Tensor] = Noneoutput_hidden_states: bool | None = Noneoutput_attentions: bool | None = Nonereturn_dict: bool | None = None**kwargs )
Parameter
- past_values (
torch.Tensordengan bentuk(bs, sequence_length, num_input_channels), wajib) — Urutan input ke model - past_observed_mask (
torch.BoolTensordengan bentuk(batch_size, sequence_length, num_input_channels), opsional) — Mask boolean untuk menunjukkan nilaipast_valuesmana yang teramati dan mana yang hilang. Nilai mask dipilih dari[0, 1]:- 1 untuk nilai yang diamati,
- 0 untuk nilai yang hilang (yaitu NaN yang diganti dengan nol).
- future_values (
torch.Tensordengan bentuk(bs, forecast_len, num_input_channels), opsional) — Nilai target masa depan yang terkait denganpast_values - output_hidden_states (
bool, opsional) — Apakah akan mengembalikan hidden states dari semua lapisan - output_attentions (
bool, opsional) — Apakah akan mengembalikan output perhatian dari semua lapisan - return_dict (
bool, opsional) — Apakah akan mengembalikanModelOutputalih-alih tuple biasa.
Contoh:
>>> from huggingface_hub import hf_hub_download
>>> import torch
>>> from transformers import PatchTSTConfig, PatchTSTForPrediction
>>> file = hf_hub_download(
... repo_id="hf-internal-testing/etth1-hourly-batch", filename="train-batch.pt", repo_type="dataset"
... )
>>> batch = torch.load(file)
>>> # Prediction task with 7 input channels and prediction length is 96
>>> model = PatchTSTForPrediction.from_pretrained("namctin/patchtst_etth1_forecast")
>>> # during training, one provides both past and future values
>>> outputs = model(
... past_values=batch["past_values"],
... future_values=batch["future_values"],
... )
>>> loss = outputs.loss
>>> loss.backward()
>>> # during inference, one only provides past values, the model outputs future values
>>> outputs = model(past_values=batch["past_values"])
>>> prediction_outputs = outputs.prediction_outputsPatchTSTForClassification
kelas transformers.PatchTSTForClassification
< source >( config: PatchTSTConfig )
Parameter
- config (PatchTSTConfig) — Kelas konfigurasi model dengan semua parameter model. Inisialisasi dengan file konfigurasi tidak memuat bobot yang terkait dengan model, hanya konfigurasinya. Lihat metode from_pretrained() untuk memuat bobot model.
Model PatchTST untuk klasifikasi.
Model ini mewarisi dari PreTrainedModel. Periksa dokumentasi kelas induk untuk metode generik yang diimplementasikan oleh pustaka untuk semua model (seperti mengunduh atau menyimpan, mengubah ukuran embedding input, memangkas kepala, dll.)
Model ini juga merupakan subclass dari torch.nn.Module PyTorch. Gunakan sebagai PyTorch Module biasa dan merujuk ke dokumentasi PyTorch untuk semua hal yang berkaitan dengan penggunaan dan perilaku umum.
forward
< source >( past_values: Tensortarget_values: typing.Optional[torch.Tensor] = Nonepast_observed_mask: bool | None = Noneoutput_hidden_states: bool | None = Noneoutput_attentions: bool | None = Nonereturn_dict: bool | None = None**kwargs ) → PatchTSTForClassificationOutput or tuple(torch.Tensor)
Parameter
- past_values (
torch.Tensordengan bentuk(bs, sequence_length, num_input_channels), wajib) — Urutan input ke model - target_values (
torch.Tensor, opsional) — Label yang terkait denganpast_values - past_observed_mask (
torch.BoolTensordengan bentuk(batch_size, sequence_length, num_input_channels), opsional) — Mask boolean untuk menunjukkan nilaipast_valuesmana yang teramati dan mana yang hilang. Nilai mask dipilih dari[0, 1]:- 1 untuk nilai yang diamati,
- 0 untuk nilai yang hilang (yaitu NaN yang diganti dengan nol).
- output_hidden_states (
bool, opsional) — Apakah akan mengembalikan hidden states dari semua lapisan. Lihathidden_statesdi bawah tensor yang dikembalikan untuk detail lebih lanjut. - output_attentions (
bool, opsional) — Apakah akan mengembalikan tensor attentions dari semua lapisan attention. Lihatattentionsdi bawah tensor yang dikembalikan untuk detail lebih lanjut. - return_dict (
bool, opsional) — Apakah akan mengembalikan ModelOutput alih-alih tuple biasa.
Mengembalikan
PatchTSTForClassificationOutput atau tuple(torch.Tensor)
PatchTSTForClassificationOutput atau tuple dari
torch.Tensor (jika return_dict=False diteruskan atau ketika config.return_dict=False) yang terdiri dari berbagai
elemen tergantung pada konfigurasi (PatchTSTConfig) dan input.
Metode forward dari PatchTSTForClassification menimpa metode khusus __call__.
Meskipun resep untuk forward pass perlu didefinisikan di dalam fungsi ini, sebaiknya panggil instance
Modulesetelahnya alih-alih fungsi ini, karena yang pertama menangani langkah-langkah pra-pemrosesan dan pasca-pemrosesan, sedangkan yang kedua mengabaikannya secara diam-diam.
loss (
*optional*, dikembalikan saatlabelsdisediakan,torch.Tensordengan bentuk(1,)) — Total loss sebagai jumlah dari masked language modeling loss dan next sequence prediction (classification) loss.prediction_logits (
torch.Tensordengan bentuk(batch_size, num_targets)) — Skor prediksi dari kepala pemodelan PatchTST (skor sebelum SoftMax).hidden_states (
tuple[torch.Tensor], opsional, dikembalikan saatoutput_hidden_states=Truedilewatkan atau saatconfig.output_hidden_states=True) — Tuple daritorch.Tensor(satu untuk output dari embeddings, jika model memiliki lapisan embedding, + satu untuk output dari setiap lapisan) dengan bentuk(batch_size, sequence_length, hidden_size).Hidden-states model pada output setiap layer ditambah output embedding awal yang opsional.
attentions (
tuple[torch.Tensor], opsional, dikembalikan saatoutput_attentions=Truedilewatkan atau saatconfig.output_attentions=True) — Tuple daritorch.Tensor(satu untuk setiap layer) dengan bentuk(batch_size, num_heads, sequence_length, sequence_length).Bobot perhatian setelah softmax perhatian, digunakan untuk menghitung rata-rata berbobot di kepala perhatian diri (self-attention).
Contoh:
>>> from transformers import PatchTSTConfig, PatchTSTForClassification
>>> # classification task with two input channel2 and 3 classes
>>> config = PatchTSTConfig(
... num_input_channels=2,
... num_targets=3,
... context_length=512,
... patch_length=12,
... stride=12,
... use_cls_token=True,
... )
>>> model = PatchTSTForClassification(config=config)
>>> # during inference, one only provides past values
>>> past_values = torch.randn(20, 512, 2)
>>> outputs = model(past_values=past_values)
>>> labels = outputs.prediction_logitsPatchTSTForPretraining
kelas transformers.PatchTSTForPretraining
< source >( config: PatchTSTConfig )
Parameter
- config (PatchTSTConfig) — Kelas konfigurasi model dengan semua parameter model. Inisialisasi dengan file konfigurasi tidak memuat bobot yang terkait dengan model, hanya konfigurasinya. Lihat metode from_pretrained() untuk memuat bobot model.
PatchTST untuk model pretrain.
Model ini mewarisi dari PreTrainedModel. Periksa dokumentasi kelas induk untuk metode generik yang diimplementasikan oleh pustaka untuk semua model (seperti mengunduh atau menyimpan, mengubah ukuran embedding input, memangkas kepala, dll.)
Model ini juga merupakan subclass dari torch.nn.Module PyTorch. Gunakan sebagai PyTorch Module biasa dan merujuk ke dokumentasi PyTorch untuk semua hal yang berkaitan dengan penggunaan dan perilaku umum.
forward
< source >( past_values: Tensorpast_observed_mask: typing.Optional[torch.Tensor] = Noneoutput_hidden_states: bool | None = Noneoutput_attentions: bool | None = Nonereturn_dict: bool | None = None**kwargs )
Parameter
- past_values (
torch.Tensordengan bentuk(bs, sequence_length, num_input_channels), wajib) — Urutan input ke model - past_observed_mask (
torch.BoolTensordengan bentuk(batch_size, sequence_length, num_input_channels), opsional) — Mask boolean untuk menunjukkan nilaipast_valuesmana yang teramati dan mana yang hilang. Nilai mask dipilih dari[0, 1]:- 1 untuk nilai yang diamati,
- 0 untuk nilai yang hilang (yaitu NaN yang diganti dengan nol).
- output_hidden_states (
bool, opsional) — Apakah akan mengembalikan hidden states dari semua lapisan - output_attentions (
bool, opsional) — Apakah akan mengembalikan output perhatian dari semua lapisan - return_dict (
bool, opsional) — Apakah akan mengembalikanModelOutputalih-alih tuple biasa.
Contoh:
>>> from huggingface_hub import hf_hub_download
>>> import torch
>>> from transformers import PatchTSTConfig, PatchTSTForPretraining
>>> file = hf_hub_download(
... repo_id="hf-internal-testing/etth1-hourly-batch", filename="train-batch.pt", repo_type="dataset"
... )
>>> batch = torch.load(file)
>>> # Config for random mask pretraining
>>> config = PatchTSTConfig(
... num_input_channels=7,
... context_length=512,
... patch_length=12,
... stride=12,
... mask_type='random',
... random_mask_ratio=0.4,
... use_cls_token=True,
... )
>>> # Config for forecast mask pretraining
>>> config = PatchTSTConfig(
... num_input_channels=7,
... context_length=512,
... patch_length=12,
... stride=12,
... mask_type='forecast',
... num_forecast_mask_patches=5,
... use_cls_token=True,
... )
>>> model = PatchTSTForPretraining(config)
>>> # during training, one provides both past and future values
>>> outputs = model(past_values=batch["past_values"])
>>> loss = outputs.loss
>>> loss.backward()PatchTSTForRegression
kelas transformers.PatchTSTForRegression
< source >( config: PatchTSTConfig )
Parameter
- config (PatchTSTConfig) — Kelas konfigurasi model dengan semua parameter model. Inisialisasi dengan file konfigurasi tidak memuat bobot yang terkait dengan model, hanya konfigurasinya. Lihat metode from_pretrained() untuk memuat bobot model.
Model PatchTST untuk regresi.
Model ini mewarisi dari PreTrainedModel. Periksa dokumentasi kelas induk untuk metode generik yang diimplementasikan oleh pustaka untuk semua model (seperti mengunduh atau menyimpan, mengubah ukuran embedding input, memangkas kepala, dll.)
Model ini juga merupakan subclass dari torch.nn.Module PyTorch. Gunakan sebagai PyTorch Module biasa dan merujuk ke dokumentasi PyTorch untuk semua hal yang berkaitan dengan penggunaan dan perilaku umum.
forward
< source >( past_values: Tensortarget_values: typing.Optional[torch.Tensor] = Nonepast_observed_mask: typing.Optional[torch.Tensor] = Noneoutput_hidden_states: bool | None = Noneoutput_attentions: bool | None = Nonereturn_dict: bool | None = None**kwargs ) → PatchTSTForRegressionOutput or tuple(torch.Tensor)
Parameter
- past_values (
torch.Tensordengan bentuk(bs, sequence_length, num_input_channels), wajib) — Urutan input ke model - target_values (
torch.Tensordengan bentuk(bs, num_input_channels)) — Nilai target yang terkait denganpast_values - past_observed_mask (
torch.BoolTensordengan bentuk(batch_size, sequence_length, num_input_channels), opsional) — Mask boolean untuk menunjukkan nilaipast_valuesmana yang teramati dan mana yang hilang. Nilai mask dipilih dalam [0, 1]: 1 untuk nilai yang teramati, 0 untuk nilai yang hilang (yaitu NaN yang diganti dengan nol). Apakah akan mengembalikan ModelOutput alih-alih tuple biasa.[0, 1]:- 1 untuk nilai yang diamati,
- 0 untuk nilai yang hilang (yaitu NaN yang diganti dengan nol).
Apakah akan mengembalikan
ModelOutputalih-alih tuple biasa.
- output_hidden_states (
bool, opsional) — Apakah akan mengembalikan hidden states dari semua lapisan. Lihathidden_statesdi bawah tensor yang dikembalikan untuk detail lebih lanjut. - output_attentions (
bool, opsional) — Apakah akan mengembalikan tensor attentions dari semua lapisan attention. Lihatattentionsdi bawah tensor yang dikembalikan untuk detail lebih lanjut. - return_dict (
bool, opsional) — Apakah akan mengembalikan ModelOutput alih-alih tuple biasa.
Mengembalikan
PatchTSTForRegressionOutput atau tuple(torch.Tensor)
PatchTSTForRegressionOutput atau tuple dari
torch.Tensor (jika return_dict=False diteruskan atau ketika config.return_dict=False) yang terdiri dari berbagai
elemen tergantung pada konfigurasi (PatchTSTConfig) dan input.
Metode forward dari PatchTSTForRegression menimpa metode khusus __call__.
Meskipun resep untuk forward pass perlu didefinisikan di dalam fungsi ini, sebaiknya panggil instance
Modulesetelahnya alih-alih fungsi ini, karena yang pertama menangani langkah-langkah pra-pemrosesan dan pasca-pemrosesan, sedangkan yang kedua mengabaikannya secara diam-diam.
loss (
*optional*, returned whenlabelsis provided,torch.Tensorof shape(1,)) — MSE loss.regression_outputs (
torch.Tensordengan bentuk(batch_size, num_targets)) — Output regresi dari kepala pemodelan deret waktu.hidden_states (
tuple[torch.Tensor], opsional, dikembalikan saatoutput_hidden_states=Truedilewatkan atau saatconfig.output_hidden_states=True) — Tuple daritorch.Tensor(satu untuk output dari embeddings, jika model memiliki lapisan embedding, + satu untuk output dari setiap lapisan) dengan bentuk(batch_size, sequence_length, hidden_size).Hidden-states model pada output setiap layer ditambah output embedding awal yang opsional.
attentions (
tuple[torch.Tensor], opsional, dikembalikan saatoutput_attentions=Truedilewatkan atau saatconfig.output_attentions=True) — Tuple daritorch.Tensor(satu untuk setiap layer) dengan bentuk(batch_size, num_heads, sequence_length, sequence_length).Bobot perhatian setelah softmax perhatian, digunakan untuk menghitung rata-rata berbobot di kepala perhatian diri (self-attention).
Contoh:
>>> from transformers import PatchTSTConfig, PatchTSTForRegression
>>> # Regression task with 6 input channels and regress 2 targets
>>> model = PatchTSTForRegression.from_pretrained("namctin/patchtst_etth1_regression")
>>> # during inference, one only provides past values, the model outputs future values
>>> past_values = torch.randn(20, 512, 6)
>>> outputs = model(past_values=past_values)
>>> regression_outputs = outputs.regression_outputs