AutoencoderOobleck

Model variational autoencoder (VAE) Oobleck dengan kerugian KL diperkenalkan dalam Stability-AI/stable-audio-tools dan Stable Audio Open oleh Stability AI. Model ini digunakan dalam 🤗 Diffusers untuk mengkodekan gelombang audio menjadi latens dan untuk mendekode representasi latens menjadi gelombang audio.

Abstrak dari makalah tersebut adalah:

Model generatif terbuka sangat penting bagi komunitas, karena memungkinkan fine-tuning dan berfungsi sebagai baseline saat mempresentasikan model baru. Namun, sebagian besar model text-to-audio saat ini bersifat privat dan tidak dapat diakses oleh seniman maupun peneliti untuk dikembangkan lebih lanjut. Di sini, kami menjelaskan arsitektur dan proses pelatihan dari model text-to-audio open-weights baru yang dilatih dengan data Creative Commons. Evaluasi kami menunjukkan bahwa kinerja model ini kompetitif dengan state-of-the-art di berbagai metrik. Secara khusus, hasil FDopenl3 yang dilaporkan (mengukur realisme dari generasi) menunjukkan potensinya untuk sintesis suara stereo berkualitas tinggi pada 44.1kHz.

AutoencoderOobleck

kelas diffusers.AutoencoderOobleck

< source >

( encoder_hidden_size = 128downsampling_ratios = [2, 4, 4, 8, 8]channel_multiples = [1, 2, 4, 8, 16]decoder_channels = 128decoder_input_channels = 64audio_channels = 2sampling_rate = 44100 )

Parameter

encoder_hidden_size (int, opsional, default 128) — Dimensi representasi antara untuk encoder.
downsampling_ratios (list[int], opsional, default [2, 4, 4, 8, 8]) — Rasio untuk downsampling di encoder. Rasio ini digunakan dalam urutan terbalik untuk upsampling di decoder.
channel_multiples (list[int], opsional, default [1, 2, 4, 8, 16]) — Kelipatan yang digunakan untuk menentukan ukuran tersembunyi dari lapisan tersembunyi.
decoder_channels (int, opsional, default 128) — Dimensi representasi antara untuk decoder.
decoder_input_channels (int, opsional, default 64) — Dimensi input untuk decoder. Bersesuaian dengan dimensi laten.
audio_channels (int, opsional, default 2) — Jumlah channel dalam data audio. 1 untuk mono atau 2 untuk stereo.
sampling_rate (int, opsional, default 44100) — Laju sampling di mana gelombang audio harus didigitalisasi, dinyatakan dalam hertz (Hz).

Autoencoder untuk mengkodekan waveform menjadi latents dan mendekode representasi latent menjadi waveform. Pertama kali diperkenalkan di Stable Audio.

Model ini mewarisi dari ModelMixin. Periksa dokumentasi kelas induk untuk metode generiknya yang diimplementasikan untuk semua model (seperti mengunduh atau menyimpan).

decode

< source >

( z: FloatTensorreturn_dict: bool = Truegenerator = None ) → ~models.vae.OobleckDecoderOutput or tuple

Parameter

z (torch.Tensor) — Batch input dari vektor laten.
return_dict (bool, opsional, default True) — Apakah akan mengembalikan ~models.vae.OobleckDecoderOutput alih-alih tuple biasa.

Mengembalikan

~models.vae.OobleckDecoderOutput atau tuple

If return_dict is True, a ~models.vae.OobleckDecoderOutput is returned, otherwise a plain tuple is returned.

Decode sekelompok gambar.

encode

< source >

( x: Tensorreturn_dict: bool = True )

Parameter

x (torch.Tensor) — Batch input gambar.
return_dict (bool, opsional, default True) — Apakah akan mengembalikan ~models.autoencoder_kl.AutoencoderKLOutput alih-alih tuple biasa.

Enkodekan batch gambar menjadi latents.

forward

< source >

( sample: Tensorsample_posterior: bool = Falsereturn_dict: bool = Truegenerator: typing.Optional[torch.Generator] = None ) → ~models.vae.OobleckDecoderOutput or tuple

Parameter

sample (torch.Tensor) — Sampel input.
sample_posterior (bool, opsional, default False) — Apakah akan mengambil sampel dari posterior.
return_dict (bool, opsional, default True) — Apakah akan mengembalikan OobleckDecoderOutput alih-alih tuple biasa.
generator (torch.Generator, opsional) — torch.Generator untuk membuat sampling menjadi deterministik.

Mengembalikan

~models.vae.OobleckDecoderOutput atau tuple

Jika return_dict bernilai True, sebuah ~models.vae.OobleckDecoderOutput akan dikembalikan, selain itu sebuah tuple biasa akan dikembalikan.

OobleckDecoderOutput

kelas diffusers.models.autoencoders.autoencoder_oobleck.OobleckDecoderOutput

< source >

( sample: Tensor )

Parameter

sample (torch.Tensor dengan bentuk (batch_size, audio_channels, sequence_length)) — Contoh output yang telah didekodekan dari lapisan terakhir model.

Output dari metode decoding.

AutoencoderOobleckOutput

kelas diffusers.models.autoencoders.autoencoder_oobleck.AutoencoderOobleckOutput

< source >

( latent_dist: OobleckDiagonalGaussianDistribution )

Parameter

latent_dist (OobleckDiagonalGaussianDistribution) — Output hasil encoding dari Encoder yang direpresentasikan sebagai mean dan standar deviasi dari OobleckDiagonalGaussianDistribution. OobleckDiagonalGaussianDistribution memungkinkan pengambilan sampel latents dari distribusi tersebut.

Output dari metode encoding AutoencoderOobleck.

Update on GitHub