Parametreler

• peft_model_id (str, isteğe bağlı) — Hub'da aranacak modelin tanımlayıcısı veya kaydedilmiş adaptör yapılandırma dosyasının ve adaptör ağırlıklarının yerel yolu.
• adapter_name (str, isteğe bağlı) — Kullanılacak adaptör adı. Ayarlanmazsa, “default” adı kullanılır.
• load_config (LoadStateDictConfig, isteğe bağlı) — Adaptör ağırlıklarını çekerken yeniden kullanılacak bir yükleme yapılandırması, genellikle from_pretrained üzerinden.
• kwargs (dict[str, Any], isteğe bağlı) — Anahtar kelime argümanları olarak geçirilen ek LoadStateDictConfig alanları.
• peft_config (dict[str, Any], isteğe bağlı) — Eklenecek adaptörün yapılandırması; desteklenen adaptörler, tüm prompt öğrenme dışı yapılandırmalardır (LoRA, IA³ vb). Bu argüman, kullanıcılar PEFT durum sözlüklerini doğrudan geçirdiğinde kullanılır.
• adapter_state_dict (dict[str, torch.Tensor], isteğe bağlı) — Yüklenmesi gereken adaptörün state dict'i. Bu argüman, kullanıcıların PEFT state dict'lerini doğrudan geçirdiği durumlarda kullanılır.
• low_cpu_mem_usage (bool, isteğe bağlı, varsayılan False) — PEFT adaptörünün yüklenmesi sırasında bellek kullanımını azaltır. Bu, yükleme sürecini de hızlandırmalıdır.
• is_trainable (bool, isteğe bağlı, varsayılan False) — Uyarlamanın (adapter) eğitilebilir olup olmadığı. False ise, uyarlama dondurulur ve yalnızca çıkarım (inference) için kullanılabilir.
• hotswap — ("auto" or bool, optional, defaults to "auto") Whether to substitute an existing (LoRA) adapter with the newly loaded adapter in-place. This means that, instead of loading an additional adapter, this will take the existing adapter weights and replace them with the weights of the new adapter. This can be faster and more memory efficient. However, the main advantage of hotswapping is that when the model is compiled with torch.compile, loading the new adapter does not require recompilation of the model. When using hotswapping, the passed adapter_name should be the name of an already loaded adapter.

  Yeni ve eski adaptörlerin farklı rütbelere ve/veya LoRA alfa değerlerine (yani ölçeklemeye) sahip olması durumunda, adaptörü yüklemekten önce ek bir yöntemi çağırmalısınız:

  model = AutoModel.from_pretrained(...)
  max_rank = ...  # the highest rank among all LoRAs that you want to load
  # call *before* compiling and loading the LoRA adapter
  model.enable_peft_hotswap(target_rank=max_rank)
  model.load_adapter(file_name_1, adapter_name="default")
  # optionally compile the model now
  model = torch.compile(model, ...)
  output_1 = model(...)
  # now you can hotswap the 2nd adapter, use the same name as for the 1st
  # hotswap is activated by default since enable_peft_hotswap was called
  model.load_adapter(file_name_2, adapter_name="default")
  output_2 = model(...)

  Varsayılan olarak hotswap devre dışıdır ve hotswap=True parametresinin geçirilmesini gerektirir. Önce enable_peft_hotswap çağrıldıysa, bu özellik etkinleştirilir. Bu durumda yine de hotswap=False parametresini geçirerek manuel olarak devre dışı bırakabilirsiniz.

  Hotswapping'in, burada belgelenen birkaç kısıtlamaya sahip olduğunu unutmayın: https://huggingface.co/docs/peft/main/en/package_reference/hotswap

• adapter_kwargs (dict[str, Any], isteğe bağlı) — Adapter yapılandırmasının from_pretrained yöntemi ve find_adapter_config_file yönteminde iletilen ek anahtar kelime argümanları.

Parametreler

• adapter_config (~peft.PeftConfig) — Eklenecek adaptörün yapılandırması; desteklenen adaptörler, prompt öğrenme dışı yöntemlerdir (LoRA, IA³ vb.).
• adapter_name (str, isteğe bağlı, varsayılan "default") — Eklenecek adaptörün adı. Bir ad geçirilmezse, adaptöre varsayılan bir ad atanır.

Parametreler

• adapter_name (Union[list[str], str]) — Ayarlanacak adaptörün adı. Birden fazla adaptör ayarlamak için bir dizi dize de olabilir.

Parametreler

• target_rank (int, isteğe bağlı, varsayılan 128) — Yüklenecek tüm adaptörler arasındaki en yüksek rank.
• check_compiled (str, isteğe bağlı, varsayılan olarak "error") — Modelin zaten derlenmiş olduğu durumu nasıl ele alınacağı, bu durumun genellikle kaçınılması gerekir. Seçenekler:
  • “error” (varsayılan): bir hata fırlat
  • “warn”: bir uyarı yayınla
  • “ignore”: hiçbir şey yapma

Parametreler

• adapter_name (str, isteğe bağlı) — State dict'in alınacağı adaptörün adı. Bir ad geçirilmezse, etkin adaptör kullanılır.
• state_dict (torch.Tensor içeren iç içe sözlük, isteğe bağlı) — Modelin durum sözlüğü. Varsayılan olarak self.state_dict() kullanılır ancak modelin durum sözlüğünü geri yüklerken özel önlemler alınması gerekiyorsa (model paralelliği kullanılırken olduğu gibi) kullanılabilir.

Parametreler

• adapter_names (Union[list[str], str]) — Silinecek adaptör(ler)in adı(ları).