Transformers documentation
컨볼루션 비전 트랜스포머(CvT)
이 모델은 2021-03-29에 HF papers에 게시되었으며, 2022-05-18에 Hugging Face Transformers에 기여되었습니다.
컨볼루션 비전 트랜스포머(CvT)
Convolutional Vision Transformer (CvT)은 컴퓨터 비전 작업을 위해 합성곱 신경망(CNN)과 Vision Transformer의 장점을 결합한 모델입니다. Vision Transformer 아키텍처에 합성곱 계층을 도입하여, self-attention 메커니즘이 제공하는 전역적 맥락을 유지하면서 이미지 내의 로컬 패턴을 포착할 수 있게 합니다.
CvT 체크포인트는 모두 Microsoft 조직에서 찾을 수 있습니다.
이 모델은 anujunj에 의해 기여되었습니다.
CvT 모델에 대한 다양한 컴퓨터 비전 작업 적용 예시를 보려면 오른쪽 사이드바의 CvT 모델을 클릭하세요.
아래 예제는 Pipeline 또는 AutoModel 클래스를 사용하여 이미지를 분류하는 방법을 보여줍니다.
from transformers import pipeline
pipeline = pipeline(
task="image-classification",
model="microsoft/cvt-13",
device=0
)
pipeline("https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/pipeline-cat-chonk.jpeg")import requests
import torch
from PIL import Image
from transformers import AutoImageProcessor, AutoModelForImageClassification
image_processor = AutoImageProcessor.from_pretrained("microsoft/cvt-13")
model = AutoModelForImageClassification.from_pretrained(
"microsoft/cvt-13",
device_map="auto"
)
url = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/pipeline-cat-chonk.jpeg"
image = Image.open(requests.get(url, stream=True).raw)
inputs = image_processor(image, return_tensors="pt").to(model.device)
with torch.no_grad():
logits = model(**inputs).logits
predicted_class_id = logits.argmax(dim=-1).item()
class_labels = model.config.id2label
predicted_class_label = class_labels[predicted_class_id]
print(f"The predicted class label is: {predicted_class_label}")리소스
커스텀 데이터셋에서 추론 및 미세 조정 예시를 확인하려면 이 ViT 노트북 모음을 참조하세요. 해당 노트북에서 ViTFeatureExtractor와 ViTForImageClassification를 각각 AutoImageProcessor와 CvtForImageClassification로 교체하세요.
CvtConfig
클래스 transformers.CvtConfig
< source >( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonenum_channels: int = 3patch_sizes: list[int] | tuple[int, ...] = (7, 3, 3)patch_stride: list[int] | tuple[int, ...] = (4, 2, 2)patch_padding: list[int] | tuple[int, ...] = (2, 1, 1)embed_dim: list[int] | tuple[int, ...] = (64, 192, 384)num_heads: list[int] | tuple[int, ...] = (1, 3, 6)depth: list[int] | tuple[int, ...] = (1, 2, 10)mlp_ratio: list[float] | tuple[float, ...] = (4.0, 4.0, 4.0)attention_drop_rate: list[float] | tuple[float, ...] = (0.0, 0.0, 0.0)drop_rate: list[float] | tuple[float, ...] = (0.0, 0.0, 0.0)drop_path_rate: list[float] | tuple[float, ...] = (0.0, 0.0, 0.1)qkv_bias: list[bool] | tuple[bool, ...] = (True, True, True)cls_token: list[bool] | tuple[bool, ...] = (False, False, True)qkv_projection_method: list[str] | tuple[str, ...] = ('dw_bn', 'dw_bn', 'dw_bn')kernel_qkv: list[int] | tuple[int, ...] = (3, 3, 3)padding_kv: list[int] | tuple[int, ...] = (1, 1, 1)stride_kv: list[int] | tuple[int, ...] = (2, 2, 2)padding_q: list[int] | tuple[int, ...] = (1, 1, 1)stride_q: list[int] | tuple[int, ...] = (1, 1, 1)initializer_range: float = 0.02layer_norm_eps: float = 1e-12 )
매개변수
- num_channels (
int, 선택 사항, 기본값3) — 입력 채널의 수입니다. - patch_sizes (
Union[list[int], tuple[int, ...]], 선택 사항, 기본값(7, 3, 3)) — 모델의 각 단계별 패치 크기. - patch_stride (
list[int], 선택 사항, 기본값[4, 2, 2]) — 각 인코더의 패치 임베딩 스트라이드 크기입니다. - patch_padding (
list[int], 선택 사항, 기본값[2, 1, 1]) — 각 인코더의 패치 임베딩 패딩 크기입니다. - embed_dim (
Union[list[int], tuple[int, ...]], 선택 사항, 기본값(64, 192, 384)) — 임베딩 및 숨겨진 상태의 차원. - num_heads (
Union[list[int], tuple[int, ...]], 선택 사항, 기본값(1, 3, 6)) — Transformer decoder의 각 attention layer에 사용할 attention head의 수입니다. - depth (
list[int], 선택 사항, 기본값[1, 2, 10]) — 각 인코더 블록의 레이어 수입니다. - mlp_ratio (
Union[list[float], tuple[float, ...]], 선택, 기본값(4.0, 4.0, 4.0)) — MLP 은닉 차원과 임베딩 차원의 비율. - attention_drop_rate (
list[float], 선택 사항, 기본값[0.0, 0.0, 0.0]) — Attention 확률에 적용할 dropout 비율입니다. - drop_rate (
list[float], 선택 사항, 기본값[0.0, 0.0, 0.0]) — 패치 임베딩 확률에 적용할 dropout 비율입니다. - drop_path_rate (
Union[list[float], tuple[float, ...]], 선택 사항, 기본값(0.0, 0.0, 0.1)) — 패치 퓨전에 사용할 드롭 패스 비율입니다. - qkv_bias (
Union[list[bool], tuple[bool, ...]], 선택 사항, 기본값(True, True, True)) — queries, keys, values에 bias를 추가할지 여부. - cls_token (
list[bool], 선택, 기본값[False, False, True]) — 마지막 3개 스테이지의 출력에 분류 토큰을 추가할지 여부. - qkv_projection_method (
list[string], 선택 사항, 기본값은 [“dw_bn”, “dw_bn”, “dw_bn”]`) — query, key, value에 사용할 투영 방법입니다. 기본값은 batch norm이 적용된 depth-wise convolution입니다. Linear 투영을 사용하려면 “avg”를 지정합니다. - kernel_qkv (
list[int], 선택 사항, 기본값[3, 3, 3]) — attention layer에서 query, key, value에 사용할 커널 크기 - padding_kv (
list[int], 선택 사항, 기본값[1, 1, 1]) — attention 레이어에서 key와 value에 대한 padding 크기 - stride_kv (
list[int], 선택 사항, 기본값[2, 2, 2]) — attention layer에서 key와 value에 사용할 stride 크기 - padding_q (
list[int], 선택 사항, 기본값[1, 1, 1]) — attention 레이어에서 query에 적용되는 패딩 크기 - stride_q (
list[int], 선택 사항, 기본값[1, 1, 1]) — attention 레이어에서 query의 stride 크기 - initializer_range (
float, 선택 사항, 기본값0.02) — 모든 가중치 행렬을 초기화하는 truncated_normal_initializer의 표준 편차입니다. - layer_norm_eps (
float, 선택 사항, 기본값1e-12) — 레이어 정규화 레이어에서 사용되는 epsilon 값입니다.
이것은 CvtModel의 설정을 저장하기 위한 설정 클래스입니다. 지정된 인자에 따라 Cvt 모델을 인스턴스화하고 모델 아키텍처를 정의하는 데 사용됩니다. 기본값으로 설정을 인스턴스화하면 microsoft/cvt-13와 유사한 설정이 생성됩니다.
Configuration 객체는 PreTrainedConfig를 상속하며 모델 출력을 제어하는 데 사용할 수 있습니다. 자세한 내용은 PreTrainedConfig의 문서를 참고하세요.
예:
>>> from transformers import CvtConfig, CvtModel
>>> # Initializing a Cvt msft/cvt style configuration
>>> configuration = CvtConfig()
>>> # Initializing a model (with random weights) from the msft/cvt style configuration
>>> model = CvtModel(configuration)
>>> # Accessing the model configuration
>>> configuration = model.configCvtModel
class transformers.CvtModel
< source >( config: CvtConfigadd_pooling_layer = True )
매개변수
- config (CvtConfig) — 모델의 모든 매개변수를 포함하는 모델 구성 클래스입니다. 구성 파일로 초기화하는 것은 모델과 연관된 가중치를 로드하지 않으며, 구성 정보만 로드합니다. 모델 가중치를 로드하려면 from_pretrained() 메서드를 확인하세요.
- add_pooling_layer (
bool, 선택 사항, 기본값True) — pooling layer를 추가할지 여부
head가 없는 순수한 Cvt Model로, 특정 head 없이 원시 hidden-states를 출력합니다.
이 모델은 PreTrainedModel에서 상속됩니다. 라이브러리가 모든 모델에 대해 구현하는 일반적 메서드(다운로드 또는 저장, 입력 임베딩 크기 조정, 헤드 프루닝 등)에 대한 세부 사항은 상위 클래스 문서를 확인하세요.
이 모델은 또한 PyTorch torch.nn.Module의 하위 클래스입니다. 일반적인 PyTorch Module처럼 사용하며, 일반적인 사용법 및 동작과 관련된 모든 사항은 PyTorch 문서를 참조하세요.
forward
< source >( pixel_values: typing.Optional[torch.Tensor] = Noneoutput_hidden_states: bool | None = Nonereturn_dict: bool | None = None**kwargs ) → BaseModelOutputWithCLSToken or tuple(torch.Tensor)
매개변수
- pixel_values (
torch.Tensor, shape(batch_size, num_channels, image_size, image_size), 선택 사항) — 입력 이미지에 해당하는 텐서입니다. 픽셀 값은 ConvNextImageProcessor를 사용하여 얻을 수 있습니다. 자세한 내용은 ConvNextImageProcessor.call()를 참조하세요 (processor_class는 이미지 처리에 ConvNextImageProcessor를 사용합니다). - output_hidden_states (
bool, 선택 사항) — 모든 레이어의 hidden states를 반환할지 여부입니다. 자세한 내용은 반환되는 텐서 중hidden_states항목을 참고하세요. - return_dict (
bool, 선택) — 일반 튜플 대신 ModelOutput를 반환할지 여부.
반환값
BaseModelOutputWithCLSToken 또는 tuple(torch.Tensor)
BaseModelOutputWithCLSToken 또는 torch.Tensor의 튜플(return_dict=False가 전달되거나 config.return_dict=False인 경우)로, CvtConfig 및 입력에 따라 다양한 요소를 포함합니다.
CvtModel의 forward 메서드는 __call__ 특수 메서드를 오버라이드합니다.
이 함수 내에서 forward pass의 레시피를 정의해야 하지만, 이후에는 이 함수 대신
Module인스턴스를 호출해야 합니다. 전자는 전처리 및 후처리 단계를 실행하는 것을 처리하는 반면, 후자는 이를 조용히 무시하기 때문입니다.
last_hidden_state (
torch.Tensor, shape(batch_size, sequence_length, hidden_size), 선택 사항) — 모델의 마지막 레이어 출력에서 생성된 hidden-state 시퀀스입니다.cls_token_value (
torch.Tensor, shape(batch_size, 1, hidden_size)) — 모델의 마지막 레이어 출력에서 분류 토큰.hidden_states (
tuple[torch.Tensor, ...], 선택 사항,output_hidden_states=True가 전달되거나config.output_hidden_states=True인 경우 반환됨) —torch.Tensor의 튜플(모델에 임베딩 레이어가 있는 경우 임베딩의 출력에 대한 것 1개 + 각 레이어의 출력에 대한 것 1개)로, 모양은(batch_size, sequence_length, hidden_size)입니다.각 레이어의 출력에서 모델의 Hidden-states와 선택적 초기 임베딩 출력을 포함합니다.
CvtForImageClassification
class transformers.CvtForImageClassification
< source >( config: CvtConfig )
매개변수
- config (CvtConfig) — 모델의 모든 매개변수를 포함하는 모델 구성 클래스입니다. 구성 파일로 초기화하는 것은 모델과 연관된 가중치를 로드하지 않으며, 구성 정보만 로드합니다. 모델 가중치를 로드하려면 from_pretrained() 메서드를 확인하세요.
Cvt 모델은 최종 hidden state의 [CLS] 토큰 위에 선형 레이어를 배치한 이미지 분류 헤드를 포함하며, 예를 들어 ImageNet에 사용됩니다.
이 모델은 PreTrainedModel에서 상속됩니다. 라이브러리가 모든 모델에 대해 구현하는 일반적 메서드(다운로드 또는 저장, 입력 임베딩 크기 조정, 헤드 프루닝 등)에 대한 세부 사항은 상위 클래스 문서를 확인하세요.
이 모델은 또한 PyTorch torch.nn.Module의 하위 클래스입니다. 일반적인 PyTorch Module처럼 사용하며, 일반적인 사용법 및 동작과 관련된 모든 사항은 PyTorch 문서를 참조하세요.
forward
< source >( pixel_values: typing.Optional[torch.Tensor] = Nonelabels: typing.Optional[torch.Tensor] = Noneoutput_hidden_states: bool | None = Nonereturn_dict: bool | None = None**kwargs ) → ImageClassifierOutputWithNoAttention or tuple(torch.Tensor)
매개변수
- pixel_values (
torch.Tensor, shape(batch_size, num_channels, image_size, image_size), 선택 사항) — 입력 이미지에 해당하는 텐서입니다. 픽셀 값은 ConvNextImageProcessor를 사용하여 얻을 수 있습니다. 자세한 내용은 ConvNextImageProcessor.call()를 참조하세요 (processor_class는 이미지 처리에 ConvNextImageProcessor를 사용합니다). - labels (
torch.LongTensor, shape(batch_size,), 선택 사항) — 이미지 분류/회귀 손실을 계산하는 데 사용되는 라벨입니다. 인덱스는[0, ..., config.num_labels - 1]범위에 있어야 합니다.config.num_labels == 1인 경우 회귀 손실(평균 제곱 오차)이 계산되고,config.num_labels > 1인 경우 분류 손실(교차 엔트로피)이 계산됩니다. - output_hidden_states (
bool, 선택 사항) — 모든 레이어의 hidden states를 반환할지 여부입니다. 자세한 내용은 반환되는 텐서 중hidden_states항목을 참고하세요. - return_dict (
bool, 선택) — 일반 튜플 대신 ModelOutput를 반환할지 여부.
반환값
ImageClassifierOutputWithNoAttention 또는 tuple(torch.Tensor)
torch.Tensor의 튜플 또는 ImageClassifierOutputWithNoAttention (return_dict=False가 전달되었거나 config.return_dict=False인 경우)로, 구성(CvtConfig)과 입력에 따라 다양한 요소를 포함합니다.
CvtForImageClassification의 forward 메서드는 __call__ 특수 메서드를 오버라이드합니다.
이 함수 내에서 forward pass의 레시피를 정의해야 하지만, 이후에는 이 함수 대신
Module인스턴스를 호출해야 합니다. 전자는 전처리 및 후처리 단계를 실행하는 것을 처리하는 반면, 후자는 이를 조용히 무시하기 때문입니다.
- loss (
torch.Tensor, shape(1,), 선택 사항,labels이 제공될 때 반환됨) — 분류 (또는 config.num_labels==1인 경우 회귀) 손실. - logits (
torch.Tensor, shape(batch_size, config.num_labels)) — SoftMax 적용 전 분류(또는 config.num_labels==1인 경우 회귀) 점수. - hidden_states (
tuple(torch.Tensor), 선택 사항,output_hidden_states=True가 전달되었거나config.output_hidden_states=True인 경우 반환됨) —torch.Tensor의 튜플(모델에 임베딩 레이어가 있는 경우 임베딩의 출력에 대한 것 1개 + 각 단계의 출력에 대한 것 1개)로, 모양은(batch_size, num_channels, height, width)입니다. 각 단계의 출력에서 모델의 히든 스테이트(피처 맵이라고도 함).
예:
>>> from transformers import AutoImageProcessor, CvtForImageClassification
>>> import torch
>>> from datasets import load_dataset
>>> dataset = load_dataset("huggingface/cats-image")
>>> image = dataset["test"]["image"][0]
>>> image_processor = AutoImageProcessor.from_pretrained("microsoft/cvt-13")
>>> model = CvtForImageClassification.from_pretrained("microsoft/cvt-13")
>>> inputs = image_processor(image, return_tensors="pt")
>>> with torch.no_grad():
... logits = model(**inputs).logits
>>> # model predicts one of the 1000 ImageNet classes
>>> predicted_label = logits.argmax(-1).item()
>>> print(model.config.id2label[predicted_label])
...