Hugging Face's logo

Datasets documentation

Kelas Tabel

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Kelas Tabel

Setiap objek Dataset didukung oleh PyArrow Table. Sebuah Table dapat dimuat dari disk (memory mapped) atau di memori. Beberapa tipe Table tersedia, dan semuanya mewarisi dari table.Table.

Tabel

kelas datasets.table.Table

< >

( table: Table )

Membungkus tabel pyarrow dengan menggunakan komposisi. Ini adalah kelas dasar untuk InMemoryTable, MemoryMappedTable dan ConcatenationTable.

Itu mengimplementasikan semua atribut/metode dasar dari kelas Table pyarrow kecuali transformasi Table: slice, filter, flatten, combine_chunks, cast, add_column, append_column, remove_column, set_column, rename_columns dan drop.

Implementasi dari metode-metode ini berbeda untuk setiap subkelas.

validate

< >

( *args**kwargs )

Parameter

  • full (bool, defaultnya False) — Jika True, jalankan pemeriksaan yang mahal, selain itu hanya jalankan pemeriksaan yang murah.

Membuang

pa.lib.ArrowInvalid

  • pa.lib.ArrowInvalid — jika validasi gagal

Lakukan pemeriksaan validasi. Pengecualian akan dilemparkan jika validasi gagal.

Secara default, hanya pemeriksaan validasi yang murah yang dijalankan. Luluskan full=True untuk pemeriksaan validasi yang menyeluruh (potensi O(n)).

sama dengan

< >

( *args**kwargs ) → bool

Parameter

  • other (Tabel) — Tabel untuk dibandingkan.
  • check_metadata bool, defaultnya False) — Apakah kesetaraan metadata skema juga harus diperiksa.

Mengembalikan

bool

Periksa apakah isi dua tabel sama.

to_batches

< >

( *args**kwargs )

Parameter

  • max_chunksize (int, defaultnya None) — Ukuran maksimum untuk chunk RecordBatch. Chunk individual dapat lebih kecil tergantung pada tata letak chunk dari kolom individual.

Konversi Tabel menjadi daftar objek RecordBatch (kontigu).

to_pydict

< >

( *args**kwargs ) → dict

Mengembalikan

dict

Konversi Table menjadi dict atau OrderedDict.

to_pandas

< >

( *args**kwargs ) → pandas.Series or pandas.DataFrame

Parameter

  • memory_pool (MemoryPool, defaultnya None) — Arrow MemoryPool yang digunakan untuk alokasi. Menggunakan memory pool default jika tidak ada yang diteruskan.
  • strings_to_categorical (bool, default False) — Enkode tipe string (UTF8) dan biner menjadi pandas.Categorical.
  • categories (list, defaultnya empty) — Daftar field yang harus dikembalikan sebagai pandas.Categorical. Hanya berlaku untuk struktur data berbentuk tabel.
  • zero_copy_only (bool, defaultnya False) — Membuang ArrowException jika pemanggilan fungsi ini akan memerlukan penyalinan data yang mendasarinya.
  • integer_object_nulls (bool, defaultnya False) — Cast integer dengan null menjadi objek.
  • date_as_object (bool, defaultnya True) — Mengubah tanggal menjadi objek. Jika False, konversi ke dtype datetime64[ns].
  • timestamp_as_object (bool, defaultnya False) — Mengubah timestamp non-nanosecond (np.datetime64) menjadi objek. Hal ini berguna jika Anda memiliki timestamp yang tidak muat dalam rentang tanggal normal untuk timestamp nanosecond (1678 M-2262 M). Jika False, semua timestamp dikonversi ke dtype datetime64[ns].
  • use_threads (bool, defaultnya True) — Apakah akan memparalelkan konversi menggunakan beberapa thread.
  • deduplicate_objects (bool, defaultnya False) — Jangan buat beberapa salinan objek Python saat dibuat, untuk menghemat penggunaan memori. Konversi akan lebih lambat.
  • ignore_metadata (bool, defaultnya False) — Jika True, jangan gunakan metadata ‘pandas’ untuk merekonstruksi indeks DataFrame, jika ada.
  • safe (bool, defaultnya True) — Untuk beberapa tipe data, cast diperlukan agar data dapat disimpan dalam pandas DataFrame atau Series (misalnya, timestamp selalu disimpan sebagai nanosekon di pandas). Opsi ini mengontrol apakah cast tersebut aman atau tidak.
  • split_blocks (bool, defaultnya False) — Jika True, buat satu “block” internal untuk setiap kolom saat membuat pandas.DataFrame dari RecordBatch atau Table. Meskipun ini dapat mengurangi memori secara sementara, perhatikan bahwa berbagai operasi pandas dapat memicu “konsolidasi” yang dapat membengkakkan penggunaan memori.
  • self_destruct (bool, defaultnya False) — EKSPERIMEN: Jika True, coba lepaskan memori Arrow asal saat mengonversi objek Arrow ke pandas. Jika Anda menggunakan objek tersebut setelah memanggil to_pandas dengan opsi ini, program Anda akan crash.
  • types_mapper (function, defaultnya None) — Fungsi yang memetakan pyarrow DataType ke ExtensionDtype pandas. Ini dapat digunakan untuk menimpa tipe pandas default untuk konversi tipe bawaan pyarrow atau jika tidak ada pandas_metadata dalam skema Table. Fungsi ini menerima pyarrow DataType dan diharapkan mengembalikan ExtensionDtype pandas atau None jika konversi default harus digunakan untuk tipe tersebut. Jika Anda memiliki pemetaan kamus, Anda dapat meneruskan dict.get sebagai fungsi.

Mengembalikan

pandas.Series atau pandas.DataFrame

pandas.Series atau pandas.DataFrame tergantung pada tipe objek

Konversi menjadi array NumPy atau DataFrame yang kompatibel dengan pandas, sesuai kebutuhan.

to_string

< >

( *args**kwargs )

field

< >

( *args**kwargs )

Parameter

  • i (Union[int, str]) — Indeks atau nama field yang akan diambil.

Pilih bidang skema berdasarkan nama kolom atau indeks numeriknya.

kolom

< >

( *args**kwargs )

Parameter

  • i (Union[int, str]) — Indeks atau nama kolom yang akan diambil.

Pilih kolom berdasarkan nama kolom atau indeks numeriknya.

itercolumns

< >

( *args**kwargs )

Iterator untuk semua kolom dalam urutan numerik.

skema

< >

( )

Skema tabel dan kolom-kolomnya.

kolom

< >

( )

Daftar semua kolom dalam urutan numerik.

num_columns

< >

( )

Jumlah kolom dalam tabel ini.

num_rows

< >

( )

Jumlah baris dalam tabel ini.

Karena definisi tabel, semua kolom memiliki jumlah baris yang sama.

bentuk

< >

( ) → (int, int)

Mengembalikan

(int, int)

Jumlah baris dan jumlah kolom.

Dimensi tabel: (#baris, #kolom).

nbytes

< >

( )

Total jumlah byte yang dikonsumsi oleh elemen-elemen tabel.

InMemoryTable

kelas datasets.table.InMemoryTable

< >

( table: Table )

Tabel dikatakan in-memory ketika dimuat ke RAM pengguna.

Pickling memang menyalin semua data menggunakan memori. Implementasinya sederhana dan menggunakan metode Table pyarrow yang mendasarinya secara langsung.

Ini berbeda dari tabel MemoryMapped, di mana pickling tidak menyalin semua data di memori. Untuk MemoryMapped, unpickling justru memuat ulang tabel dari disk.

InMemoryTable harus digunakan ketika data muat di memori, sedangkan MemoryMapped dikhususkan untuk data yang lebih besar dari memori atau ketika Anda ingin jejak memori aplikasi Anda tetap rendah.

validate

< >

( *args**kwargs )

Parameter

  • full (bool, defaultnya False) — Jika True, jalankan pemeriksaan yang mahal, selain itu hanya jalankan pemeriksaan yang murah.

Membuang

pa.lib.ArrowInvalid

  • pa.lib.ArrowInvalid — jika validasi gagal

Lakukan pemeriksaan validasi. Pengecualian akan dilemparkan jika validasi gagal.

Secara default, hanya pemeriksaan validasi yang murah yang dijalankan. Luluskan full=True untuk pemeriksaan validasi yang menyeluruh (potensi O(n)).

sama dengan

< >

( *args**kwargs ) → bool

Parameter

  • other (Tabel) — Tabel untuk dibandingkan.
  • check_metadata bool, defaultnya False) — Apakah kesetaraan metadata skema juga harus diperiksa.

Mengembalikan

bool

Periksa apakah isi dua tabel sama.

to_batches

< >

( *args**kwargs )

Parameter

  • max_chunksize (int, defaultnya None) — Ukuran maksimum untuk chunk RecordBatch. Chunk individual dapat lebih kecil tergantung pada tata letak chunk dari kolom individual.

Konversi Tabel menjadi daftar objek RecordBatch (kontigu).

to_pydict

< >

( *args**kwargs ) → dict

Mengembalikan

dict

Konversi Table menjadi dict atau OrderedDict.

to_pandas

< >

( *args**kwargs ) → pandas.Series or pandas.DataFrame

Parameter

  • memory_pool (MemoryPool, defaultnya None) — Arrow MemoryPool yang digunakan untuk alokasi. Menggunakan memory pool default jika tidak ada yang diteruskan.
  • strings_to_categorical (bool, default False) — Enkode tipe string (UTF8) dan biner menjadi pandas.Categorical.
  • categories (list, defaultnya empty) — Daftar field yang harus dikembalikan sebagai pandas.Categorical. Hanya berlaku untuk struktur data berbentuk tabel.
  • zero_copy_only (bool, defaultnya False) — Membuang ArrowException jika pemanggilan fungsi ini akan memerlukan penyalinan data yang mendasarinya.
  • integer_object_nulls (bool, defaultnya False) — Cast integer dengan null menjadi objek.
  • date_as_object (bool, defaultnya True) — Mengubah tanggal menjadi objek. Jika False, konversi ke dtype datetime64[ns].
  • timestamp_as_object (bool, defaultnya False) — Mengubah timestamp non-nanosecond (np.datetime64) menjadi objek. Hal ini berguna jika Anda memiliki timestamp yang tidak muat dalam rentang tanggal normal untuk timestamp nanosecond (1678 M-2262 M). Jika False, semua timestamp dikonversi ke dtype datetime64[ns].
  • use_threads (bool, defaultnya True) — Apakah akan memparalelkan konversi menggunakan beberapa thread.
  • deduplicate_objects (bool, defaultnya False) — Jangan buat beberapa salinan objek Python saat dibuat, untuk menghemat penggunaan memori. Konversi akan lebih lambat.
  • ignore_metadata (bool, defaultnya False) — Jika True, jangan gunakan metadata ‘pandas’ untuk merekonstruksi indeks DataFrame, jika ada.
  • safe (bool, defaultnya True) — Untuk beberapa tipe data, cast diperlukan agar data dapat disimpan dalam pandas DataFrame atau Series (misalnya, timestamp selalu disimpan sebagai nanosekon di pandas). Opsi ini mengontrol apakah cast tersebut aman atau tidak.
  • split_blocks (bool, defaultnya False) — Jika True, buat satu “block” internal untuk setiap kolom saat membuat pandas.DataFrame dari RecordBatch atau Table. Meskipun ini dapat mengurangi memori secara sementara, perhatikan bahwa berbagai operasi pandas dapat memicu “konsolidasi” yang dapat membengkakkan penggunaan memori.
  • self_destruct (bool, defaultnya False) — EKSPERIMEN: Jika True, coba lepaskan memori Arrow asal saat mengonversi objek Arrow ke pandas. Jika Anda menggunakan objek tersebut setelah memanggil to_pandas dengan opsi ini, program Anda akan crash.
  • types_mapper (function, defaultnya None) — Fungsi yang memetakan pyarrow DataType ke ExtensionDtype pandas. Ini dapat digunakan untuk menimpa tipe pandas default untuk konversi tipe bawaan pyarrow atau jika tidak ada pandas_metadata dalam skema Table. Fungsi ini menerima pyarrow DataType dan diharapkan mengembalikan ExtensionDtype pandas atau None jika konversi default harus digunakan untuk tipe tersebut. Jika Anda memiliki pemetaan kamus, Anda dapat meneruskan dict.get sebagai fungsi.

Mengembalikan

pandas.Series atau pandas.DataFrame

pandas.Series atau pandas.DataFrame tergantung pada tipe objek

Konversi menjadi array NumPy atau DataFrame yang kompatibel dengan pandas, sesuai kebutuhan.

to_string

< >

( *args**kwargs )

field

< >

( *args**kwargs )

Parameter

  • i (Union[int, str]) — Indeks atau nama field yang akan diambil.

Pilih bidang skema berdasarkan nama kolom atau indeks numeriknya.

kolom

< >

( *args**kwargs )

Parameter

  • i (Union[int, str]) — Indeks atau nama kolom yang akan diambil.

Pilih kolom berdasarkan nama kolom atau indeks numeriknya.

itercolumns

< >

( *args**kwargs )

Iterator untuk semua kolom dalam urutan numerik.

skema

< >

( )

Skema tabel dan kolom-kolomnya.

kolom

< >

( )

Daftar semua kolom dalam urutan numerik.

num_columns

< >

( )

Jumlah kolom dalam tabel ini.

num_rows

< >

( )

Jumlah baris dalam tabel ini.

Karena definisi tabel, semua kolom memiliki jumlah baris yang sama.

bentuk

< >

( ) → (int, int)

Mengembalikan

(int, int)

Jumlah baris dan jumlah kolom.

Dimensi tabel: (#baris, #kolom).

nbytes

< >

( )

Total jumlah byte yang dikonsumsi oleh elemen-elemen tabel.

column_names

< >

( )

Nama kolom tabel.

slice

< >

( offset = 0length = None )

Parameter

  • offset (int, defaultnya 0) — Offset dari awal tabel untuk dipotong.
  • length (int, defaultnya None) — Panjang slice (defaultnya sampai akhir tabel mulai dari offset).

Hitung irisan zero-copy dari Table ini.

filter

< >

( *args**kwargs )

Pilih rekaman dari sebuah Table. Lihat pyarrow.compute.filter untuk penggunaan lengkap.

flatten

< >

( *args**kwargs )

Parameter

  • memory_pool (MemoryPool, defaultnya None) — Untuk alokasi memori, jika diperlukan, jika tidak gunakan pool default.

Ratakan tabel ini. Setiap kolom dengan tipe struct diratakan menjadi satu kolom per field struct. Kolom lainnya tidak diubah.

combine_chunks

< >

( *args**kwargs )

Parameter

  • memory_pool (MemoryPool, defaultnya None) — Untuk alokasi memori, jika diperlukan, jika tidak gunakan pool default.

Buat tabel baru dengan menggabungkan chunk yang dimiliki tabel ini.

Semua chunk yang mendasari dalam ChunkedArray dari setiap kolom digabungkan menjadi nol atau satu chunk.

cast

< >

( *args**kwargs )

Parameter

  • target_schema (Schema) — Skema untuk di-cast, nama dan urutan field harus cocok.
  • safe (bool, defaultnya True) — Periksa adanya overflow atau konversi tidak aman lainnya.

Cast nilai tabel ke skema lain.

replace_schema_metadata

< >

( *args**kwargs ) → datasets.table.Table

Parameter

  • metadata (dict, defaultnya None) —

Mengembalikan

datasets.table.Table

shallow_copy

EKSPERIMEN: Buat salinan dangkal tabel dengan mengganti metadata skema key-value dengan metadata baru yang ditunjukkan (yang dapat berupa None, yang menghapus metadata yang ada).

add_column

< >

( *args**kwargs ) → datasets.table.Table

Parameter

  • i (int) — Indeks untuk menempatkan kolom.
  • field_ (Union[str, pyarrow.Field]) — Jika string yang diberikan, tipe akan disimpulkan dari data kolom.
  • column (Union[pyarrow.Array, List[pyarrow.Array]]) — Data kolom.

Mengembalikan

datasets.table.Table

Tabel baru dengan kolom yang ditambahkan.

Tambahkan kolom ke Tabel pada posisi.

Tabel baru dikembalikan dengan kolom yang ditambahkan, objek tabel asli tetap tidak berubah.

append_column

< >

( *args**kwargs ) → datasets.table.Table

Parameter

  • field_ (Union[str, pyarrow.Field]) — Jika string yang diberikan, tipe akan disimpulkan dari data kolom.
  • column (Union[pyarrow.Array, List[pyarrow.Array]]) — Data kolom.

Mengembalikan

datasets.table.Table

Tabel baru dengan kolom yang ditambahkan.

Tambahkan kolom di akhir daftar kolom.

remove_column

< >

( *args**kwargs ) → datasets.table.Table

Parameter

  • i (int) — Indeks kolom yang akan dihapus.

Mengembalikan

datasets.table.Table

Tabel baru tanpa kolom tersebut.

Buat tabel baru dengan kolom yang ditunjukkan dihapus.

set_column

< >

( *args**kwargs ) → datasets.table.Table

Parameter

  • i (int) — Indeks untuk menempatkan kolom.
  • field_ (Union[str, pyarrow.Field]) — Jika string yang diberikan, tipe akan disimpulkan dari data kolom.
  • column (Union[pyarrow.Array, List[pyarrow.Array]]) — Data kolom.

Mengembalikan

datasets.table.Table

Tabel baru dengan set kolom yang diteruskan.

Ganti kolom di Tabel pada posisi.

rename_columns

< >

( *args**kwargs )

Buat tabel baru dengan kolom yang namanya diganti menjadi nama yang diberikan.

pilih

< >

( *args**kwargs ) → datasets.table.Table

Parameter

  • columns (Union[List[str], List[int]]) — Nama kolom atau indeks integer yang akan dipilih.

Mengembalikan

datasets.table.Table

Tabel baru dengan kolom yang ditentukan, dan metadata dipertahankan.

Pilih kolom dari tabel.

Mengembalikan tabel baru dengan kolom yang ditentukan, dan metadata dipertahankan.

drop

< >

( *args**kwargs ) → datasets.table.Table

Parameter

  • columns (List[str]) — Daftar nama bidang yang merujuk pada kolom yang sudah ada.

Mengembalikan

datasets.table.Table

Tabel baru tanpa kolom.

Membuang

KeyError

  • KeyError — : jika salah satu nama kolom yang diberikan tidak ada.

Hapus satu atau beberapa kolom dan kembalikan tabel baru.

from_file

< >

( filename: str )

from_buffer

< >

( buffer: Buffer )

from_pandas

< >

( *args**kwargs ) → datasets.table.Table

Parameter

  • df (pandas.DataFrame) —
  • schema (pyarrow.Schema, opsional) — Skema yang diharapkan dari Tabel Arrow. Hal ini dapat digunakan untuk menunjukkan tipe kolom jika tidak dapat disimpulkan secara otomatis. Jika diberikan, output akan memiliki skema ini secara persis. Kolom yang ditentukan dalam skema tetapi tidak ditemukan dalam kolom DataFrame atau indeksnya akan memicu error. Kolom tambahan atau level indeks dalam DataFrame yang tidak ditentukan dalam skema akan diabaikan.
  • preserve_index (bool, opsional) — Apakah indeks akan disimpan sebagai kolom tambahan pada Table yang dihasilkan. Nilai default None akan menyimpan indeks sebagai kolom, kecuali untuk RangeIndex yang hanya disimpan sebagai metadata. Gunakan preserve_index=True untuk memaksa indeks disimpan sebagai kolom.
  • nthreads (int, defaultnya None (dapat menggunakan hingga jumlah CPU sistem)) — Jika lebih dari 1, konversi kolom ke Arrow secara paralel menggunakan jumlah thread yang ditunjukkan.
  • columns (List[str], opsional) — Daftar kolom yang akan dikonversi. Jika None, gunakan semua kolom.
  • safe (bool, defaultnya True) — Periksa apakah ada overflow atau konversi tidak aman lainnya,

Mengembalikan

datasets.table.Table

Mengonversi pandas.DataFrame menjadi Tabel Arrow.

Tipe kolom dalam Tabel Arrow yang dihasilkan disimpulkan dari dtype dari pandas.Series dalam DataFrame. Untuk Series non-object, dtype NumPy diterjemahkan ke padanan Arrow-nya. Untuk object, kita perlu menebak tipe data dengan melihat objek Python dalam Series ini.

Perhatikan bahwa Series dengan dtype object tidak membawa informasi yang cukup untuk selalu menghasilkan tipe Arrow yang bermakna. Dalam kasus di mana kita tidak dapat menyimpulkan tipe, misalnya karena DataFrame memiliki panjang 0 atau Series hanya berisi objek None/nan, tipe akan diatur ke null. Perilaku ini dapat dihindari dengan membuat skema eksplisit dan meneruskannya ke fungsi ini.

Contoh:

>>> import pandas as pd
>>> import pyarrow as pa
>>> df = pd.DataFrame({
    ...     'int': [1, 2],
    ...     'str': ['a', 'b']
    ... })
>>> pa.Table.from_pandas(df)
<pyarrow.lib.Table object at 0x7f05d1fb1b40>

from_arrays

< >

( *args**kwargs )

Parameter

  • arrays (List[Union[pyarrow.Array, pyarrow.ChunkedArray]]) — Array dengan panjang yang sama yang harus membentuk tabel.
  • names (List[str], opsional) — Nama untuk kolom tabel. Jika tidak diberikan, skema harus diberikan.
  • schema (Schema, defaultnya None) — Skema untuk tabel yang dibuat. Jika tidak diberikan, nama harus diberikan.
  • metadata (Union[dict, Mapping], defaultnya None) — Metadata opsional untuk skema (jika disimpulkan).

Konstruksi sebuah Table dari array Arrow.

from_pydict

< >

( *args**kwargs )

Parameter

  • mapping (Union[dict, Mapping]) — Pemetaan dari string ke Array atau daftar Python.
  • schema (Schema, defaultnya None) — Jika tidak diberikan, akan disimpulkan dari nilai Mapping
  • metadata (Union[dict, Mapping], defaultnya None) — Metadata opsional untuk skema (jika disimpulkan).

Konstruksi sebuah Table dari array atau kolom Arrow.

from_batches

< >

( *args**kwargs ) → datasets.table.Table

Parameter

  • batches (Union[Sequence[pyarrow.RecordBatch], Iterator[pyarrow.RecordBatch]]) — Urutan RecordBatch yang akan dikonversi, semua skema harus sama.
  • schema (Schema, defaultnya None) — Jika tidak diberikan, akan disimpulkan dari RecordBatch pertama.

Mengembalikan

datasets.table.Table

Konstruksi sebuah Table dari urutan atau iterator dari RecordBatches Arrow.

MemoryMappedTable

kelas datasets.table.MemoryMappedTable

< >

( table: Tablepath: strreplays: typing.Optional[list[tuple[str, tuple, dict]]] = None )

Tabel dikatakan memory mapped ketika tidak menggunakan RAM pengguna, melainkan memuat data dari disk.

Pickling tidak menyalin data ke dalam memori. Sebagai gantinya, hanya path ke file arrow yang di-memory map yang di-pickle, beserta daftar transformasi untuk “diputar ulang” saat memuat ulang tabel dari disk.

Implementasinya memerlukan penyimpanan riwayat semua transformasi yang diterapkan pada tabel pyarrow yang mendasarinya, sehingga transformasi tersebut dapat “diputar ulang” saat memuat ulang tabel dari disk.

Ini berbeda dari tabel InMemoryTable, di mana pickling memang menyalin semua data di memori.

InMemoryTable harus digunakan ketika data muat di memori, sedangkan MemoryMapped dikhususkan untuk data yang lebih besar dari memori atau ketika Anda ingin jejak memori aplikasi Anda tetap rendah.

validate

< >

( *args**kwargs )

Parameter

  • full (bool, defaultnya False) — Jika True, jalankan pemeriksaan yang mahal, selain itu hanya jalankan pemeriksaan yang murah.

Membuang

pa.lib.ArrowInvalid

  • pa.lib.ArrowInvalid — jika validasi gagal

Lakukan pemeriksaan validasi. Pengecualian akan dilemparkan jika validasi gagal.

Secara default, hanya pemeriksaan validasi yang murah yang dijalankan. Luluskan full=True untuk pemeriksaan validasi yang menyeluruh (potensi O(n)).

sama dengan

< >

( *args**kwargs ) → bool

Parameter

  • other (Tabel) — Tabel untuk dibandingkan.
  • check_metadata bool, defaultnya False) — Apakah kesetaraan metadata skema juga harus diperiksa.

Mengembalikan

bool

Periksa apakah isi dua tabel sama.

to_batches

< >

( *args**kwargs )

Parameter

  • max_chunksize (int, defaultnya None) — Ukuran maksimum untuk chunk RecordBatch. Chunk individual dapat lebih kecil tergantung pada tata letak chunk dari kolom individual.

Konversi Tabel menjadi daftar objek RecordBatch (kontigu).

to_pydict

< >

( *args**kwargs ) → dict

Mengembalikan

dict

Konversi Table menjadi dict atau OrderedDict.

to_pandas

< >

( *args**kwargs ) → pandas.Series or pandas.DataFrame

Parameter

  • memory_pool (MemoryPool, defaultnya None) — Arrow MemoryPool yang digunakan untuk alokasi. Menggunakan memory pool default jika tidak ada yang diteruskan.
  • strings_to_categorical (bool, default False) — Enkode tipe string (UTF8) dan biner menjadi pandas.Categorical.
  • categories (list, defaultnya empty) — Daftar field yang harus dikembalikan sebagai pandas.Categorical. Hanya berlaku untuk struktur data berbentuk tabel.
  • zero_copy_only (bool, defaultnya False) — Membuang ArrowException jika pemanggilan fungsi ini akan memerlukan penyalinan data yang mendasarinya.
  • integer_object_nulls (bool, defaultnya False) — Cast integer dengan null menjadi objek.
  • date_as_object (bool, defaultnya True) — Mengubah tanggal menjadi objek. Jika False, konversi ke dtype datetime64[ns].
  • timestamp_as_object (bool, defaultnya False) — Mengubah timestamp non-nanosecond (np.datetime64) menjadi objek. Hal ini berguna jika Anda memiliki timestamp yang tidak muat dalam rentang tanggal normal untuk timestamp nanosecond (1678 M-2262 M). Jika False, semua timestamp dikonversi ke dtype datetime64[ns].
  • use_threads (bool, defaultnya True) — Apakah akan memparalelkan konversi menggunakan beberapa thread.
  • deduplicate_objects (bool, defaultnya False) — Jangan buat beberapa salinan objek Python saat dibuat, untuk menghemat penggunaan memori. Konversi akan lebih lambat.
  • ignore_metadata (bool, defaultnya False) — Jika True, jangan gunakan metadata ‘pandas’ untuk merekonstruksi indeks DataFrame, jika ada.
  • safe (bool, defaultnya True) — Untuk beberapa tipe data, cast diperlukan agar data dapat disimpan dalam pandas DataFrame atau Series (misalnya, timestamp selalu disimpan sebagai nanosekon di pandas). Opsi ini mengontrol apakah cast tersebut aman atau tidak.
  • split_blocks (bool, defaultnya False) — Jika True, buat satu “block” internal untuk setiap kolom saat membuat pandas.DataFrame dari RecordBatch atau Table. Meskipun ini dapat mengurangi memori secara sementara, perhatikan bahwa berbagai operasi pandas dapat memicu “konsolidasi” yang dapat membengkakkan penggunaan memori.
  • self_destruct (bool, defaultnya False) — EKSPERIMEN: Jika True, coba lepaskan memori Arrow asal saat mengonversi objek Arrow ke pandas. Jika Anda menggunakan objek tersebut setelah memanggil to_pandas dengan opsi ini, program Anda akan crash.
  • types_mapper (function, defaultnya None) — Fungsi yang memetakan pyarrow DataType ke ExtensionDtype pandas. Ini dapat digunakan untuk menimpa tipe pandas default untuk konversi tipe bawaan pyarrow atau jika tidak ada pandas_metadata dalam skema Table. Fungsi ini menerima pyarrow DataType dan diharapkan mengembalikan ExtensionDtype pandas atau None jika konversi default harus digunakan untuk tipe tersebut. Jika Anda memiliki pemetaan kamus, Anda dapat meneruskan dict.get sebagai fungsi.

Mengembalikan

pandas.Series atau pandas.DataFrame

pandas.Series atau pandas.DataFrame tergantung pada tipe objek

Konversi menjadi array NumPy atau DataFrame yang kompatibel dengan pandas, sesuai kebutuhan.

to_string

< >

( *args**kwargs )

field

< >

( *args**kwargs )

Parameter

  • i (Union[int, str]) — Indeks atau nama field yang akan diambil.

Pilih bidang skema berdasarkan nama kolom atau indeks numeriknya.

kolom

< >

( *args**kwargs )

Parameter

  • i (Union[int, str]) — Indeks atau nama kolom yang akan diambil.

Pilih kolom berdasarkan nama kolom atau indeks numeriknya.

itercolumns

< >

( *args**kwargs )

Iterator untuk semua kolom dalam urutan numerik.

skema

< >

( )

Skema tabel dan kolom-kolomnya.

kolom

< >

( )

Daftar semua kolom dalam urutan numerik.

num_columns

< >

( )

Jumlah kolom dalam tabel ini.

num_rows

< >

( )

Jumlah baris dalam tabel ini.

Karena definisi tabel, semua kolom memiliki jumlah baris yang sama.

bentuk

< >

( ) → (int, int)

Mengembalikan

(int, int)

Jumlah baris dan jumlah kolom.

Dimensi tabel: (#baris, #kolom).

nbytes

< >

( )

Total jumlah byte yang dikonsumsi oleh elemen-elemen tabel.

column_names

< >

( )

Nama kolom tabel.

slice

< >

( offset = 0length = None )

Parameter

  • offset (int, defaultnya 0) — Offset dari awal tabel untuk dipotong.
  • length (int, defaultnya None) — Panjang slice (defaultnya sampai akhir tabel mulai dari offset).

Hitung irisan zero-copy dari Table ini.

filter

< >

( *args**kwargs )

Pilih rekaman dari sebuah Table. Lihat pyarrow.compute.filter untuk penggunaan lengkap.

flatten

< >

( *args**kwargs )

Parameter

  • memory_pool (MemoryPool, defaultnya None) — Untuk alokasi memori, jika diperlukan, jika tidak gunakan pool default.

Ratakan tabel ini. Setiap kolom dengan tipe struct diratakan menjadi satu kolom per field struct. Kolom lainnya tidak diubah.

combine_chunks

< >

( *args**kwargs )

Parameter

  • memory_pool (MemoryPool, defaultnya None) — Untuk alokasi memori, jika diperlukan, jika tidak gunakan pool default.

Buat tabel baru dengan menggabungkan chunk yang dimiliki tabel ini.

Semua chunk yang mendasari dalam ChunkedArray dari setiap kolom digabungkan menjadi nol atau satu chunk.

cast

< >

( *args**kwargs )

Parameter

  • target_schema (Schema) — Skema untuk di-cast, nama dan urutan field harus cocok.
  • safe (bool, defaultnya True) — Periksa adanya overflow atau konversi tidak aman lainnya.

Cast nilai tabel ke skema lain

replace_schema_metadata

< >

( *args**kwargs ) → datasets.table.Table

Parameter

  • metadata (dict, defaultnya None) —

Mengembalikan

datasets.table.Table

shallow_copy

EKSPERIMEN: Buat salinan dangkal tabel dengan mengganti metadata skema key-value dengan metadata baru yang ditunjukkan (yang dapat berupa None, yang menghapus metadata yang ada).

add_column

< >

( *args**kwargs ) → datasets.table.Table

Parameter

  • i (int) — Indeks untuk menempatkan kolom.
  • field_ (Union[str, pyarrow.Field]) — Jika string yang diberikan, tipe akan disimpulkan dari data kolom.
  • column (Union[pyarrow.Array, List[pyarrow.Array]]) — Data kolom.

Mengembalikan

datasets.table.Table

Tabel baru dengan kolom yang ditambahkan.

Tambahkan kolom ke Tabel pada posisi.

Tabel baru dikembalikan dengan kolom yang ditambahkan, objek tabel asli tetap tidak berubah.

append_column

< >

( *args**kwargs ) → datasets.table.Table

Parameter

  • field_ (Union[str, pyarrow.Field]) — Jika string yang diberikan, tipe akan disimpulkan dari data kolom.
  • column (Union[pyarrow.Array, List[pyarrow.Array]]) — Data kolom.

Mengembalikan

datasets.table.Table

Tabel baru dengan kolom yang ditambahkan.

Tambahkan kolom di akhir daftar kolom.

remove_column

< >

( *args**kwargs ) → datasets.table.Table

Parameter

  • i (int) — Indeks kolom yang akan dihapus.

Mengembalikan

datasets.table.Table

Tabel baru tanpa kolom tersebut.

Buat tabel baru dengan kolom yang ditunjukkan dihapus.

set_column

< >

( *args**kwargs ) → datasets.table.Table

Parameter

  • i (int) — Indeks untuk menempatkan kolom.
  • field_ (Union[str, pyarrow.Field]) — Jika string yang diberikan, tipe akan disimpulkan dari data kolom.
  • column (Union[pyarrow.Array, List[pyarrow.Array]]) — Data kolom.

Mengembalikan

datasets.table.Table

Tabel baru dengan set kolom yang diteruskan.

Ganti kolom di Tabel pada posisi.

rename_columns

< >

( *args**kwargs )

Buat tabel baru dengan kolom yang namanya diganti menjadi nama yang diberikan.

pilih

< >

( *args**kwargs ) → datasets.table.Table

Parameter

  • columns (Union[List[str], List[int]]) — Nama kolom atau indeks integer yang akan dipilih.

Mengembalikan

datasets.table.Table

Tabel baru dengan kolom yang ditentukan, dan metadata dipertahankan.

Pilih kolom dari tabel.

Mengembalikan tabel baru dengan kolom yang ditentukan, dan metadata dipertahankan.

drop

< >

( *args**kwargs ) → datasets.table.Table

Parameter

  • columns (List[str]) — Daftar nama bidang yang merujuk pada kolom yang sudah ada.

Mengembalikan

datasets.table.Table

Tabel baru tanpa kolom.

Membuang

KeyError

  • KeyError — : jika salah satu nama kolom yang diberikan tidak ada.

Hapus satu atau beberapa kolom dan kembalikan tabel baru.

from_file

< >

( filename: strreplays = None )

ConcatenationTable

kelas datasets.table.ConcatenationTable

< >

( table: Tableblocks: list )

Tabel berasal dari penggabungan beberapa tabel yang disebut blok. Hal ini memungkinkan penggabungan pada sumbu 0 (menambahkan baris) dan sumbu 1 (menambahkan kolom).

Tabel yang mendasarinya disebut “blocks” dan dapat berupa objek InMemoryTable atau MemoryMappedTable. Hal ini memungkinkan penggabungan tabel yang berasal dari memori atau yang dipetakan ke memori. Ketika ConcatenationTable di-pickle, maka setiap block di-pickle:

  • objek InMemoryTable di-pickle dengan menyalin semua data di memori.
  • objek MemoryMappedTable di-pickle tanpa menyalin data ke memori. Sebagai gantinya, hanya path ke file arrow yang di-memory map yang di-pickle, beserta daftar transformasi untuk “replay” saat memuat ulang tabel dari disk.

Implementasinya memerlukan penyimpanan setiap blok secara terpisah. Atribut blocks menyimpan daftar dari daftar blok. Sumbu pertama menggabungkan tabel sepanjang sumbu 0 (menambahkan baris), sedangkan sumbu kedua menggabungkan tabel sepanjang sumbu 1 (menambahkan kolom).

Jika beberapa kolom hilang saat penggabungan pada sumbu 0, kolom tersebut diisi dengan nilai null. Hal ini dilakukan menggunakan pyarrow.concat_tables(tables, promote=True).

Anda dapat mengakses tabel gabungan penuh dengan mengakses atribut ConcatenationTable.table, dan blok-bloknya dengan mengakses atribut ConcatenationTable.blocks.

validate

< >

( *args**kwargs )

Parameter

  • full (bool, defaultnya False) — Jika True, jalankan pemeriksaan yang mahal, selain itu hanya jalankan pemeriksaan yang murah.

Membuang

pa.lib.ArrowInvalid

  • pa.lib.ArrowInvalid — jika validasi gagal

Lakukan pemeriksaan validasi. Pengecualian akan dilemparkan jika validasi gagal.

Secara default, hanya pemeriksaan validasi yang murah yang dijalankan. Luluskan full=True untuk pemeriksaan validasi yang menyeluruh (potensi O(n)).

sama dengan

< >

( *args**kwargs ) → bool

Parameter

  • other (Tabel) — Tabel untuk dibandingkan.
  • check_metadata bool, defaultnya False) — Apakah kesetaraan metadata skema juga harus diperiksa.

Mengembalikan

bool

Periksa apakah isi dua tabel sama.

to_batches

< >

( *args**kwargs )

Parameter

  • max_chunksize (int, defaultnya None) — Ukuran maksimum untuk chunk RecordBatch. Chunk individual dapat lebih kecil tergantung pada tata letak chunk dari kolom individual.

Konversi Tabel menjadi daftar objek RecordBatch (kontigu).

to_pydict

< >

( *args**kwargs ) → dict

Mengembalikan

dict

Konversi Table menjadi dict atau OrderedDict.

to_pandas

< >

( *args**kwargs ) → pandas.Series or pandas.DataFrame

Parameter

  • memory_pool (MemoryPool, defaultnya None) — Arrow MemoryPool yang digunakan untuk alokasi. Menggunakan memory pool default jika tidak ada yang diteruskan.
  • strings_to_categorical (bool, default False) — Enkode tipe string (UTF8) dan biner menjadi pandas.Categorical.
  • categories (list, defaultnya empty) — Daftar field yang harus dikembalikan sebagai pandas.Categorical. Hanya berlaku untuk struktur data berbentuk tabel.
  • zero_copy_only (bool, defaultnya False) — Membuang ArrowException jika pemanggilan fungsi ini akan memerlukan penyalinan data yang mendasarinya.
  • integer_object_nulls (bool, defaultnya False) — Cast integer dengan null menjadi objek.
  • date_as_object (bool, defaultnya True) — Mengubah tanggal menjadi objek. Jika False, konversi ke dtype datetime64[ns].
  • timestamp_as_object (bool, defaultnya False) — Mengubah timestamp non-nanosecond (np.datetime64) menjadi objek. Hal ini berguna jika Anda memiliki timestamp yang tidak muat dalam rentang tanggal normal untuk timestamp nanosecond (1678 M-2262 M). Jika False, semua timestamp dikonversi ke dtype datetime64[ns].
  • use_threads (bool, defaultnya True) — Apakah akan memparalelkan konversi menggunakan beberapa thread.
  • deduplicate_objects (bool, defaultnya False) — Jangan buat beberapa salinan objek Python saat dibuat, untuk menghemat penggunaan memori. Konversi akan lebih lambat.
  • ignore_metadata (bool, defaultnya False) — Jika True, jangan gunakan metadata ‘pandas’ untuk merekonstruksi indeks DataFrame, jika ada.
  • safe (bool, defaultnya True) — Untuk beberapa tipe data, cast diperlukan agar data dapat disimpan dalam pandas DataFrame atau Series (misalnya, timestamp selalu disimpan sebagai nanosekon di pandas). Opsi ini mengontrol apakah cast tersebut aman atau tidak.
  • split_blocks (bool, defaultnya False) — Jika True, buat satu “block” internal untuk setiap kolom saat membuat pandas.DataFrame dari RecordBatch atau Table. Meskipun ini dapat mengurangi memori secara sementara, perhatikan bahwa berbagai operasi pandas dapat memicu “konsolidasi” yang dapat membengkakkan penggunaan memori.
  • self_destruct (bool, defaultnya False) — EKSPERIMEN: Jika True, coba lepaskan memori Arrow asal saat mengonversi objek Arrow ke pandas. Jika Anda menggunakan objek tersebut setelah memanggil to_pandas dengan opsi ini, program Anda akan crash.
  • types_mapper (function, defaultnya None) — Fungsi yang memetakan pyarrow DataType ke ExtensionDtype pandas. Ini dapat digunakan untuk menimpa tipe pandas default untuk konversi tipe bawaan pyarrow atau jika tidak ada pandas_metadata dalam skema Table. Fungsi ini menerima pyarrow DataType dan diharapkan mengembalikan ExtensionDtype pandas atau None jika konversi default harus digunakan untuk tipe tersebut. Jika Anda memiliki pemetaan kamus, Anda dapat meneruskan dict.get sebagai fungsi.

Mengembalikan

pandas.Series atau pandas.DataFrame

pandas.Series atau pandas.DataFrame tergantung pada tipe objek

Konversi menjadi array NumPy atau DataFrame yang kompatibel dengan pandas, sesuai kebutuhan.

to_string

< >

( *args**kwargs )

field

< >

( *args**kwargs )

Parameter

  • i (Union[int, str]) — Indeks atau nama field yang akan diambil.

Pilih bidang skema berdasarkan nama kolom atau indeks numeriknya.

kolom

< >

( *args**kwargs )

Parameter

  • i (Union[int, str]) — Indeks atau nama kolom yang akan diambil.

Pilih kolom berdasarkan nama kolom atau indeks numeriknya.

itercolumns

< >

( *args**kwargs )

Iterator untuk semua kolom dalam urutan numerik.

skema

< >

( )

Skema tabel dan kolom-kolomnya.

kolom

< >

( )

Daftar semua kolom dalam urutan numerik.

num_columns

< >

( )

Jumlah kolom dalam tabel ini.

num_rows

< >

( )

Jumlah baris dalam tabel ini.

Karena definisi tabel, semua kolom memiliki jumlah baris yang sama.

bentuk

< >

( ) → (int, int)

Mengembalikan

(int, int)

Jumlah baris dan jumlah kolom.

Dimensi tabel: (#baris, #kolom).

nbytes

< >

( )

Total jumlah byte yang dikonsumsi oleh elemen-elemen tabel.

column_names

< >

( )

Nama kolom tabel.

slice

< >

( offset = 0length = None )

Parameter

  • offset (int, defaultnya 0) — Offset dari awal tabel untuk dipotong.
  • length (int, defaultnya None) — Panjang slice (defaultnya sampai akhir tabel mulai dari offset).

Hitung irisan zero-copy dari Table ini.

filter

< >

( mask*args**kwargs )

Pilih rekaman dari sebuah Table. Lihat pyarrow.compute.filter untuk penggunaan lengkap.

flatten

< >

( *args**kwargs )

Parameter

  • memory_pool (MemoryPool, defaultnya None) — Untuk alokasi memori, jika diperlukan, jika tidak gunakan pool default.

Ratakan tabel ini. Setiap kolom dengan tipe struct diratakan menjadi satu kolom per field struct. Kolom lainnya tidak diubah.

combine_chunks

< >

( *args**kwargs )

Parameter

  • memory_pool (MemoryPool, defaultnya None) — Untuk alokasi memori, jika diperlukan, jika tidak gunakan pool default.

Buat tabel baru dengan menggabungkan chunk yang dimiliki tabel ini.

Semua chunk yang mendasari dalam ChunkedArray dari setiap kolom digabungkan menjadi nol atau satu chunk.

cast

< >

( target_schema*args**kwargs )

Parameter

  • target_schema (Schema) — Skema untuk di-cast, nama dan urutan field harus cocok.
  • safe (bool, defaultnya True) — Periksa adanya overflow atau konversi tidak aman lainnya.

Cast nilai tabel ke skema lain.

replace_schema_metadata

< >

( *args**kwargs ) → datasets.table.Table

Parameter

  • metadata (dict, defaultnya None) —

Mengembalikan

datasets.table.Table

shallow_copy

EKSPERIMEN: Buat salinan dangkal tabel dengan mengganti metadata skema key-value dengan metadata baru yang ditunjukkan (yang dapat berupa None, yang menghapus metadata yang ada).

add_column

< >

( *args**kwargs ) → datasets.table.Table

Parameter

  • i (int) — Indeks untuk menempatkan kolom.
  • field_ (Union[str, pyarrow.Field]) — Jika string yang diberikan, tipe akan disimpulkan dari data kolom.
  • column (Union[pyarrow.Array, List[pyarrow.Array]]) — Data kolom.

Mengembalikan

datasets.table.Table

Tabel baru dengan kolom yang ditambahkan.

Tambahkan kolom ke Tabel pada posisi.

Tabel baru dikembalikan dengan kolom yang ditambahkan, objek tabel asli tetap tidak berubah.

append_column

< >

( *args**kwargs ) → datasets.table.Table

Parameter

  • field_ (Union[str, pyarrow.Field]) — Jika string yang diberikan, tipe akan disimpulkan dari data kolom.
  • column (Union[pyarrow.Array, List[pyarrow.Array]]) — Data kolom.

Mengembalikan

datasets.table.Table

Tabel baru dengan kolom yang ditambahkan.

Tambahkan kolom di akhir daftar kolom.

remove_column

< >

( i*args**kwargs ) → datasets.table.Table

Parameter

  • i (int) — Indeks kolom yang akan dihapus.

Mengembalikan

datasets.table.Table

Tabel baru tanpa kolom tersebut.

Buat tabel baru dengan kolom yang ditunjukkan dihapus.

set_column

< >

( *args**kwargs ) → datasets.table.Table

Parameter

  • i (int) — Indeks untuk menempatkan kolom.
  • field_ (Union[str, pyarrow.Field]) — Jika string yang diberikan, tipe akan disimpulkan dari data kolom.
  • column (Union[pyarrow.Array, List[pyarrow.Array]]) — Data kolom.

Mengembalikan

datasets.table.Table

Tabel baru dengan set kolom yang diteruskan.

Ganti kolom di Tabel pada posisi.

rename_columns

< >

( names*args**kwargs )

Buat tabel baru dengan kolom yang namanya diganti menjadi nama yang diberikan.

pilih

< >

( columns*args**kwargs ) → datasets.table.Table

Parameter

  • columns (Union[List[str], List[int]]) — Nama kolom atau indeks integer yang akan dipilih.

Mengembalikan

datasets.table.Table

Tabel baru dengan kolom yang ditentukan, dan metadata dipertahankan.

Pilih kolom dari tabel.

Mengembalikan tabel baru dengan kolom yang ditentukan, dan metadata dipertahankan.

drop

< >

( columns*args**kwargs ) → datasets.table.Table

Parameter

  • columns (List[str]) — Daftar nama bidang yang merujuk pada kolom yang sudah ada.

Mengembalikan

datasets.table.Table

Tabel baru tanpa kolom.

Membuang

KeyError

  • KeyError — : jika salah satu nama kolom yang diberikan tidak ada.

Hapus satu atau beberapa kolom dan kembalikan tabel baru.

from_blocks

< >

( blocks: ~TableBlockContainer )

from_tables

< >

( tables: listaxis: int = 0 )

Parameter

  • tables (daftar Table atau daftar pyarrow.Table) — Daftar tabel.
  • axis ({0, 1}, default ke 0, yang berarti pada baris) — Axis untuk penggabungan, di mana 0 berarti pada baris (vertikal) dan 1 berarti pada kolom (horizontal).

    Ditambahkan di 1.6.0

Buat ConcatenationTable dari daftar tabel.

Utilitas

datasets.table.concat_tables

< >

( tables: listaxis: int = 0 ) → datasets.table.Table

Parameter

  • tables (list of Table) — Daftar tabel yang akan digabungkan.
  • axis ({0, 1}, default ke 0, yang berarti pada baris) — Axis untuk penggabungan, di mana 0 berarti pada baris (vertikal) dan 1 berarti pada kolom (horizontal).

    Ditambahkan di 1.6.0

Mengembalikan

datasets.table.Table

Jika jumlah tabel input > 1, maka tabel yang dikembalikan adalah datasets.table.ConcatenationTable. Jika tidak, jika hanya ada satu tabel, tabel tersebut dikembalikan apa adanya.

Gabungkan tabel.

datasets.table.list_table_cache_files

< >

( table: Table ) → List[str]

Mengembalikan

List[str]

Daftar jalur ke file cache yang dimuat oleh tabel.

Dapatkan file cache yang dimuat oleh tabel. File cache digunakan ketika bagian dari tabel berasal dari disk melalui pemetaan memori.

Update on GitHub

←Metode pemuatan Utilitas→