Hub documentation
优化
优化
我们简要介绍了惰性求值和急切求值之间的区别。在本页中，我们将展示如何利用惰性 API 获得巨大的性能提升。
Lazy 与 Eager
Polars 支持两种运行模式：lazy（惰性）和 eager（急切）。在 eager API 中，查询会立即执行；而在 lazy API 中，查询只有在“需要”时才会被求值。将执行推迟到最后一刻可以带来显著的性能优势，这也是在大多数非交互式场景中优先选择 lazy API 的原因。
示例
我们将使用上一页的示例来展示使用 lazy API 的性能优势。下面的代码将计算来自 archive.org 的上传数量。
Eager
import polars as pl
import datetime
df = pl.read_csv("hf://datasets/commoncrawl/statistics/tlds.csv", try_parse_dates=True)
df = df.select("suffix", "crawl", "date", "tld", "pages", "domains")
df = df.filter(
(pl.col("date") >= datetime.date(2020, 1, 1)) |
pl.col("crawl").str.contains("CC")
)
df = df.with_columns(
(pl.col("pages") / pl.col("domains")).alias("pages_per_domain")
)
df = df.group_by("tld", "date").agg(
pl.col("pages").sum(),
pl.col("domains").sum(),
)
df = df.group_by("tld").agg(
pl.col("date").unique().count().alias("number_of_scrapes"),
pl.col("domains").mean().alias("avg_number_of_domains"),
pl.col("pages").sort_by("date").pct_change().mean().alias("avg_page_growth_rate"),
).sort("avg_number_of_domains", descending=True).head(10)Lazy
import polars as pl
import datetime
lf = (
pl.scan_csv("hf://datasets/commoncrawl/statistics/tlds.csv", try_parse_dates=True)
.filter(
(pl.col("date") >= datetime.date(2020, 1, 1)) |
pl.col("crawl").str.contains("CC")
).with_columns(
(pl.col("pages") / pl.col("domains")).alias("pages_per_domain")
).group_by("tld", "date").agg(
pl.col("pages").sum(),
pl.col("domains").sum(),
).group_by("tld").agg(
pl.col("date").unique().count().alias("number_of_scrapes"),
pl.col("domains").mean().alias("avg_number_of_domains"),
pl.col("pages").sort_by("date").pct_change().mean().alias("avg_page_growth_rate"),
).sort("avg_number_of_domains", descending=True).head(10)
)
df = lf.collect()计时
在配备家用互联网连接的普通笔记本电脑上，同时运行这两个查询会产生以下运行时间：
- Eager:
1.96秒 - 延迟：
410毫秒
惰性查询比急切查询快约 5 倍。原因在于查询优化器：如果我们将数据集的 collect 操作延迟到末尾执行，Polars 就能推断出需要哪些列和行，并在读取数据时尽可能早地应用过滤条件。对于包含元数据（例如某组行中的最小值、最大值）的文件格式（如 Parquet），这种差异甚至可能更大，因为 Polars 可以根据过滤条件和元数据跳过整个行组，而无需通过网络传输数据。