建站
咨詢
售后
建站咨詢
新聞中心
對于我們?nèi)粘５臄?shù)據(jù)清理、預(yù)處理和分析方面的大多數(shù)任務(wù)，Pandas已經(jīng)綽綽有余。但是當數(shù)據(jù)量變得非常大時，它的性能開始下降。
創(chuàng)新互聯(lián)公司主要從事成都網(wǎng)站制作、成都網(wǎng)站設(shè)計、網(wǎng)頁設(shè)計、企業(yè)做網(wǎng)站、公司建網(wǎng)站等業(yè)務(wù)。立足成都服務(wù)連江,十多年網(wǎng)站建設(shè)經(jīng)驗,價格優(yōu)惠、服務(wù)專業(yè),歡迎來電咨詢建站服務(wù):18980820575
我們以前的兩篇文章來測試Pandas 1.5.3、polar和Pandas 2.0.0之間的性能了，Polars 正好可以解決大數(shù)據(jù)量是處理的問題，所以本文將介紹如何將日常的數(shù)據(jù)ETL和查詢過濾的Pandas轉(zhuǎn)換成polars。
Polars的優(yōu)勢
Polars是一個用于Rust和Python的DataFrame庫。
- Polars利用機器上所有可用的內(nèi)核，而pandas使用單個CPU內(nèi)核來執(zhí)行操作。
- Polars比pandas相對輕量級，沒有依賴關(guān)系，這使得導入Polars的速度更快。導入Polars只需要70毫秒，而導入pandas需要520毫秒。
- Polars進行查詢優(yōu)化減少了不必要的內(nèi)存分配。它還能夠以流方式部分或全部地處理查詢。
- Polars可以處理比機器可用RAM更大的數(shù)據(jù)集。
ETL
Extract, Transform, and Load (ETL)的過程是怎樣的:
“提取、轉(zhuǎn)換和加載(ETL)是將來自多個數(shù)據(jù)源的數(shù)據(jù)組合到稱為數(shù)據(jù)倉庫的過程。ETL使用一組業(yè)務(wù)規(guī)則來清理和組織原始數(shù)據(jù)，并為存儲、數(shù)據(jù)分析和機器學習(ML)做好準備?？梢酝ㄟ^數(shù)據(jù)分析解決特定的業(yè)務(wù)智能需求(例如預(yù)測業(yè)務(wù)決策的結(jié)果、生成報告、減少操作效率低下，等等)。
Polars和Pandas都支持從各種來源讀取數(shù)據(jù)，包括CSV、Parquet和JSON。
df = pl.read_csv('data.csv')
df = pl.read_parquet('data.parquet')
df = pl.read_json('data.json')對于數(shù)據(jù)的讀取方面和Pandas基本一致。
轉(zhuǎn)換是ETL中最重要、最困難和最耗時的步驟。
polar支持Pandas函數(shù)的一個子集，所以我們可以使用熟悉的Pandas函數(shù)來執(zhí)行數(shù)據(jù)轉(zhuǎn)換。
df = df.select(['A', 'C'])
df = df.rename({‘A’: ‘ID’, ‘C’: ‘Total’})
df = df.filter(pl.col('A') > 2)
df = df.groupby('A').agg({'C': 'sum'})
這些Pandas函數(shù)都可以直接使用。
創(chuàng)建新列：
df = df.with_column(pl.col(‘Total’) / 2, ‘Half Total’)
處理空值：
df = df.fill_null(0)
df_filled = df.fill_null('backward')
df = df.fillna(method='ffill')
Dataframe 的合并
#pandas
df_join = pd.merge(df1, df2, on='A')
#polars
df_join = df1.join(df2, on='A')
連接兩個DF
#pandas
df_union = pd.concat([df1, df2], ignore_index=True)
#polars
df_union = pl.vstack([df1, df2])
polar使用與Pandas相同的函數(shù)來將數(shù)據(jù)保存到CSV、JSON和Parquet文件中。
# CSV
df.to_csv(file)
# JSON
df.to_json(file)
# Parquet
df.to_parquet(file)
最后，如果你還需要使用Pandas做一些特殊的操作，可以使用:
df.to_pandas()
這可以將polar的DF轉(zhuǎn)換成pandas的DF。
最后我們整理一個簡單的表格：
數(shù)據(jù)的查詢過濾
我們的日常工作中，數(shù)據(jù)的查詢是最重要，也是用的最多的，所以在這里我們再整理下查詢過濾的操作。
首先創(chuàng)建一個要處理的DataFrame。
# pandas
import pandas as pd
# read csv
df_pd = pd.read_csv("datasets/sales_data_with_stores.csv")
# display the first 5 rows
df_pd.head()
# polars
import polars as pl
# read_csv
df_pl = pl.read_csv("datasets/sales_data_with_stores.csv")
# display the first 5 rows
df_pl.head()
polars首先顯示了列的數(shù)據(jù)類型和輸出的形狀，這對我們來說非常好。下面我們進行一些查詢，我們這里只顯示一個輸出，因為結(jié)果都是一樣的：
1、按數(shù)值篩選
# pandas
df_pd[df_pd["cost"] > 750]
df_pd.query('cost > 750')
# polars
df_pl.filter(pl.col("cost") > 750)
2、多個條件查詢
pandas和polar都支持根據(jù)多個條件進行過濾。我們可以用“and”和“or”邏輯組合條件。
# pandas
df_pd[(df_pd["cost"] > 750) & (df_pd["store"] == "Violet")]
# polars
df_pl.filter((pl.col("cost") > 750) & (pl.col("store") == "Violet"))
3、isin
pandas的isin方法可用于將行值與值列表進行比較。當條件包含多個值時，它非常有用。這個方法的polar版本是" is_in "。
# pandas
df_pd[df_pd["product_group"].isin(["PG1", "PG2", "PG5"])]
# polars
df_pl.filter(pl.col("product_group").is_in(["PG1", "PG2", "PG5"]))
4、選擇列的子集
為了選擇列的子集，我們可以將列名傳遞給pandas和polar，如下所示:
cols = ["product_code", "cost", "price"]
# pandas (both of the following do the job)
df_pd[cols]
df_pd.loc[:, cols]
# polars
df_pl.select(pl.col(cols))
5、選擇行子集
pandas中可以使用loc或iloc方法選擇行。在polar則更簡單。
# pandas
df_pd.iloc[10:20]
# polars
df_pl[10:20]
選擇相同的行，但只選擇前三列:
# pandas
df_pd.iloc[10:20, :3]
# polars
df_pl[10:20, :3]
如果要按名稱選擇列：
# pandas
df_pd.loc[10:20, ["store", "product_group", "price"]]
# polars
df_pl[10:20, ["store", "product_group", "price"]]
按數(shù)據(jù)類型選擇列：
我們還可以選擇具有特定數(shù)據(jù)類型的列。
# pandas
df_pd.select_dtypes(include="int64")
# polars
df_pl.select(pl.col(pl.Int64))
總結(jié)
可以看到polar與pandas非常相似，所以如果在處理大數(shù)據(jù)集的時候，我們可以嘗試使用polar，因為它在處理大型數(shù)據(jù)集時的效率要比pandas高，我們這里只介紹了一些簡單的操作，如果你想了解更多，請看polar的官方文檔:
https://pola-rs.github.io/polars-book/user-guide/coming_from_pandas.html
網(wǎng)頁名稱：從Pandas快速切換到Polars：數(shù)據(jù)的ETL和查詢
網(wǎng)頁鏈接：http://m.fisionsoft.com.cn/article/dhdjjej.html
