Pandas: تحسين الأداء

import pandas as pd
import numpy as np

# لا تفعل هذا — بطيء جدًا!
# for i, row in df.iterrows():
#     df.loc[i, 'new_col'] = row['a'] * row['b'] + row['c']

> **الخرج:** قم بتشغيل هذا في بيئة Python محلية (pandas 2.x). خادم Piston لا يحتوي على pandas مثبته مسبقًا. يرجى تثبيته محليًا (`pip install pandas`) والمتابعة. القيم الفعلية قد تختلف قليلاً حسب إصدار pandas.

import pandas as pd
import numpy as np

np.random.seed(42)
df = pd.DataFrame({
    'a': np.random.randn(100000),
    'b': np.random.randn(100000),
    'c': np.random.randn(100000)
})

# ❌ بطيء: iterrows (~300 ثانية لـ 100,000 صف)
# for i, row in df.iterrows():
#     df.loc[i, 'result'] = row['a'] * row['b'] + row['c']

# ✅ سريع: توحيد اتجاهي (~0.03 ثانية)
df['result'] = df['a'] * df['b'] + df['c']

print(f"Result mean: {df['result'].mean():.4f}")
# ~30 ثانية مقابل ~0.03 ثانية — أسرع بمقدار 1000 مرة!

> **الخرج:** قم بتشغيل هذا في بيئة Python محلية (pandas 2.x). خادم Piston لا يحتوي على pandas مثبته مسبقًا. يرجى تثبيته محليًا (`pip install pandas`) والمتابعة. القيم الفعلية قد تختلف قليلاً حسب إصدار pandas.

> **المخرجات:** قم بتشغيل هذا في بيئة بايثون محلية (pandas 2.x). خادم Piston لا يحتوي على pandas مثبتًا مسبقًا. يرجى تثبيته محليًا (`pip install pandas`) والمتابعة. قد تختلف القيم الفعلية قليلاً حسب إصدار pandas.

import pandas as pd
import numpy as np

np.random.seed(42)
df = pd.DataFrame({
    'a': np.random.randn(50000),
    'b': np.random.randn(50000)
})

# الطريقة 1: iterrows (الأبطأ — لا تستخدمها أبدًا للحسابات)
# ~60 ثانية لـ 50,000 صف

# الطريقة 2: apply (بطيئة)
result2 = df.apply(lambda row: row['a'] + row['b'], axis=1)

# الطريقة 3: vectorized (سريعة)
result3 = df['a'] + df['b']

# الطريقة 4: numpy (الأسرع)
result4 = (df['a'].values + df['b'].values)

# التحقق من تطابق النتائج
print(np.allclose(result2.values, result3.values))  # True
print(np.allclose(result3.values, result4))          # True

> **المخرجات:** قم بتشغيل هذا في بيئة بايثون محلية (pandas 2.x). خادم Piston لا يحتوي على pandas مثبتًا مسبقًا. يرجى تثبيته محليًا (`pip install pandas`) والمتابعة. قد تختلف القيم الفعلية قليلاً حسب إصدار pandas.

> **الخرج:** قم بتشغيل هذا في بيئة بايثون محلية (pandas 2.x). لا يحتوي خادم Piston على pandas مثبتة مسبقاً. يرجى تثبيتها محلياً (`pip install pandas`) واتباع الشرح. قد تختلف القيم الفعليّة قليلاً حسب إصدار pandas.

import pandas as pd
import numpy as np

np.random.seed(42)
df = pd.DataFrame({
    'a': np.random.randn(100000),
    'b': np.random.randn(100000),
    'c': np.random.randn(100000),
    'd': np.random.randn(100000)
})

# تعبير معقد — eval يتجنب البيانات الوسيطة (DataFrames)
result1 = df['a'] * df['b'] + df['c'] / df['d'] - df['a'] ** 2
result2 = df.eval('a * b + c / d - a ** 2')

print(np.allclose(result1, result2))  # True
# eval أسرع عندما:
# 1. أعمدة كثيرة في التعبير (>4)
# 2. DataFrame كبير (>10K صف)
# 3. الذاكرة محدودة (يتجنب الوسائط)

# query للتصفية
filtered = df.query('a > 0 and b < 0')
# المعادل: df[(df['a'] > 0) & (df['b'] < 0)]

> **الخرج:** قم بتشغيل هذا في بيئة بايثون محلية (pandas 2.x). لا يحتوي خادم Piston على pandas مثبتة مسبقاً. يرجى تثبيتها محلياً (`pip install pandas`) واتباع الشرح. قد تختلف القيم الفعليّة قليلاً حسب إصدار pandas.

> **المخرجات:** قم بتشغيل هذا في بيئة Python محلية (pandas 2.x). خادم Piston لا يحتوي على pandas مثبّتًا مسبقًا. يرجى تثبيته محليًا (`pip install pandas`) والمتابعة. قد تختلف القيم الفعلية قليلاً حسب إصدار pandas.

import pandas as pd
import numpy as np

np.random.seed(42)
# Simulate: 100K rows, 10 unique cities
df = pd.DataFrame({
    'city': np.random.choice(['NYC', 'LA', 'Chicago', 'Houston', 'Phoenix',
                               'Philly', 'San Antonio', 'San Diego', 'Dallas', 'Austin'], 100000),
    'status': np.random.choice(['Active', 'Inactive', 'Pending', 'Churned'], 100000)
})

# Before: object type
mem_before = df.memory_usage(deep=True).sum()
print(f"Before (object): {mem_before / 1024:.1f} KB")

# After: category type
df['city'] = df['city'].astype('category')
df['status'] = df['status'].astype('category')
mem_after = df.memory_usage(deep=True).sum()
print(f"After (category): {mem_after / 1024:.1f} KB")
print(f"Savings: {(1 - mem_after / mem_before) * 100:.1f}%")
# Typically 80-95% memory reduction for low-cardinality strings!

> **المخرجات:** قم بتشغيل هذا في بيئة Python محلية (pandas 2.x). خادم Piston لا يحتوي على pandas مثبّتًا مسبقًا. يرجى تثبيته محليًا (`pip install pandas`) والمتابعة. قد تختلف القيم الفعلية قليلاً حسب إصدار pandas.

> **الخرج:** قم بتشغيل هذا في بيئة بايثون محلية (pandas 2.x). خادم Piston لا يحتوي على مكتبة pandas مثبته مسبقاً. يرجى تثبيتها محليًا (`pip install pandas`) ثم المتابعة. قد تختلف القيم الفعليّة قليلاً حسب إصدار pandas.

import pandas as pd
import numpy as np

np.random.seed(42)
df = pd.DataFrame({
    'id': np.arange(100000),
    'age': np.random.randint(0, 120, 100000),
    'score': np.random.randint(0, 100, 100000),
    'price': np.round(np.random.uniform(0, 1000, 100000), 2),
    'flag': np.random.choice([0, 1], 100000)
})

# التحقق من الأنواع والذاكرة الحالية
print("قبل:")
print(df.dtypes)
print(f"الذاكرة: {df.memory_usage(deep=True).sum() / 1024:.1f} كيلوبايت")

# تخفيض الأعداد الصحيحة
df['id'] = pd.to_numeric(df['id'], downcast='unsigned')   # uint32 → uint32
df['age'] = pd.to_numeric(df['age'], downcast='unsigned')  # int64 → uint8 (0-255)
df['score'] = pd.to_numeric(df['score'], downcast='unsigned')
df['flag'] = pd.to_numeric(df['flag'], downcast='unsigned')  # int64 → uint8

# تخفيض الأعداد العشرية
df['price'] = pd.to_numeric(df['price'], downcast='float')  # float64 → float32

print("\nبعد:")
print(df.dtypes)
print(f"الذاكرة: {df.memory_usage(deep=True).sum() / 1024:.1f} كيلوبايت")
# عادةً ما يكون التوفير: 50-75%

> **الخرج:** قم بتشغيل هذا في بيئة بايثون محلية (pandas 2.x). خادم Piston لا يحتوي على مكتبة pandas مثبته مسبقاً. يرجى تثبيتها محليًا (`pip install pandas`) ثم المتابعة. قد تختلف القيم الفعليّة قليلاً حسب إصدار pandas.

> **الخرج:** قم بتشغيل هذا في بيئة Python محلية (pandas 2.x). خادم Piston ليس لديه pandas مثبتًا مسبقًا. يرجى تثبيته محليًا (`pip install pandas`) واتباع التعليمات. القيم الفعلية قد تختلف قليًependent على إصدار pandas.

import pandas as pd
import numpy as np

# Pandas 3.x: CoW is default
pd.options.mode.copy_on_write = True

df = pd.DataFrame({'a': [1, 2, 3], 'b': [4, 5, 6]})

# With CoW: slice returns a view, modification creates a copy
subset = df[['a']]  # no copy until modified
df.loc[0, 'a'] = 99  # modifies df, subset unchanged
print(subset)  # still [1, 2, 3] — CoW protects

# Safe patterns under CoW:
df['c'] = df['a'] + df['b']  # ✅ assign new column
df = df.drop(columns='c')     # ✅ reassign

# Avoid:
# subset['a'] = 10  # ❌ SettingWithCopyWarning (pre-CoW issue, fixed by CoW)

> **الخرج:** قم بتشغيل هذا في بيئة Python محلية (pandas 2.x). خادم Piston ليس لديه pandas مثبتًا مسبقًا. يرجى تثبيته محليًا (`pip install pandas`) واتباع التعليمات. القيم الفعلية قد تختلف قليًependent على إصدار pandas.

> **الخرج:** قم بتشغيل هذا في بيئة Python محلية (pandas 2.x). خادم Piston ليس لديه pandas مثبتًا مسبقًا. يرجى تثبيته محليًا (`pip install pandas`) واتباع التعليمات. القيم الفعلية قد تختلف قليًependent على إصدار pandas.

import pandas as pd
from io import StringIO

# Simulate large CSV
csv_data = "id,value\n" + "\n".join([f"{i},{i*10}" for i in range(1000)])

# Process in chunks
total = 0
for chunk in pd.read_csv(StringIO(csv_data), chunksize=200):
    total += chunk['value'].sum()

print(f"Total: {total}")

> **الخرج:** قم بتشغيل هذا في بيئة Python محلية (pandas 2.x). خادم Piston ليس لديه pandas مثبتًا مسبقًا. يرجى تثبيته محليًا (`pip install pandas`) واتباع التعليمات. القيم الفعلية قد تختلف قليًependent على إصدار pandas.

> **الإخراج:** قم بتشغيل هذا في بيئة بايثون محلية (pandas 2.x). خادم Piston لا يحتوي على pandas مثبتة مسبقاً. يرجى تثبيته محلياً (`pip install pandas`) واتباع التعليمات. قد تختلف القيم الفعلي قليلاً حسب إصدار pandas.

> **الإخراج:** قم بتشغيل هذا في بيئة بايثون محلية (pandas 2.x). خادم Piston لا يحتوي على pandas مثبتة مسبقاً. يرجى تثبيته محلياً (`pip install pandas`) واتباع التعليمات. قد تختلف القيم الفعلي قليلاً حسب إصدار pandas.

import pandas as pd
import numpy as np

# ============================================
# مثال شامل: تحسين مليون صف
# iterrows → apply → vectorized → eval → category
# ============================================

np.random.seed(42)
df = pd.DataFrame({
    'city': np.random.choice([f'City_{i}' for i in range(20)], 1000000),
    'category': np.random.choice(['Electronics', 'Clothing', 'Home', 'Sports'], 1000000),
    'price': np.round(np.random.uniform(10, 500, 1000000), 2),
    'quantity': np.random.randint(1, 100, 1000000),
    'discount': np.random.choice([0, 0.1, 0.2, 0.3], 1000000)
})

# الخطوة 1: الذاكرة الأساسية
mem1 = df.memory_usage(deep=True).sum() / (1024**2)
print(f"الخطوة 1 — الذاكرة الخام: {mem1:.1f} ميجابايت")

# الخطوة 2: تقليل دقة الأرقام
df['quantity'] = pd.to_numeric(df['quantity'], downcast='unsigned')
df['price'] = pd.to_numeric(df['price'], downcast='float')
df['discount'] = pd.to_numeric(df['discount'], downcast='float')
mem2 = df.memory_usage(deep=True).sum() / (1024**2)
print(f"الخطوة 2 — بعد تقليل الدقة: {mem2:.1f} ميجابايت ({(1-mem2/mem1)*100:.0f}% تم توفيرها)")

# الخطوة 3: استخدام الفئات للنصوص
df['city'] = df['city'].astype('category')
df['category'] = df['category'].astype('category')
mem3 = df.memory_usage(deep=True).sum() / (1024**2)
print(f"الخطوة 3 — بعد استخدام الفئات: {mem3:.1f} ميجابايت ({(1-mem3/mem1)*100:.0f}% تم توفيرها إجمالياً)")

# الخطوة 4: حساب بالتمثيل المتجهي (سريع)
df['revenue'] = df['price'] * df['quantity'] * (1 - df['discount'])
print(f"الخطوة 4 — تم حساب الإيرادات (بتمثيل متجهي، ~0.01 ثانية)")

# الخطوة 5: بديل eval
df['revenue2'] = df.eval('price * quantity * (1 - discount)')
print(f"الخطوة 5 — الإيرادات عبر eval")

# التحقق
print(f"النتائج متطابقة: {np.allclose(df['revenue'], df['revenue2'])}")

> **الإخراج:** قم بتشغيل هذا في بيئة بايثون محلية (pandas 2.x). خادم Piston لا يحتوي على pandas مثبتة مسبقاً. يرجى تثبيته محلياً (`pip install pandas`) واتباع التعليمات. قد تختلف القيم الفعلي قليلاً حسب إصدار pandas.