Pandas: مشروع التحليل الشامل

> **المخرج:** قم بالتشغيل في بيئة بايثون محلية (pandas 2.x). خادم Piston لا يحتوي على مكتبة pandas مثبتة مسبقاً. يرجى تثبيتها محليًا (`pip install pandas`) واتباع التعليمات. قد تختلف القيم الفعليّة قليلاً حسب إصدار pandas الخاص بك.

> **الإخراج:** قم بالتشغيل في بيئة Python محلية (pandas 2.x). خادم Piston لا يحتوي على pandas مثبته مسبقاً. يرجى تثبيته محلياً (`pip install pandas`) والمتابعة. القيم الفعلية قد تختلف قليلاً حسب إصدار pandas الخاص بك.

import pandas as pd
import numpy as np
import sqlite3
from io import StringIO, BytesIO

# ============================================
# الخطوة 1: تحميل البيانات من مصادر متعددة
# ============================================

np.random.seed(42)

# المصدر 1: العملاء (CSV)
customers = pd.DataFrame({
    'customer_id': range(1, 501),
    'name': [f'Customer_{i:04d}' for i in range(1, 501)],
    'segment': np.random.choice(['Consumer', 'Corporate', 'Home Office'], 500),
    'city': np.random.choice(['New York', 'Los Angeles', 'Chicago', 'Houston', 'London', 'Tokyo'], 500),
    'country': np.random.choice(['US', 'US', 'US', 'US', 'UK', 'JP'], 500)
})

# المصدر 2: المنتجات (CSV)
products = pd.DataFrame({
    'product_id': range(1, 51),
    'product_name': [f'Product_{i:02d}' for i in range(1, 51)],
    'category': np.random.choice(['Electronics', 'Clothing', 'Home', 'Sports', 'Books'], 50),
    'unit_price': np.round(np.random.uniform(10, 500, 50), 2)
})

# المصدر 3: الطلبات (CSV)
orders = pd.DataFrame({
    'order_id': [f'ORD-{i:05d}' for i in range(1, 2001)],
    'customer_id': np.random.randint(1, 501, 2000),
    'product_id': np.random.randint(1, 51, 2000),
    'order_date': pd.to_datetime(np.random.choice(
        pd.date_range('2024-01-01', '2024-09-30'), 2000)),
    'quantity': np.random.randint(1, 10, 2000),
    'discount': np.random.choice([0, 0.05, 0.1, 0.2, 0.3], 2000)
})

# المصدر 4: المناطق (Excel)
regions = pd.DataFrame({
    'country': ['US', 'UK', 'JP', 'DE', 'FR'],
    'region': ['North America', 'Europe', 'Asia Pacific', 'Europe', 'Europe'],
    'currency': ['USD', 'GBP', 'JPY', 'EUR', 'EUR']
})

# المصدر 5: المخزون (SQLite)
conn = sqlite3.connect(':memory:')
inventory = pd.DataFrame({
    'product_id': range(1, 51),
    'stock': np.random.randint(0, 500, 50),
    'reorder_level': np.random.randint(20, 100, 50)
})
inventory.to_sql('inventory', conn, index=False, if_exists='replace')

# التحميل من قاعدة البيانات
inv_df = pd.read_sql('SELECT * FROM inventory', conn)
conn.close()

print(f"✅ تم التحميل: customers({len(customers)}), products({len(products)}), "
      f"orders({len(orders)}), regions({len(regions)}), inventory({len(inv_df)})")

> **الإخراج:** قم بالتشغيل في بيئة Python محلية (pandas 2.x). خادم Piston لا يحتوي على pandas مثبته مسبقاً. يرجى تثبيته محلياً (`pip install pandas`) والمتابعة. القيم الفعلية قد تختلف قليلاً حسب إصدار pandas الخاص بك.

> **المخرجات:** قم بالتشغيل في بيئة بايثون محلية (إصدار pandas 2.x). خادم Piston لا يحتوي على مكتبة pandas مثبتة مسبقًا. يرجى تثبيتها محليًا (`pip install pandas`) والمتابعة. قد تتغير القيم الفعلية قليلاً حسب إصدار pandas لديك.

# ============================================
# الخطوة 2: مراجعة جودة البيانات
# ============================================

def audit_quality(df, name):
    """تشغيل مراجعة جودة البيانات على إطار بيانات"""
    issues = []
    # القيم المفقودة
    missing = df.isnull().sum()
    if missing.sum() > 0:
        issues.append(f"مفقود: {dict(missing[missing > 0])}")
    # التكرارات
    dups = df.duplicated().sum()
    if dups > 0:
        issues.append(f"مكرر: {dups}")
    # الأنواع
    object_cols = df.select_dtypes(include='object').columns.tolist()
    if object_cols:
        issues.append(f"أعمدة الكائنات: {object_cols}")
    status = "⚠️ مشاكل" if issues else "✅ نظيف"
    print(f"{name}: {status}")
    for issue in issues:
        print(f"  - {issue}")
    return issues

audit_quality(customers, 'العملاء')
audit_quality(products, 'المنتجات')
audit_quality(orders, 'الطلبات')
audit_quality(regions, 'المناطق')
audit_quality(inv_df, 'المخزون')

# إدخال مشاكل للعرض التوضيحي
orders.loc[np.random.choice(2000, 100, replace=False), 'discount'] = np.nan
dups = orders.sample(30)
orders = pd.concat([orders, dups], ignore_index=True)
print(f"\nبعد إدخال المشاكل: شكل الطلبات = {orders.shape}")

> **المخرجات:** قم بالتشغيل في بيئة بايثون محلية (إصدار pandas 2.x). خادم Piston لا يحتوي على مكتبة pandas مثبتة مسبقًا. يرجى تثبيتها محليًا (`pip install pandas`) والمتابعة. قد تتغير القيم الفعلية قليلاً حسب إصدار pandas لديك.

> **الإخراج:** قم بالتشغيل في بيئة بايثون محلية (pandas 2.x). خادم Piston لا يحتوي على مكتبة pandas مثبتة مسبقًا. يرجى تثبيتها محليًا (`pip install pandas`) والمتابعة. قد تختلف القيم الفعليّة قليلاً حسب إصدار pandas لديك.

# ============================================
# الخطوة 3-4: دمج 4 جداول + التنظيف
# ============================================

def clean_orders(df):
    df = df.drop_duplicates(subset='order_id', keep='last')
    df['discount'] = df['discount'].fillna(0)
    return df

# الخطوة 1: تنظيف الطلبات
clean_orders_df = orders.pipe(clean_orders)

# الخطوة 2: دمج الطلبات + المنتجات
op = pd.merge(clean_orders_df, products, on='product_id', how='left')

# الخطوة 3: دمج + العملاء
opc = pd.merge(op, customers, on='customer_id', how='left')

# الخطوة 4: دمج + المناطق
full = pd.merge(opc, regions, on='country', how='left')

# الخطوة 5: دمج + المخزون
full = pd.merge(full, inv_df, on='product_id', how='left')

# أعمدة مشتقة
full['revenue'] = full['unit_price'] * full['quantity'] * (1 - full['discount'])
full['cost_estimate'] = full['unit_price'] * full['quantity'] * 0.6
full['profit'] = full['revenue'] - full['cost_estimate']
full['month'] = full['order_date'].dt.to_period('M')
full['is_low_stock'] = full['stock'] < full['reorder_level']

print(f"✅ مجموعة البيانات الكاملة: {full.shape}")
print(f"الأعمدة: {full.columns.tolist()}")
print(f"القيم المفقودة: {full.isnull().sum().sum()}")

> **الإخراج:** قم بالتشغيل في بيئة بايثون محلية (pandas 2.x). خادم Piston لا يحتوي على مكتبة pandas مثبتة مسبقًا. يرجى تثبيتها محليًا (`pip install pandas`) والمتابعة. قد تختلف القيم الفعليّة قليلاً حسب إصدار pandas لديك.

> **الخرج:** قم بالتشغيل في بيئة بايثون محلية (pandas 2.x). خادم Piston لا يحتوي على مكتبة pandas مثبتة مسبقاً. يرجى تثبيتها محلياً (`pip install pandas`) والعمل عليها. قد تختلف القيم الفعليية قليلاً حسب إصدار pandas لديك.

# ============================================
# Step 5-6: Multi-dim Analysis
# ============================================

# 1. Revenue by region × category
region_cat = full.groupby(['region', 'category']).agg(
    revenue=('revenue', 'sum'),
    orders=('order_id', 'count'),
    avg_order_value=('revenue', 'mean'),
    profit_margin=('profit', lambda x: x.sum() / full.loc[x.index, 'revenue'].sum())
).round(2)
print("=== Revenue by Region × Category ===")
print(region_cat.head(8))

# 2. Monthly trend by region
monthly_region = full.groupby(['month', 'region'])['revenue'].sum().unstack()
print(f"\n=== Monthly by Region ===\n{monthly_region.tail(3)}")

# 3. Pivot table: segment × category
seg_cat = pd.pivot_table(
    full, values='revenue', index='segment', columns='category',
    aggfunc='sum', margins=True, margins_name='Total'
).round(0)
print(f"\n=== Segment × Category Pivot ===\n{seg_cat}")

# 4. Top products
top_products = full.groupby('product_name').agg(
    revenue=('revenue', 'sum'),
    quantity=('quantity', 'sum'),
    avg_discount=('discount', 'mean')
).nlargest(5, 'revenue')
print(f"\n=== Top 5 Products ===\n{top_products}")

# 5. Low stock alert
low_stock = full[full['is_low_stock']].groupby('product_name').agg(
    stock=('stock', 'first'),
    reorder_level=('reorder_level', 'first'),
    total_orders=('order_id', 'count')
).sort_values('total_orders', ascending=False)
print(f"\n=== Low Stock Alert ===\n{low_stock.head(5)}")

> **الخرج:** قم بالتشغيل في بيئة بايثون محلية (pandas 2.x). خادم Piston لا يحتوي على مكتبة pandas مثبتة مسبقاً. يرجى تثبيتها محلياً (`pip install pandas`) والعمل عليها. قد تختلف القيم الفعليية قليلاً حسب إصدار pandas لديك.

> **المخرجات:** قم بالتشغيل في بيئة بايثون محلية (pandas 2.x). خادم Piston لا يحتوي على مكتبة pandas مثبتة مسبقاً. يرجى تثبيتها محلياً (`pip install pandas`) والمتابعة. قد تتغير القيم الفعلي قليلاً حسب إصدار pandas لديك.

# ============================================
# Step 7: Styled Report + Export
# ============================================

# Style the segment × category pivot
styled_pivot = (seg_cat.style
    .format('${:,.0f}')
    .background_gradient(cmap='RdYlGn', axis=None)
    .set_caption('Revenue by Segment × Category')
)

# Style top products
styled_products = (top_products.style
    .format({'revenue': '${:,.0f}', 'quantity': '{:,}', 'avg_discount': '{:.1%}'})
    .bar(subset=['revenue'], color='lightblue')
    .highlight_max(subset=['revenue'], color='lightgreen')
)

# Style low stock alert
styled_stock = (low_stock.head(10).style
    .format({'stock': '{:.0f}', 'reorder_level': '{:.0f}', 'total_orders': '{:,}'})
    .background_gradient(subset=['total_orders'], cmap='YlOrRd')
    .set_caption('Low Stock Alert — High Demand Products')
)

# Export to Excel with multiple sheets
output_path = 'ecommerce_report.xlsx'
with pd.ExcelWriter(output_path, engine='openpyxl') as writer:
    # Summary sheet
    summary = pd.DataFrame({
        'Metric': ['Total Revenue', 'Total Profit', 'Total Orders',
                    'Unique Customers', 'Unique Products', 'Avg Order Value',
                    'Profit Margin'],
        'Value': [full['revenue'].sum(), full['profit'].sum(), len(full),
                  full['customer_id'].nunique(), full['product_id'].nunique(),
                  full['revenue'].mean(), full['profit'].sum() / full['revenue'].sum()]
    })
    summary.to_excel(writer, sheet_name='Summary', index=False)

    # Region × Category
    region_cat.to_excel(writer, sheet_name='Region-Category')

    # Monthly trend
    monthly_region.to_excel(writer, sheet_name='Monthly-Trend')

    # Segment × Category (styled)
    styled_pivot.to_excel(writer, sheet_name='Segment-Category')

    # Top Products
    top_products.to_excel(writer, sheet_name='Top-Products')

print(f"✅ Report exported: {output_path}")

# Final summary
print("\n" + "=" * 50)
print("  E-COMMERCE COMPREHENSIVE ANALYSIS COMPLETE")
print("=" * 50)
print(f"  Revenue: ${full['revenue'].sum():,.0f}")
print(f"  Profit: ${full['profit'].sum():,.0f}")
print(f"  Margin: {full['profit'].sum() / full['revenue'].sum():.1%}")
print(f"  Top Region: {full.groupby('region')['revenue'].sum().idxmax()}")
print(f"  Top Category: {full.groupby('category')['revenue'].sum().idxmax()}")
print(f"  Low Stock Items: {len(low_stock)}")

> **المخرجات:** قم بالتشغيل في بيئة بايثون محلية (pandas 2.x). خادم Piston لا يحتوي على مكتبة pandas مثبتة مسبقاً. يرجى تثبيتها محلياً (`pip install pandas`) والمتابعة. قد تتغير القيم الفعلي قليلاً حسب إصدار pandas لديك.