Pandas: قراءة البيانات وكتابة البيانات

import pandas as pd
# هذا سيفشل أو ينتج نصاً مشوهاً
# df = pd.read_csv('customers.csv')  # UnicodeDecodeError!

> **الناتج:** شغّل هذا في بيئة بايثون المحلية لديك (pandas 2.x). خادم Piston لا يحتوي على pandas مثبّتة مسبقاً. يرجى تثبيتها محلياً (`pip install pandas`) والمتابعة. قد تختلف القيم الفعلي قليلاً حسب إصدار pandas الخاص بك.

import pandas as pd
from io import StringIO

# محاكاة ملف CSV مرمّز بترميز GBK
csv_gbk = "name,age,city\nAlice,28,Beijing\nBob,34,Shanghai"
# في السيناريو الحقيقي: pd.read_csv('file.csv', encoding='gbk')

# UTF-8 (الافتراضي) — يعمل مع معظم الملفات الحديثة
csv_utf8 = "name,age,city\nAlice,28,New York\nBob,34,London"
df = pd.read_csv(StringIO(csv_utf8))
print(df)
#    name  age      city
# 0  Alice   28  New York
# 1    Bob   34    London

> **الناتج:** شغّل هذا في بيئة بايثون المحلية لديك (pandas 2.x). خادم Piston لا يحتوي على pandas مثبّتة مسبقاً. يرجى تثبيتها محلياً (`pip install pandas`) والمتابعة. قد تختلف القيم الفعلي قليلاً حسب إصدار pandas الخاص بك.

> **الناتج:** قم بتشغيل هذا في بيئة بايثون المحلية الخاصة بك (pandas 2.x). خادم Piston لا يحتوي على مكتبة pandas مثبتة مسبقاً. يرجى تثبيتها محلياً (`pip install pandas`) واتباع الدرس. القيم الفعلية قد تختلف قليلاً حسب إصدار pandas الخاص بك.

import pandas as pd
from io import StringIO

csv_data = """product_id,product_name,price,stock,category
P001,Laptop,999.99,50,Electronics
P002,Phone,699.99,120,Electronics
P003,Tablet,349.99,80,Electronics
P004,Monitor,449.99,35,Electronics
P005,Keyboard,79.99,200,Accessories"""

# القراءة الأساسية
df = pd.read_csv(StringIO(csv_data))
print(df.columns)  # تم اكتشافها تلقائياً من الصف الأول

# المعلمات الرئيسية (مع بيانات محاكاة)
# pd.read_csv('file.csv',
#     encoding='utf-8',        # ترميز الملف
#     sep=',',                 # الفاصل (الافتراضي فاصلة)
#     header=0,                # رقم الصف لعناوين الأعمدة
#     index_col='product_id',  # العمود لاستخدامه كفهرس
#     usecols=['product_name', 'price'],  # تحميل هذه الأعمدة فقط
#     dtype={'price': float, 'stock': int},  # فرض الأنواع
#     na_values=['N/A', 'NULL'],  # اعتبار هذه القيم كـ NaN
#     parse_dates=['order_date'],  # تحليل كتاريخ ووقت
#     nrows=1000,             # قراءة أول N صفوف فقط
#     chunksize=5000          # التكرار بقطع (chunks)
# )

# اختيار أعمدة محددة (يوفر الذاكرة)
df_selected = pd.read_csv(StringIO(csv_data), usecols=['product_name', 'price'])
print(df_selected)

> **الناتج:** قم بتشغيل هذا في بئة بايثون المحلية الخاصة بك (pandas 2.x). خادم Piston لا يحتوي على مكتبة pandas مثبتة مسبقاً. يرجى تثبيتها محلياً (`pip install pandas`) واتباع الدرس. القيم الفعلية قد تختلف قليلاً حسب إصدار pandas الخاص بك.

> **الناتج:** قم بتشغيل هذا في بئة بايثون المحلية الخاصة بك (pandas 2.x). خادم Piston لا يحتوي على مكتبة pandas مثبتة مسبقاً. يرجى تثبيتها محلياً (`pip install pandas`) واتباع الدرس. القيم الفعلية قد تختلف قليلاً حسب إصدار pandas الخاص بك.

import pandas as pd
from io import StringIO

df = pd.DataFrame({
    'name': ['Alice', 'Bob', 'Charlie'],
    'age': [28, 34, 25],
    'city': ['New York', 'London', 'Tokyo']
})

# الحفظ كسلسلة CSV (محاكاة ناتج الملف)
output = StringIO()
df.to_csv(output, index=False)  # index=False — لا تحفظ أرقام الصفوف
print(output.getvalue())
# name,age,city
# Alice,28,New York
# Bob,34,London
# Charlie,25,Tokyo

# ملف حقيقي: df.to_csv('output.csv', index=False, encoding='utf-8')

# الإلحاق بملف موجود
# df.to_csv('output.csv', mode='a', header=False, index=False)

> **الناتج:** قم بتشغيل هذا في بئة بايثون المحلية الخاصة بك (pandas 2.x). خادم Piston لا يحتوي على مكتبة pandas مثبتة مسبقاً. يرجى تثبيتها محلياً (`pip install pandas`) واتباع الدرس. القيم الفعلية قد تختلف قليلاً حسب إصدار pandas الخاص بك.

> **المخرجات:** قم بتشغيل هذا الكود في بيئة بايثون المحلية لديك (إصدار pandas 2.x). خادم Piston لا يحتوي على مكتبة pandas مثبتة مسبقاً. يرجى تثبيتها محليًا (`pip install pandas`) والمتابعة. قد تختلف القيم الفعلي قليلاً حسب إصدار pandas لديك.

import pandas as pd
from io import BytesIO

# إنشاء ملف Excel متعدد الأوراق في الذاكرة
buffer = BytesIO()
df1 = pd.DataFrame({'name': ['Alice', 'Bob'], 'score': [85, 92]})
df2 = pd.DataFrame({'product': ['Laptop', 'Phone'], 'price': [999, 699]})

with pd.ExcelWriter(buffer) as writer:
    df1.to_excel(writer, sheet_name='Students', index=False)
    df2.to_excel(writer, sheet_name='Products', index=False)

buffer.seek(0)

# قراءة ورقة عمل محددة
students = pd.read_excel(buffer, sheet_name='Students')
print(students)

# قراءة جميع الأوراق كقاموس
buffer.seek(0)
all_sheets = pd.read_excel(buffer, sheet_name=None)  # قاموس من كائنات DataFrame
print(all_sheets.keys())  # dict_keys(['Students', 'Products'])

# القراءة حسب موقع الورقة (ترقيم من 0)
buffer.seek(0)
second_sheet = pd.read_excel(buffer, sheet_name=1)  # الفهرسة تبدأ من 0
print(second_sheet)

> **المخرجات:** قم بتشغيل هذا الكود في بيئة بايثون المحلية لديك (إصدار pandas 2.x). خادم Piston لا يحتوي على مكتبة pandas مثبتة مسبقاً. يرجى تثبيتها محليًا (`pip install pandas`) والمتابعة. قد تختلف القيم الفعلي قليلاً حسب إصدار pandas لديك.

> **المخرجات:** قم بتشغيل هذا الكود في بيئة بايثون المحلية لديك (إصدار pandas 2.x). خادم Piston لا يحتوي على مكتبة pandas مثبتة مسبقاً. يرجى تثبيتها محليًا (`pip install pandas`) والمتابعة. قد تختلف القيم الفعلي قليلاً حسب إصدار pandas لديك.

import pandas as pd
from io import BytesIO

df = pd.DataFrame({
    'name': ['Alice', 'Bob', 'Charlie'],
    'salary': [75000, 92000, 68000]
})

# الحفظ في ورقة عمل واحدة
buffer = BytesIO()
df.to_excel(buffer, sheet_name='Employees', index=False)

# حفظ كائنات DataFrame متعددة في أوراق عمل مختلفة
buffer2 = BytesIO()
with pd.ExcelWriter(buffer2) as writer:
    df.to_excel(writer, sheet_name='Employees', index=False)
    df.describe().to_excel(writer, sheet_name='Statistics')

> **المخرجات:** قم بتشغيل هذا الكود في بيئة بايثون المحلية لديك (إصدار pandas 2.x). خادم Piston لا يحتوي على مكتبة pandas مثبتة مسبقاً. يرجى تثبيتها محليًا (`pip install pandas`) والمتابعة. قد تختلف القيم الفعلي قليلاً حسب إصدار pandas لديك.

> **الإخراج:** قم بتشغيل هذا في بيئة Python المحلية (pandas 2.x). خادم Piston لا يحتوي على pandas مثبته مسبقاً. يرجى تثبيته محلياً (`pip install pandas`) واتباع الخطوات. قد تتغير القيم الفعلية قليلاً حسب إصدار pandas المستخدم.

import pandas as pd
from io import StringIO

# orient='records' (الأكثر شيوعاً لواجهات API)
json_records = '[{"name":"Alice","age":28},{"name":"Bob","age":34}]'
df = pd.read_json(StringIO(json_records), orient='records')
print(df)
#     name  age
# 0  Alice   28
# 1    Bob   34

# orient='columns' (موجه بالعمود)
json_cols = '{"name":{"0":"Alice","1":"Bob"},"age":{"0":28,"1":34}}'
df2 = pd.read_json(StringIO(json_cols), orient='columns')
print(df2)

# orient='index' (موجه بالصف)
json_idx = '{"0":{"name":"Alice","age":28},"1":{"name":"Bob","age":34}}'
df3 = pd.read_json(StringIO(json_idx), orient='index')
print(df3)

# الكتابة إلى JSON
output = df.to_json(orient='records', indent=2)
print(output)

> **الإخراج:** قم بتشغيل هذا في بيئة Python المحلية (pandas 2.x). خادم Piston لا يحتوي على pandas مثبته مسبقاً. يرجى تثبيته محلياً (`pip install pandas`) واتباع الخطوات. قد تتغير القيم الفعلية قليلاً حسب إصدار pandas المستخدم.

> **المخرج:** قم بتشغيل هذا في بيئة بايثون المحلية الخاصة بك (pandas 2.x). خادم Piston لا يحتوي على مكتبة pandas مثبتة مسبقًا. يرجى تثبيتها محليًا (`pip install pandas`) واتباع الخطوات. قد تختلف القيم الفعليّة قليلاً حسب إصدار pandas لديك.

import pandas as pd
import sqlite3
from io import StringIO

# Create in-memory SQLite database (for demo)
conn = sqlite3.connect(':memory:')

# Write data to SQL
df = pd.DataFrame({
    'name': ['Alice', 'Bob', 'Charlie'],
    'department': ['Sales', 'Engineering', 'Marketing'],
    'salary': [75000, 92000, 68000]
})
df.to_sql('employees', conn, if_exists='replace', index=False)

# Read entire table
df_read = pd.read_sql('SELECT * FROM employees', conn)
print(df_read)

# Read with SQL query
high_salary = pd.read_sql(
    'SELECT name, salary FROM employees WHERE salary > 70000',
    conn
)
print(high_salary)
#      name  salary
# 0   Alice   75000
# 1     Bob   92000

# Read with parameters (safe from SQL injection)
dept = 'Engineering'
result = pd.read_sql(
    'SELECT * FROM employees WHERE department = ?',
    conn,
    params=[dept]
)
print(result)

conn.close()

> **المخرج:** قم بتشغيل هذا في بئة بايثون المحلية الخاصة بك (pandas 2.x). خادم Piston لا يحتوي على مكتبة pandas مثبتة مسبقًا. يرجى تثبيتها محليًا (`pip install pandas`) واتباع الخطوات. قد تختلف القيم الفعليّة قليلاً حسب إصدار pandas لديك.

> **الإخراج:** قم بتشغيل هذا في بيئة Python المحلية لديك (pandas 2.x). لا تحتوي خادم Piston على pandas مثبتًا مسبقًا. يرجى تثبيته محليًا (`pip install pandas`) والمتابعة. قد تختلف القيم الفعلية قليلاً حسب إصدار pandas لديك.

import pandas as pd
from io import StringIO

# محاكاة ملف CSV كبير
csv_large = "id,value\n" + "\n".join([f"{i},{i*10}" for i in range(100)])

# القراءة على دفعات من 30 صفًا
chunks = pd.read_csv(StringIO(csv_large), chunksize=30)

total_sum = 0
total_count = 0

for chunk in chunks:
    total_sum += chunk['value'].sum()
    total_count += len(chunk)

print(f"Total rows: {total_count}")
print(f"Sum of values: {total_sum}")

# بديل: معالجة وحفظ كل دفعة
# for i, chunk in enumerate(chunks):
#     chunk.to_csv(f'chunk_{i}.csv', index=False)

> **الإخراج:** قم بتشغيل هذا في بيئة Python المحلية لديك (pandas 2.x). لا تحتوي خادم Piston على pandas مثبتًا مسبقًا. يرجى تثبيته محليًا (`pip install pandas`) والمتابعة. قد تختلف القيم الفعلية قليلاً حسب إصدار pandas لديك.

> **الإخراج:** قم بتشغيل هذا في بيئة Python المحلية لديك (pandas 2.x). لا تحتوي خادم Piston على pandas مثبتًا مسبقًا. يرجى تثبيته محليًا (`pip install pandas`) والمتابعة. قد تختلف القيم الفعلية قليلاً حسب إصدار pandas لديك.

import pandas as pd
from io import StringIO

csv_data = """id,name,age,salary,department,address,phone
1,Alice,28,75000,Sales,123 Main St,555-0100
2,Bob,34,92000,Engineering,456 Oak Ave,555-0200
3,Charlie,25,68000,Marketing,789 Pine Rd,555-0300"""

# تحميل الأعمدة التي تحتاجها فقط
df = pd.read_csv(StringIO(csv_data), usecols=['name', 'salary', 'department'])
print(df)
# يعمل أيضًا: usecols=[1, 3, 4] (حسب الموقع)

> **الإخراج:** قم بتشغيل هذا في بيئة Python المحلية لديك (pandas 2.x). لا تحتوي خادم Piston على pandas مثبتًا مسبقًا. يرجى تثبيته محليًا (`pip install pandas`) والمتابعة. قد تختلف القيم الفعلية قليلاً حسب إصدار pandas لديك.

> **الإخراج:** قم بتشغيل هذا في بيئة بايثون المحلية (pandas 2.x). خادم Piston لا يحتوي على مكتبة pandas مثبتة مسبقًا. يرجى تثبيتها محليًا (`pip install pandas`) ومتابعة الدرس. قد تختلف القيم الفعليَّة قليلاً حسب إصدار pandas لديك.

> **الإخراج:** قم بتشغيل هذا في بيئة بايثون المحلية (pandas 2.x). خادم Piston لا يحتوي على مكتبة pandas مثبتة مسبقًا. يرجى تثبيتها محليًا (`pip install pandas`) ومتابعة الدرس. قد تختلف القيم الفعليَّة قليلاً حسب إصدار pandas لديك.

import pandas as pd
import sqlite3
from io import StringIO, BytesIO

# ============================================
# مثال شامل: خط أنابيب IO كامل
# تحميل CSV → تنظيف → تصدير CSV/Excel/JSON/SQL
# ============================================

# 1. التحميل من CSV
csv_data = """name,age,salary,department,hire_date
Alice,28,75000,Sales,2022-03-15
Bob,34,92000,Engineering,2019-08-01
Charlie,25,NaN,Marketing,2023-01-10
Carol,30,88000,Sales,2020-06-20
David,45,105000,Management,2015-11-01"""
df = pd.read_csv(StringIO(csv_data), na_values=['NaN'])

# 2. تنظيف البيانات
df['salary'] = df['salary'].fillna(df['salary'].median())
df['hire_date'] = pd.to_datetime(df['hire_date'])
print("=== البيانات المنظفة ===")
print(df)

# 3. التصدير إلى CSV
csv_out = StringIO()
df.to_csv(csv_out, index=False)
print(f"\n✅ تصدير CSV: {len(csv_out.getvalue())} حرفًا")

# 4. التصدير إلى Excel
excel_out = BytesIO()
with pd.ExcelWriter(excel_out) as writer:
    df.to_excel(writer, sheet_name='Employees', index=False)
    df.describe().to_excel(writer, sheet_name='Stats')
print(f"✅ تصدير Excel: {len(excel_out.getvalue())} بايت، ورقتان")

# 5. التصدير إلى JSON
json_out = df.to_json(orient='records', indent=2, date_format='iso')
print(f"✅ تصدير JSON: {len(json_out)} حرفًا")

# 6. التصدير إلى SQL
conn = sqlite3.connect(':memory:')
df.to_sql('employees', conn, if_exists='replace', index=False)
df_from_sql = pd.read_sql('SELECT * FROM employees', conn)
print(f"✅ جولة SQL: {len(df_from_sql)} صفًا")
conn.close()

> **الإخراج:** قم بتشغيل هذا في بيئة بايثون المحلية (pandas 2.x). خادم Piston لا يحتوي على مكتبة pandas مثبتة مسبقًا. يرجى تثبيتها محليًا (`pip install pandas`) ومتابعة الدرس. قد تختلف القيم الفعليَّة قليلاً حسب إصدار pandas لديك.