Pandas: التعامل مع البيانات المكررة

import pandas as pd

orders = pd.DataFrame({
    'order_id': ['O001', 'O001', 'O002', 'O003', 'O003', 'O003', 'O004'],
    'customer': ['Alice', 'Alice', 'Bob', 'Charlie', 'Charlie', 'Charlie', 'Carol'],
    'drink': ['Latte', 'Latte', 'Americano', 'Mocha', 'Mocha', 'Mocha', 'Espresso'],
    'price': [4.50, 4.50, 3.00, 5.50, 5.50, 5.50, 2.50]
})
print(f"Total rows: {len(orders)}")
print(f"Duplicates: {orders.duplicated().sum()}")
# Total rows: 7, Duplicates: 3

> **الإخراج:** قم بتشغيل هذا في بيئة Python محلية (pandas 2.x). خادم Piston لا يحتوي على pandas مثبّتًا مسبقًا — قم بتثبيته محليًا (`pip install pandas`) وتابع. قد تختلف القيم الفعليّة قليلاً حسب إصدار pandas الخاص بك.

> **الإخراج:** قم بتشغيل هذا في بيئة Python محلية (pandas 2.x). خادم Piston لا يحتوي على pandas مثبّتًا مسبقًا — قم بتثبيته محليًا (`pip install pandas`) وتابع. قد تختلف القيم الفعليّة قليلاً حسب إصدار pandas الخاص بك.

import pandas as pd

orders = pd.DataFrame({
    'order_id': ['O001', 'O001', 'O002', 'O003', 'O003', 'O003', 'O004'],
    'customer': ['Alice', 'Alice', 'Bob', 'Charlie', 'Charlie', 'Charlie', 'Carol'],
    'drink': ['Latte', 'Latte', 'Americano', 'Mocha', 'Mocha', 'Mocha', 'Espresso'],
    'price': [4.50, 4.50, 3.00, 5.50, 5.50, 5.50, 2.50]
})

# إزالة الصفوف المكررة تمامًا
clean = orders.drop_duplicates()
print(clean)
#    order_id customer      drink  price
# 0     O001    Alice      Latte    4.5
# 2     O002      Bob  Americano    3.0
# 3     O003  Charlie      Mocha    5.5
# 6     O004    Carol   Espresso    2.5

print(f"Before: {len(orders)} → After: {len(clean)}")
# Before: 7 → After: 4

> **الإخراج:** قم بتشغيل هذا في بيئة Python محلية (pandas 2.x). خادم Piston لا يحتوي على pandas مثبّتًا مسبقًا — قم بتثبيته محليًا (`pip install pandas`) وتابع. قد تختلف القيم الفعليّة قليلاً حسب إصدار pandas الخاص بك.

> **Output:** Run this in a local Python environment (pandas 2.x). The Piston server does not have pandas preinstalled — install it locally (`pip install pandas`) and follow along. Actual values may vary slightly depending on your pandas version.

import pandas as pd

df = pd.DataFrame({
    'name': ['Alice', 'Bob', 'Alice', 'Charlie', 'Bob'],
    'age': [28, 34, 28, 25, 35]
})

# Mark duplicates (first occurrence = False, subsequent = True)
print(df.duplicated())
# 0    False  ← first Alice (keep)
# 1    False  ← first Bob (keep)
# 2     True  ← second Alice (duplicate!)
# 3    False  ← first Charlie (keep)
# 4     True  ← Bob but age=35 (NOT duplicate — row is different)

# Filter to see only duplicate rows
print(df[df.duplicated()])
#    name  age
# 2 Alice   28

# Count duplicates
print(f"Duplicate rows: {df.duplicated().sum()}")  # 1

> **Output:** Run this in a local Python environment (pandas 2.x). The Piston server does not have pandas preinstalled — install it locally (`pip install pandas`) and follow along. Actual values may vary slightly depending on your pandas version.

> **Output:** Run this in a local Python environment (pandas 2.x). The Piston server does not have pandas preinstalled — install it locally (`pip install pandas`) and follow along. Actual values may vary slightly depending on your pandas version.

import pandas as pd

df = pd.DataFrame({
    'name': ['Alice', 'Bob', 'Alice', 'Alice', 'Bob'],
    'score': [85, 92, 85, 85, 92]
})

# keep='first' (default) — first occurrence is NOT duplicate
print("keep='first':", df.duplicated(keep='first').tolist())
# [False, False, True, True, True]

# keep='last' — last occurrence is NOT duplicate
print("keep='last':", df.duplicated(keep='last').tolist())
# [True, True, True, False, False]

# keep=False — ALL duplicates are marked True
print("keep=False:", df.duplicated(keep=False).tolist())
# [True, True, True, True, True]

> **Output:** Run this in a local Python environment (pandas 2.x). The Piston server does not have pandas preinstalled — install it locally (`pip install pandas`) and follow along. Actual values may vary slightly depending on your pandas version.

> **الخرج:** قم بتشغيل هذا في بيئة بايثون محلية (pandas 2.x). خادم Piston لا يحتوي على pandas مثبته مسبقاً — قم بتثبيته محلياً (`pip install pandas`) واتبع الشرح. قد تختلف القيم الفعلي قليلاً حسب إصدار pandas لديك.

import pandas as pd

df = pd.DataFrame({
    'name': ['Alice', 'Bob', 'Alice', 'Charlie', 'Alice'],
    'age': [28, 34, 28, 25, 28],
    'city': ['NYC', 'LA', 'NYC', 'Chicago', 'Boston']  # مدينة مختلفة لآخر Alice
})

# إزالة التكرارات الكاملة للصفوف
print(df.drop_duplicates())
#    name  age     city
# 0 Alice   28      NYC
# 1   Bob   34       LA
# 3 Charlie   25  Chicago
# 4 Alice   28   Boston  ← تم الاحتفاظ بها (المدينة مختلفة عن الصف 0)

# باستخدام معامل keep
print(df.drop_duplicates(keep='last'))
#    name  age     city
# 1   Bob   34       LA
# 3 Charlie   25  Chicago
# 4 Alice   28   Boston  ← تم الاحتفاظ بآخر Alice

# إزالة جميع التكرارات (الاحتفاظ فقط بالصفوف الفريدة)
print(df.drop_duplicates(keep=False))
#    name  age     city
# 1   Bob   34       LA
# 3 Charlie   25  Chicago
# تم إزالة جميع صفوف Alice (لأن هناك أضعاف منها)

> **الخرج:** قم بتشغيل هذا في بيئة بايثون محلية (pandas 2.x). خادم Piston لا يحتوي على pandas مثبته مسبقاً — قم بتثبيته محلياً (`pip install pandas`) واتبع الشرح. قد تختلف القيم الفعلي قليلاً حسب إصدار pandas لديك.

> **الخرج:** قم بتشغيل هذا في بيئة بايثون محلية (pandas 2.x). خادم Piston لا يحتوي على pandas مثبته مسبقاً — قم بتثبيته محلياً (`pip install pandas`) واتبع الشرح. قد تختلف القيم الفعلي قليلاً حسب إصدار pandas لديك.

import pandas as pd

df = pd.DataFrame({
    'name': ['Alice', 'Bob', 'Alice', 'Charlie'],
    'score': [85, 92, 85, 78]
})

# الطريقة 1: إعادة التعيين (موصى بها)
df = df.drop_duplicates().reset_index(drop=True)
print(df)
#     name  score
# 0  Alice     85
# 1    Bob     92
# 2 Charlie    78

# الطريقة 2: استخدام inplace
# df.drop_duplicates(inplace=True)
# df.reset_index(inplace=True, drop=True)

> **الخرج:** قم بتشغيل هذا في بيئة بايثون محلية (pandas 2.x). خادم Piston لا يحتوي على pandas مثبته مسبقاً — قم بتثبيته محلياً (`pip install pandas`) واتبع الشرح. قد تختلف القيم الفعلي قليلاً حسب إصدار pandas لديك.

> **الإخراج:** قم بتشغيل هذا في بيئة بايثون محلية (pandas 2.x). لا يحتوي خادم Pandas على مكتبة pandas مثبتة مسبقًا — قم بتثبيتها محليًا (`pip install pandas`) وتابع. قد تختلف القيم الفعليه قليلاً حسب إصدار pandas الذي تستخدمه.

import pandas as pd

df = pd.DataFrame({
    'student_id': ['S001', 'S001', 'S002', 'S003', 'S002'],
    'name': ['Alice', 'Alice Smith', 'Bob', 'Charlie', 'Robert Bob'],
    'math_score': [85, 85, 92, 78, 92],
    'attempt': [1, 2, 1, 1, 2]
})

# تكرار الصف الكامل: لا يوجد (عمود الاسم يختلف)
print(f"Full-row duplicates: {df.duplicated().sum()}")  # 0

# لكن student_id يجب أن يكون فريدًا!
print(f"student_id duplicates: {df.duplicated(subset='student_id').sum()}")  # 2

# إسقاط التكرارات بناءً على student_id فقط
clean = df.drop_duplicates(subset='student_id', keep='first')
print(clean)
#   student_id         name  math_score  attempt
# 0       S001        Alice          85        1
# 2       S002          Bob          92        1
# 3       S003      Charlie          78        1

> **الإخراج:** قم بتشغيل هذا في بيئة بايثون محلية (pandas 2.x). لا يحتوي خادم Pandas على مكتبة pandas مثبتة مسبقًا — قم بتثبيتها محليًا (`pip install pandas`) وتابع. قد تختلف القيم الفعليه قليلاً حسب إصدار pandas الذي تستخدمه.

> **الإخراج:** قم بتشغيل هذا في بيئة بايثون محلية (pandas 2.x). لا يحتوي خادم Pandas على مكتبة pandas مثبتة مسبقًا — قم بتثبيتها محليًا (`pip install pandas`) وتابع. قد تختلف القيم الفعليه قليلاً حسب إصدار pandas الذي تستخدمه.

import pandas as pd

# نفس الطالب يمكن أن يكون لديه عدة محاولات اختبار
# لكن نفس الطالب + نفس المادة يجب أن يكون فريدًا
df = pd.DataFrame({
    'student_id': ['S001', 'S001', 'S001', 'S002', 'S002'],
    'subject': ['Math', 'English', 'Math', 'Math', 'English'],
    'score': [85, 90, 88, 92, 87],
    'attempt_date': ['2024-01-10', '2024-01-10', '2024-02-15', '2024-01-12', '2024-01-12']
})

# التكرار: تركيبة student_id + subject
dupes = df.duplicated(subset=['student_id', 'subject'], keep=False)
print("All rows involved in duplicates:")
print(df[dupes])
# S001 + Math يظهر مرتين (صف 0 و 2)

# الاحتفاظ بأحدث محاولة لكل طالب + مادة
clean = df.drop_duplicates(subset=['student_id', 'subject'], keep='last')
print("\nAfter dedup (keep last attempt):")
print(clean)
#   student_id  subject  score attempt_date
# 0       S001   English     90   2024-01-10
# 2       S001      Math     88   2024-02-15  ← الأحدث
# 3       S002      Math     92   2024-01-12
# 4       S002   English     87   2024-01-12

> **الإخراج:** قم بتشغيل هذا في بيئة بايثون محلية (pandas 2.x). لا يحتوي خادم Pandas على مكتبة pandas مثبتة مسبقًا — قم بتثبيتها محليًا (`pip install pandas`) وتابع. قد تختلف القيم الفعليه قليلاً حسب إصدار pandas الذي تستخدمه.

> **المخرجات:** قم بتشغيل هذا في بيئة Python محلية (pandas 2.x). خادم Piston لا يحتوي على pandas مثبته مسبقاً - قم بتثبيته محلياً (`pip install pandas`) وتابع. قد تختلف القيم الفعلية قليلاً حسب إصدار pandas الخاص بك.

import pandas as pd

# Multiple readings for same sensor — average instead of drop
df = pd.DataFrame({
    'sensor_id': ['T01', 'T01', 'T01', 'T02', 'T02'],
    'location': ['Lab A', 'Lab A', 'Lab A', 'Lab B', 'Lab B'],
    'temperature': [22.5, 22.7, 22.3, 18.1, 18.3],
    'humidity': [45, 47, 43, 55, 57]
})

# Instead of dropping, aggregate: keep mean
agg = df.groupby('sensor_id').agg({
    'location': 'first',
    'temperature': 'mean',
    'humidity': 'mean'
}).reset_index()
print(agg)
#   sensor_id location  temperature  humidity
# 0       T01    Lab A        22.500      45.0
# 1       T02    Lab B        18.200      56.0

> **المخرجات:** قم بتشغيل هذا في بيئة Python محلية (pandas 2.x). خادم Piston لا يحتوي على pandas مثبته مسبقاً - قم بتثبيته محلياً (`pip install pandas`) وتابع. قد تختلف القيم الفعلية قليلاً حسب إصدار pandas الخاص بك.

> **المخرجات:** قم بتشغيل هذا في بيئة Python محلية (pandas 2.x). خادم Piston لا يحتوي على pandas مثبته مسبقاً - قم بتثبيته محلياً (`pip install pandas`) وتابع. قد تختلف القيم الفعلية قليلاً حسب إصدار pandas الخاص بك.

> **الإخراج:** قم بتشغيل هذا في بيئة بايثون محلية (pandas 2.x). خادم Piston لا يحتوي على مكتبة pandas مثبتة مسبقمًا - قم بتثبيتها محليًا (`pip install pandas`) واتبع الخطوات. القيم الفعلية قد تختلف قليًباً حسب إصدار pandas الخاص بك.

import pandas as pd

# ============================================
# Comprehensive example: Customer dedup
# with multiple strategies
# ============================================

# 1. Raw data with various duplicate patterns
df = pd.DataFrame({
    'email': ['alice@example.com', 'alice@example.com', 'bob@example.com',
              'charlie@example.com', 'bob@example.com', 'alice@example.com',
              'david@example.com'],
    'name': ['Alice', 'Alice Smith', 'Bob', 'Charlie', 'Bob Jones',
             'Alice', 'David'],
    'phone': ['555-0100', '555-0100', '555-0200', '555-0300',
              '555-0201', '555-0100', '555-0400'],
    'signup_date': ['2024-01-15', '2024-02-01', '2024-01-20',
                    '2024-03-01', '2024-03-15', '2024-01-15',
                    '2024-04-01']
})

print("=== Step 1: Detect Duplicates ===")
print(f"Full-row dupes: {df.duplicated().sum()}")
print(f"Email dupes: {df.duplicated(subset='email').sum()}")
print(f"Email+Phone dupes: {df.duplicated(subset=['email','phone']).sum()}")

# 2. Review all rows involved in email duplicates
print("\n=== Step 2: Review Email Duplicates ===")
email_dupes = df[df.duplicated(subset='email', keep=False)]
print(email_dupes.sort_values('email'))

# 3. Strategy: keep the latest signup per email
df['signup_date'] = pd.to_datetime(df['signup_date'])
clean = df.sort_values('signup_date').drop_duplicates(subset='email', keep='last')
print("\n=== Step 3: After Dedup (keep latest) ===")
print(clean[['email', 'name', 'signup_date']])

# 4. Verify
print(f"\nBefore: {len(df)} rows → After: {len(clean)} rows")
print(f"Unique emails: {clean['email'].nunique()}")

> **الإخراج:** قم بتشغيل هذا في بيئة بايثون محلية (pandas 2.x). خادم Piston لا يحتوي على مكتبة pandas مثبتة مسبقًا - قم بتثبيتها محليًا (`pip install pandas`) واتبع الخطوات. القيم الفعلية قد تختلف قليًباً حسب إصدار pandas الخاص بك.