NumPy: مشروع — تنظيف البيانات

import numpy as np

# تحميل البيانات (محاكاة)
rng = np.random.default_rng(42)
n = 10000

---
## 2. توليد بيانات نظيفة
temperature = rng.normal(25, 5, n)  # متوسط 25°C، انحراف معياري 5°C
humidity = rng.uniform(30, 80, n)    # 30-80%
pressure = rng.normal(1013, 10, n)   # متوسط 1013 hPa

---
## 3. إضافة بعض قيم NaN
temperature[0:50] = np.nan
humidity[200:250] = np.nan

---
## 4. إضافة قيم شاذة
temperature[1000:1010] = 100  # درجة حرارة مستحيلة
pressure[2000:2005] = 0       # ضغط مستحيل

---
## 5. تكديس في مصفوفة مهيكلة
data = np.column_stack([temperature, humidity, pressure])
print(f"Shape: {data.shape}")
print(f"NaN count: {np.sum(np.isnan(data), axis=0)}")

---
## 6. استبدال NaN بمتوسط العمود
col_mean = np.nanmean(data, axis=0)
data_clean = np.where(np.isnan(data), col_mean, data)

---
## 7. إزالة القيم الشاذة باستخدام IQR
Q1 = np.percentile(data_clean, 25, axis=0)
Q3 = np.percentile(data_clean, 75, axis=0)
IQR = Q3 - Q1
lower = Q1 - 1.5 * IQR
upper = Q3 + 1.5 * IQR

---
## 8. تصفية الصفوف التي تقع ضمن الحدود لجميع الأعمدة
mask = np.all((data_clean >= lower) & (data_clean <= upper), axis=1)
data_filtered = data_clean[mask]
print(f"Rows before: {len(data_clean)}, after: {len(data_filtered)}")

mean = data_filtered.mean(axis=0)
std = data_filtered.std(axis=0)
data_normalized = (data_filtered - mean) / std
print(f"Normalized mean: {data_normalized.mean(axis=0).round(6)}")
print(f"Normalized std:  {data_normalized.std(axis=0).round(6)}")

---
## 9. حفظ البيانات المنظفة
np.save('sensor_data_clean.npy', data_filtered)
np.savetxt('sensor_data_clean.csv', data_filtered, delimiter=',',
           header='temperature,humidity,pressure', comments='')
print("Clean data exported.")

import numpy as np

rng = np.random.default_rng(42)
data = rng.normal(25, 5, size=(1000, 3))
print("Shape:", data.shape)
print("First 5 rows:\n", data[:5])
print("NaN count:", np.sum(np.isnan(data)))
print("Mean:", data.mean(axis=0))
print("Std:", data.std(axis=0))

Shape:
First 5 rows:\n
NaN count:
Mean:
Std:

import numpy as np

data = np.array([1.0, 2.0, np.nan, 4.0, np.nan, 6.0, 7.0])

---
## 10. استبدال NaN بمتوسط العمود
col_mean = np.nanmean(data)
clean = np.where(np.isnan(data), col_mean, data)
print("Original:", data)
print("Cleaned:", clean)
print("Mean after:", clean.mean())

Original:
Cleaned:
Mean after:

import numpy as np

rng = np.random.default_rng(42)
data = np.concatenate([rng.normal(50, 10, 95), [200, -50, 300, -80, 150]])

Q1 = np.percentile(data, 25)
Q3 = np.percentile(data, 75)
IQR = Q3 - Q1
lower = Q1 - 1.5 * IQR
upper = Q3 + 1.5 * IQR

filtered = data[(data >= lower) & (data <= upper)]
print(f"Total: {len(data)}, Outliers: {len(data) - len(filtered)}")
print(f"Before: mean={data.mean():.1f}, After: mean={filtered.mean():.1f}")

# تم التنفيذ بنجاح