Pandas: Projeto: Análise de Dados

> **Saída:** Execute em um ambiente Python local (pandas 2.x). O servidor Piston não tem pandas pré-instalado. Por favor, instale localmente (`pip install pandas`) e acompanhe. Os valores reais podem variar ligeiramente dependendo da versão do pandas.

> **Saída:** Execute em um ambiente Python local (pandas 2.x). O servidor Piston não tem pandas pré-instalado. Por favor, instale localmente (`pip install pandas`) e acompanhe. Os valores reais podem variar ligeiramente dependendo da versão do pandas.

import pandas as pd
import numpy as np

# ============================================
# Passo 1-2: Carregar e Explorar
# ============================================

# Simular dados de e-commerce (em projeto real: pd.read_csv)
np.random.seed(42)
n = 2000
users = pd.DataFrame({
    'user_id': range(1, n + 1),
    'name': [f'User_{i:04d}' for i in range(1, n + 1)],
    'age': np.random.randint(18, 70, n),
    'gender': np.random.choice(['M', 'F'], n),
    'city': np.random.choice(['NYC', 'LA', 'Chicago', 'Houston', 'Phoenix'], n),
    'join_date': pd.to_datetime(np.random.choice(
        pd.date_range('2023-01-01', '2024-09-30'), n
    ))
})

orders = pd.DataFrame({
    'order_id': [f'O{i:06d}' for i in range(1, 5001)],
    'user_id': np.random.randint(1, n + 1, 5000),
    'product_id': np.random.randint(1, 51, 5000),
    'category': np.random.choice(['Electronics', 'Clothing', 'Home', 'Sports', 'Books'], 5000),
    'amount': np.round(np.random.exponential(100, 5000), 2),
    'quantity': np.random.randint(1, 5, 5000),
    'order_date': pd.to_datetime(np.random.choice(
        pd.date_range('2024-01-01', '2024-09-30'), 5000
    ))
})

# Injetar problemas de qualidade dos dados
orders.loc[np.random.choice(5000, 200, replace=False), 'amount'] = np.nan
orders.loc[np.random.choice(5000, 100, replace=False), 'category'] = np.nan
duplicates = orders.sample(50)
orders = pd.concat([orders, duplicates], ignore_index=True)

# EDA: forma, dtypes, missing, duplicatas
print(f"Usuários: {users.shape}, Pedidos: {orders.shape}")
print(f"\nValores faltantes por coluna:\n{orders.isnull().sum()}")
print(f"\nPedidos duplicados: {orders.duplicated(subset='order_id').sum()}")
print(f"\nIntervalo de datas: de {orders['order_date'].min()} a {orders['order_date'].max()}")
print(f"\nEstatísticas do amount:\n{orders['amount'].describe()}")

> **Saída:** Execute em um ambiente Python local (pandas 2.x). O servidor Piston não tem pandas pré-instalado. Por favor, instale localmente (`pip install pandas`) e acompanhe. Os valores reais podem variar ligeiramente dependendo da versão do pandas.

> **Saída:** Execute em um ambiente Python local (pandas 2.x). O servidor Piston não tem pandas pré-instalado. Por favor, instale localmente (`pip install pandas`) e acompanhe. Os valores reais podem variar ligeiramente dependendo da versão do pandas.

# ============================================
# Passo 3: Pipeline de Limpeza (pipe)
# ============================================

def remove_duplicates(df):
    """Remove pedidos duplicados, mantém o mais recente"""
    before = len(df)
    df = df.drop_duplicates(subset='order_id', keep='last')
    print(f"  Duplicatas removidas: {before - len(df)}")
    return df

def fill_missing(df):
    """Preenche valores faltantes com estratégias apropriadas"""
    df = df.copy()
    # Preencher amount com mediana por categoria
    df['amount'] = df.groupby('category')['amount'].transform(
        lambda x: x.fillna(x.median())
    )
    # Preencher category com moda
    df['category'] = df.fillna({'category': df['category'].mode()[0]})
    return df

def fix_types(df):
    """Corrige tipos de dados"""
    df = df.copy()
    df['order_date'] = pd.to_datetime(df['order_date'])
    df['category'] = df['category'].astype('category')
    return df

def add_derived(df):
    """Adiciona colunas derivadas"""
    df = df.copy()
    df['total_price'] = df['amount'] * df['quantity']
    df['month'] = df['order_date'].dt.to_period('M')
    return df

# Executar pipeline
clean_orders = (orders
    .pipe(remove_duplicates)
    .pipe(fill_missing)
    .pipe(fix_types)
    .pipe(add_derived)
)
print(f"\nPedidos limpos: {clean_orders.shape}")
print(f"Faltantes restantes: {clean_orders.isnull().sum().sum()}")

> **Saída:** Execute em um ambiente Python local (pandas 2.x). O servidor Piston não tem pandas pré-instalado. Por favor, instale localmente (`pip install pandas`) e acompanhe. Os valores reais podem variar ligeiramente dependendo da versão do pandas.

> **Saída:** Execute em um ambiente Python local (pandas 2.x). O servidor Piston não tem pandas pré-instalado. Por favor, instale localmente (`pip install pandas`) e acompanhe. Os valores reais podem variar ligeiramente dependendo da versão do pandas.

# ============================================
# Passo 4-5: Engenharia de Features + Agregação
# ============================================

# Análise RFM (Recência, Frequência, Monetário)
reference_date = clean_orders['order_date'].max() + pd.Timedelta(days=1)

rfm = clean_orders.groupby('user_id').agg(
    recency=('order_date', lambda x: (reference_date - x.max()).days),
    frequency=('order_id', 'count'),
    monetary=('total_price', 'sum')
).reset_index()

# Scoring RFM (baseado em quartis)
rfm['R_score'] = pd.qcut(rfm['recency'], 4, labels=[4, 3, 2, 1]).astype(int)
rfm['F_score'] = pd.qcut(rfm['frequency'].rank(method='first'), 4, labels=[1, 2, 3, 4]).astype(int)
rfm['M_score'] = pd.qcut(rfm['monetary'].rank(method='first'), 4, labels=[1, 2, 3, 4]).astype(int)
rfm['RFM_score'] = rfm['R_score'] + rfm['F_score'] + rfm['M_score']

# Segmentar usuários
rfm['segment'] = pd.cut(rfm['RFM_score'], bins=[0, 5, 8, 10, 12],
                         labels=['Em Risco', 'Médio', 'Bom', 'Campeões'])

print("=== Segmentos de Usuários ===")
print(rfm['segment'].value_counts())

# Tendência de receita mensal
monthly_rev = clean_orders.groupby('month')['total_price'].sum()
print(f"\n=== Receita Mensal ===\n{monthly_rev}")

# Análise por categoria
cat_stats = clean_orders.groupby('category').agg(
    orders=('order_id', 'count'),
    revenue=('total_price', 'sum'),
    avg_amount=('amount', 'mean')
).sort_values('revenue', ascending=False)
print(f"\n=== Estatísticas por Categoria ===\n{cat_stats}")

> **Saída:** Execute em um ambiente Python local (pandas 2.x). O servidor Piston não tem pandas pré-instalado. Por favor, instale localmente (`pip install pandas`) e acompanhe. Os valores reais podem variar ligeiramente dependendo da versão do pandas.

> **Saída:** Execute em um ambiente Python local (pandas 2.x). O servidor Piston não tem pandas pré-instalado. Por favor, instale localmente (`pip install pandas`) e acompanhe. Os valores reais podem variar ligeiramente dependendo da versão do pandas.

# ============================================
# Passo 6-7: Visualização & Conclusões
# ============================================

import matplotlib.pyplot as plt

# Relatório resumido (sem gráficos reais — código para execução local)
print("=" * 50)
print("  RELATÓRIO DE ANÁLISE DE COMPORTAMENTO DE USUÁRIO DE E-COMMERCE")
print("=" * 50)

print(f"\n📊 Visão Geral do Dataset:")
print(f"  Usuários: {len(users):,}")
print(f"  Pedidos: {len(clean_orders):,}")
print(f"  Período: de {clean_orders['order_date'].min().date()} a {clean_orders['order_date'].max().date()}")

print(f"\n🏆 Top Categorias:")
for i, row in cat_stats.head(3).iterrows():
    print(f"  {i}: ${row['revenue']:,.0f} ({row['orders']} pedidos)")

print(f"\n👤 Segmentos de Usuários:")
for seg, count in rfm['segment'].value_counts().items():
    pct = count / len(rfm) * 100
    print(f"  {seg}: {count} ({pct:.1f}%)")

print(f"\n📈 Tendência Mensal:")
monthly_growth = monthly_rev.pct_change().dropna() * 100
print(f"  Crescimento mensal médio: {monthly_growth.mean():.1f}%")
print(f"  Mês de pico: {monthly_rev.idxmax()}")
print(f"  Mês mais baixo: {monthly_rev.idxmin()}")

print(f"\n💡 Recomendações:")
print(f"  1. Segmento Campeões ({(rfm['segment']=='Campeões').sum()} usuários) → Programa VIP")
print(f"  2. Segmento Em Risco ({(rfm['segment']=='Em Risco').sum()} usuários) → Campanha de reconquista")
print(f"  3. Eletrônicos é a categoria principal → expandir seleção")
print(f"  4. Focar em usuários com alto F_score para venda cruzada")

> **Saída:** Execute em um ambiente Python local (pandas 2.x). O servidor Piston não tem pandas pré-instalado. Por favor, instale localmente (`pip install pandas`) e acompanhe. Os valores reais podem variar ligeiramente dependendo da versão do pandas.

> **Saída:** Execute em um ambiente Python local (pandas 2.x). O servidor Piston não tem pandas pré-instalado. Por favor, instale localmente (`pip install pandas`) e acompanhe. Os valores reais podem variar ligeiramente dependendo da versão do pandas.

# ============================================
# Passo: Validação de Dados & Relatório de Qualidade
# Calcular taxa de faltantes / taxa de duplicatas /
# taxa de outliers, gerar relatório de qualidade
# ============================================

# 1. Análise de taxa de faltantes
missing_count = orders.isnull().sum()
missing_rate = (missing_count / len(orders) * 100).round(2)
print("=== Relatório de Taxa de Faltantes ===")
for col in missing_count[missing_count > 0].index:
    print(f"  {col}: {missing_count[col]} linhas faltando ({missing_rate[col]}%)")

# 2. Análise de taxa de duplicatas
dup_count = orders.duplicated(subset='order_id').sum()
dup_rate = dup_count / len(orders) * 100
print(f"\n=== Relatório de Taxa de Duplicatas ===")
print(f"  Pedidos duplicados: {dup_count} ({dup_rate:.2f}%)")

# 3. Detecção de outliers (amount muito alto ou muito baixo)
q1 = orders['amount'].quantile(0.25)
q3 = orders['amount'].quantile(0.75)
iqr = q3 - q1
lower_bound = q1 - 1.5 * iqr
upper_bound = q3 + 1.5 * iqr
outliers = orders[(orders['amount'] < lower_bound) | (orders['amount'] > upper_bound)]
outlier_rate = len(outliers) / len(orders) * 100
print(f"\n=== Relatório de Outliers ===")
print(f"  Outliers de amount: {len(outliers)} linhas ({outlier_rate:.2f}%)")
print(f"  Faixa normal: ${lower_bound:.2f} ~ ${upper_bound:.2f}")

# 4. Pontuação geral de qualidade dos dados
quality_score = 100 - (missing_rate.sum() + dup_rate + outlier_rate) / 3
print(f"\n=== Pontuação de Qualidade dos Dados: {quality_score:.1f}/100 ===")
print(f"  {'✅ Boa qualidade' if quality_score > 90 else '⚠️ Necessita atenção'}")

> **Saída:** Execute em um ambiente Python local (pandas 2.x). O servidor Piston não tem pandas pré-instalado. Por favor, instale localmente (`pip install pandas`) e acompanhe. Os valores reais podem variar ligeiramente dependendo da versão do pandas.