MongoDB: 分片集群Sharding：水平扩展

// === 启用分片 ===
sh.enableSharding('shopdb');

// === 选择分片键：用户 ID 范围 ===
sh.shardCollection('shopdb.orders', { userId: 1 });
// userId 1-1000 → Shard 1
// userId 1001-2000 → Shard 2

// === 哈希分片 ===
sh.shardCollection('shopdb.products', { sku: 'hashed' });
// sku 哈希值均匀分布到各分片

// ✅ 好分片键：高基数、低频更新、查询命中
sh.shardCollection('shopdb.orders', { userId: 1, createdAt: -1 });
// 复合分片键，userId 范围 + 时间排序

// ❌ 坏分片键：低基数
sh.shardCollection('shopdb.products', { category: 1 });
// category 只有 5 个值，会严重倾斜

// === 手动拆分 Chunk ===
sh.splitAt('shopdb.orders', { userId: 5000 });

// === 查看 Chunk 分布 ===
db.orders.getShardDistribution();

// === 平衡器状态 ===
sh.status();
sh.isBalancerRunning();

// ShopHub：大批量导入前暂停均衡器，导入后恢复
// 1. 暂停均衡器
sh.stopBalancer();

// 2. 批量导入数据
for (let i = 0; i < 1000000; i++) {
  db.orders.insertOne({ userId: 'user_' + (i % 500), total: Math.random() * 1000, createdAt: new Date() });
}

// 3. 手动拆分热点 Chunk
sh.splitAt('shopdb.orders', { userId: 'user_100' });
sh.splitAt('shopdb.orders', { userId: 'user_200' });
sh.splitAt('shopdb.orders', { userId: 'user_300' });

// 4. 恢复均衡器
sh.startBalancer();

// 5. 验证分布
db.orders.getShardDistribution();

// 执行成功

# docker-compose-sharding.yml
version: '3.8'
services:
  # Config Server（副本集）
  config1:
    image: mongo:7.0
    command: mongod --configsvr --replSet configReplSet --port 27019

  # Shard 1（副本集）
  shard1a:
    image: mongo:7.0
    command: mongod --shardsvr --replSet shard1ReplSet --port 27018

  # Mongos 路由
  mongos:
    image: mongo:7.0
    command: mongos --configdb configReplSet/config1:27019 --port 27017
    ports:
      - "27017:27017"

# === 初始化分片集群 ===
# 1. 初始化 Config Server 副本集
mongosh --port 27019 --eval 'rs.initiate({_id: "configReplSet", members: [{_id: 0, host: "config1:27019"}]})'

# 2. 初始化 Shard 1 副本集
mongosh --port 27018 --eval 'rs.initiate({_id: "shard1ReplSet", members: [{_id: 0, host: "shard1a:27018"}]})'

# 3. 通过 Mongos 添加分片
mongosh --port 27017 --eval '
  sh.addShard("shard1ReplSet/shard1a:27018");
  sh.enableSharding("shopdb");
  sh.shardCollection("shopdb.orders", { userId: 1 });
'

// === 查看分片状态 ===
sh.status();

// === 数据分布 ===
db.orders.getShardDistribution();

// === 平衡器管理 ===
sh.startBalancer();
sh.stopBalancer();
sh.setBalancerState(true);

// === 配置 ===
db.settings.find();

// Bob 的 DataFlow 系统发现查询变慢，诊断分片问题
// 1. 查看集群状态
sh.status();
// 发现 Shard1: 8000 chunks, Shard2: 2000 chunks → 严重倾斜

// 2. 查看数据分布
db.orders.getShardDistribution();
// Shard 1: 80GB (80%), Shard 2: 20GB (20%)

// 3. 检查是否有 Jumbo Chunk
db.config.chunks.find({ jumbo: true }).count();
// 3 个 Jumbo Chunk

// 4. 手动拆分热点 Chunk
sh.splitAt('shopdb.orders', { userId: 'user_100' });
sh.splitAt('shopdb.orders', { userId: 'user_200' });

// 5. 确认均衡器在运行
sh.startBalancer();
sh.isBalancerRunning(); // true

// 6. 等待均衡完成，再次检查
db.orders.getShardDistribution();
// Shard 1: 50GB (50%), Shard 2: 50GB (50%) → 均衡

// mongoose 操作成功执行
// 数据库查询/更新结果

# === 1. 启动分片集群（docker-compose-sharding.yml）===
# services:
#   config1:
#     image: mongo:7.0
#     command: mongod --configsvr --replSet configReplSet --bind_ip_all --port 27019
#     ports: ["27019:27019"]
#
#   shard1a:
#     image: mongo:7.0
#     command: mongod --shardsvr --replSet shard1ReplSet --bind_ip_all --port 27018
#     ports: ["27018:27018"]
#
#   shard2a:
#     image: mongo:7.0
#     command: mongod --shardsvr --replSet shard2ReplSet --bind_ip_all --port 27020
#     ports: ["27020:27020"]
#
#   mongos:
#     image: mongo:7.0
#     command: mongos --configdb configReplSet/config1:27019 --bind_ip_all --port 27017
#     ports: ["27017:27017"]
#     depends_on: [config1, shard1a, shard2a]

docker-compose -f docker-compose-sharding.yml up -d

# === 2. 初始化 Config Server 副本集 ===
mongosh --port 27019 --eval '
  rs.initiate({
    _id: "configReplSet",
    members: [{ _id: 0, host: "config1:27019" }]
  });
'

# === 3. 初始化 Shard 副本集 ===
mongosh --port 27018 --eval '
  rs.initiate({ _id: "shard1ReplSet", members: [{ _id: 0, host: "shard1a:27018" }] });
'

mongosh --port 27020 --eval '
  rs.initiate({ _id: "shard2ReplSet", members: [{ _id: 0, host: "shard2a:27020" }] });
'

# === 4. 通过 Mongos 添加分片 ===
mongosh --port 27017 --eval '
  sh.addShard("shard1ReplSet/shard1a:27018");
  sh.addShard("shard2ReplSet/shard2a:27020");
'

# === 5. 启用数据库分片 ===
mongosh --port 27017 --eval '
  sh.enableSharding("shopdb");
  sh.shardCollection("shopdb.orders", { userId: 1, createdAt: -1 });  // 复合分片键
'

# === 6. 插入测试数据（自动分布到不同分片）===
mongosh --port 27017 --eval '
  for (let i = 0; i < 10000; i++) {
    db.orders.insertOne({
      userId: "user_" + (i % 100),
      total: Math.random() * 1000,
      createdAt: new Date(),
      status: "paid"
    });
  }
'

# === 7. 查看分片分布 ===
mongosh --port 27017 --eval 'sh.status();'
# 输出：
# shards:
#   { _id: 'shard1ReplSet', count: 5012 }
#   { _id: 'shard2ReplSet', count: 4988 }
# 数据均匀分布到 2 个分片

# === 8. 查询时 Mongos 自动路由 ===
mongosh --port 27017 --eval '
  db.orders.find({ userId: "user_50" }).count();
'
# Mongos 自动定位到对应分片（基于 userId 范围）

CONTAINER ID   IMAGE     STATUS    
abc123         latest    Up 2 hours

// === 9. 应用连接 Mongos（应用透明，无需感知分片）===
const mongoose = require('mongoose');
await mongoose.connect('mongodb://localhost:27017/shopdb');
// 应用代码无需修改，与单机 MongoDB 完全相同

await Order.create({
  userId: 'user_001',
  total: 599,
  items: [{ sku: 'PHONE-001', qty: 1 }]
});
// Mongos 自动路由到合适的分片

// === 10. Hashed 分片（数据均匀分布）===
mongosh --port 27017 --eval '
  sh.shardCollection("shopdb.products", { sku: "hashed" });
'
// sku 哈希后均匀分布，避免热点