MongoDB: シャーディング：水平スケーリング

// === シャーディング有効化 ===
sh.enableSharding('shopdb');

// === シャードキー選択：ユーザーID範囲 ===
sh.shardCollection('shopdb.orders', { userId: 1 });
// userId 1-1000 → Shard 1
// userId 1001-2000 → Shard 2

// === ハッシュシャーディング ===
sh.shardCollection('shopdb.products', { sku: 'hashed' });
// skuのハッシュ値で均等にシャードに分散

// ✅ 良いシャードキー：高カーディナリティ、低頻度更新、クエリヒット
sh.shardCollection('shopdb.orders', { userId: 1, createdAt: -1 });
// 複合シャードキー、userId範囲 + 時系列ソート

// ❌ 不適切なシャードキー：低カーディナリティ
sh.shardCollection('shopdb.products', { category: 1 });
// categoryは5つの値しかなく、深刻な偏在を引き起こす

// === 手動でチャンクを分割 ===
sh.splitAt('shopdb.orders', { userId: 5000 });

// === チャンク分散を確認 ===
db.orders.getShardDistribution();

// === バランサー状態 ===
sh.status();
sh.isBalancerRunning();

// ShopHub：大規模インポート前にバランサーを一時停止、インポート後に復旧
// 1. バランサー一時停止
sh.stopBalancer();

// 2. バッチインポートデータ
for (let i = 0; i < 1000000; i++) {
  db.orders.insertOne({ userId: 'user_' + (i % 500), total: Math.random() * 1000, createdAt: new Date() });
}

// 3. ホットスポットチャンクを手動分割
sh.splitAt('shopdb.orders', { userId: 'user_100' });
sh.splitAt('shopdb.orders', { userId: 'user_200' });
sh.splitAt('shopdb.orders', { userId: 'user_300' });

// 4. バランサー復旧
sh.startBalancer();

// 5. 分散を確認
db.orders.getShardDistribution();

# docker-compose-sharding.yml
version: '3.8'
services:
  # Config Server（レプリカセット）
  config1:
    image: mongo:7.0
    command: mongod --configsvr --replSet configReplSet --port 27019

  # Shard 1（レプリカセット）
  shard1a:
    image: mongo:7.0
    command: mongod --shardsvr --replSet shard1ReplSet --port 27018

  # Mongosルーティング
  mongos:
    image: mongo:7.0
    command: mongos --configdb configReplSet/config1:27019 --port 27017
    ports:
      - "27017:27017"

# === シャードクラスター初期化 ===
# 1. Config Serverレプリカセット初期化
mongosh --port 27019 --eval 'rs.initiate({_id: "configReplSet", members: [{_id: 0, host: "config1:27019"}]})'

# 2. Shard 1レプリカセット初期化
mongosh --port 27018 --eval 'rs.initiate({_id: "shard1ReplSet", members: [{_id: 0, host: "shard1a:27018"}]})'

# 3. Mongos経由でシャードを追加
mongosh --port 27017 --eval '
  sh.addShard("shard1ReplSet/shard1a:27018");
  sh.enableSharding("shopdb");
  sh.shardCollection("shopdb.orders", { userId: 1 });
'

// === シャード状態確認 ===
sh.status();

// === データ分散確認 ===
db.orders.getShardDistribution();

// === バランサー管理 ===
sh.startBalancer();
sh.stopBalancer();
sh.setBalancerState(true);

// === 設定確認 ===
db.settings.find();

// BobのDataFlowシステムでクエリが遅い、シャーディング問題を診断
// 1. クラスター状態確認
sh.status();
// Shard1: 8000 chunks, Shard2: 2000 chunks → 深刻な偏在を発見

// 2. データ分散確認
db.orders.getShardDistribution();
// Shard 1: 80GB (80%), Shard 2: 20GB (20%)

// 3. ジャンボチャンクがあるか確認
db.config.chunks.find({ jumbo: true }).count();
// 3つのJumbo Chunk

// 4. ホットスポットチャンクを手動分割
sh.splitAt('shopdb.orders', { userId: 'user_100' });
sh.splitAt('shopdb.orders', { userId: 'user_200' });

// 5. バランサーが実行中か確認
sh.startBalancer();
sh.isBalancerRunning(); // true

// 6. バランシング完了を待ち、再確認
db.orders.getShardDistribution();
// Shard 1: 50GB (50%), Shard 2: 50GB (50%) → バランス

# === 1. シャードクラスター起動（docker-compose-sharding.yml）===
# services:
#   config1:
#     image: mongo:7.0
#     command: mongod --configsvr --replSet configReplSet --bind_ip_all --port 27019
#     ports: ["27019:27019"]
#
#   shard1a:
#     image: mongo:7.0
#     command: mongod --shardsvr --replSet shard1ReplSet --bind_ip_all --port 27018
#     ports: ["27018:27018"]
#
#   shard2a:
#     image: mongo:7.0
#     command: mongod --shardsvr --replSet shard2ReplSet --bind_ip_all --port 27020
#     ports: ["27020:27020"]
#
#   mongos:
#     image: mongo:7.0
#     command: mongos --configdb configReplSet/config1:27019 --bind_ip_all --port 27017
#     ports: ["27017:27017"]
#     depends_on: [config1, shard1a, shard2a]

docker-compose -f docker-compose-sharding.yml up -d

# === 2. Config Serverレプリカセット初期化 ===
mongosh --port 27019 --eval '
  rs.initiate({
    _id: "configReplSet",
    members: [{ _id: 0, host: "config1:27019" }]
  });
'

# === 3. シャードレプリカセット初期化 ===
mongosh --port 27018 --eval '
  rs.initiate({ _id: "shard1ReplSet", members: [{ _id: 0, host: "shard1a:27018" }] });
'

mongosh --port 27020 --eval '
  rs.initiate({ _id: "shard2ReplSet", members: [{ _id: 0, host: "shard2a:27020" }] });
'

# === 4. Mongos経由でシャードを追加 ===
mongosh --port 27017 --eval '
  sh.addShard("shard1ReplSet/shard1a:27018");
  sh.addShard("shard2ReplSet/shard2a:27020");
'

# === 5. データベースシャーディング有効化 ===
mongosh --port 27017 --eval '
  sh.enableSharding("shopdb");
  sh.shardCollection("shopdb.orders", { userId: 1, createdAt: -1 });  // 複合シャードキー
'

# === 6. テストデータ挿入（自動的に異なるシャードに分散）===
mongosh --port 27017 --eval '
  for (let i = 0; i < 10000; i++) {
    db.orders.insertOne({
      userId: "user_" + (i % 100),
      total: Math.random() * 1000,
      createdAt: new Date(),
      status: "paid"
    });
  }
'

# === 7. シャード分散確認 ===
mongosh --port 27017 --eval 'sh.status();'
# 出力:
# shards:
#   { _id: 'shard1ReplSet', count: 5012 }
#   { _id: 'shard2ReplSet', count: 4988 }
# データは2つのシャードに均等に分散

# === 8. Mongosクエリで自動ルーティング ===
mongosh --port 27017 --eval '
  db.orders.find({ userId: "user_50" }).count();
'
# Mongosは自動的に対応シャードにルーティング（userId範囲に基づく）

// === 9. アプリケーションからMongosに接続（アプリ透過、シャーディング透過）===
const mongoose = require('mongoose');
await mongoose.connect('mongodb://localhost:27017/shopdb');
// アプリケーションコードの変更なし、スタンドアロンMongoDBと全く同じ

await Order.create({
  userId: 'user_001',
  total: 599,
  items: [{ sku: 'PHONE-001', qty: 1 }]
});
// Mongosは自動的に適切なシャードにルーティング

// === 10. ハッシュシャーディング（データを均等分散）===
mongosh --port 27017 --eval '
  sh.shardCollection("shopdb.products", { sku: "hashed" });
'
// skuはハッシュ後均等に分散、ホットスポットを回避