DeepSeek Harness: マルチモーダルサポート

┌─ Chat Area ──────────────────────────────┐
│                                           │
│ 👤 Alice：                                │
│ 📎 [screenshot.png] [ui-mockup.jpg]      │
│ この2つの UI デザインはどちらが良い？     │
│                                           │
│ [Send]                                    │
└───────────────────────────────────────────┘

# 画像を添付して CLI を起動
dsh cli --attach ./screenshot.png

# 会話中に /attach コマンドを使用
> /attach ./ui-mockup.jpg
> What's wrong with this UI?

# 複数画像を添付
> /attach ./before.png ./after.png
> What's the difference between these two versions?

from dsh import DSHClient

client = DSHClient(base_url="http://127.0.0.1:3080")
session = client.create_session(workspace="/home/alice/project")

# 単一画像の添付
response = session.send(
    "What's wrong with this UI screenshot?",
    images=["./screenshot.png"]
)

print(response.content)

# 複数画像を添付して比較
response = session.send(
    "Compare these two designs, which is better?",
    images=["./design-a.png", "./design-b.png"]
)

👤 Alice：[error-page-screenshot.png を添付]
このエラーページの何が問題？修正して

🤖 Agent：
🔍 Analyzing image...

以下の問題を検出しました：
1. エラーメッセージテキストがコンテナの境界をはみ出している
2. 「Retry」ボタンが切り取られ、半分しか表示されていない
3. 背景色がデザイン仕様と不一致（#f5f5f5 のはずが白）

📝 Using tool: file_edit (edit)
  → Path: src/pages/ErrorPage.tsx
  → Fix 1: Add text-overflow: ellipsis
  → Fix 2: Adjust button margin
  → Fix 3: Change background color

⚠️ Approval Required: Edit file src/pages/ErrorPage.tsx

# 音声ファイルの送信
response = session.send(
    "Transcribe this audio and summarize the key points",
    audio=["./meeting-recording.mp3"]
)

print(response.content)
# Audio transcription results and summary...

# 動画ファイルの送信
response = session.send(
    "Analyze this demo video, list the features shown",
    video=["./demo.mp4"]
)

print(response.content)
# 1. User login feature (0:00-0:15)
# 2. Dashboard display (0:15-0:45)
# ...

# PDF ドキュメントの分析
response = session.send(
    "Summarize the core points of this technical document",
    files=["./api-specification.pdf"]
)

print(response.content)

# CSV データの分析
response = session.send(
    "Analyze this sales data, find trends and outliers",
    files=["./sales-2026.csv"]
)

print(response.content)
# Data analysis results...

🤖 Agent：
📊 Analyzing CSV data...
  → Rows: 12,450
  → Columns: 8
  → Date range: 2026-01 to 2026-08

Key findings:
1. 月平均成長率12%、ただし3月は8%減少（季節性の疑い）
2. 上位3製品が総収入の65%を占める
3. 顧客維持率が72%から68%に低下

🔧 Using tool: shell
  → Command: python3 -c "import pandas; ..."
  → Generating visualization...

👤 Bob：[api-response-screenshot.png を添付]
この API レスポンスフォーマットが間違っている、コードを確認して

🤖 Agent：
🔍 Analyzing screenshot...
  → Expected format: { data: [...], meta: {...} }
  → Actual format: { results: [...] }

🔍 Using tool: search
  → Pattern: "results"
  → Type: content
  → Found in: src/api/handlers.ts:45

📝 Using tool: file_edit (read)
  → Reading src/api/handlers.ts

📝 Using tool: file_edit (edit)
  → Fixing response format at line 45-52
  → Changing "results" to "data", adding "meta" field

import glob

screenshots = glob.glob("./screenshots/*.png")

response = session.send(
    "Review all screenshots, find pages with UI issues, and fix them one by one",
    images=screenshots[:5]  # Max 5 images
)

👤 Alice：[architecture-diagram.png を添付]
このアーキテクチャ図に基づいて Docker Compose 設定を生成して

🤖 Agent：
🔍 Analyzing architecture diagram...
  → Identified 4 services: API, Worker, Database, Cache
  → Connections: API → Database, API → Cache, Worker → Database

📝 Using tool: file_edit (create)
  → Creating docker-compose.yml
  → 4 services with proper networking

✅ Docker Compose 設定が生成されました：
- api-service (Express.js, port 3000)
- worker-service (Node.js, background jobs)
- postgres (PostgreSQL 16, volume mounted)
- redis (Redis 7, cache layer)

# dsh.config.yaml
multimodal:
  # 画像設定
  images:
    max_size_mb: 20
    max_per_message: 5
    resize_large: true          # Auto-resize oversized images
    max_resolution: [4096, 4096]
  
  # 音声設定
  audio:
    max_duration_minutes: 10
    max_size_mb: 50
    transcription_model: "whisper-1"
  
  # 動画設定
  video:
    max_duration_minutes: 5
    max_size_mb: 100
    frame_rate: 1               # Frames per second to extract
    max_frames: 300
  
  # ドキュメント設定
  documents:
    max_size_mb: 50
    pdf_ocr_enabled: true
    csv_max_rows: 100000