DeepSeek Harness: 多模态支持

┌─ Chat Area ──────────────────────────────┐
│                                           │
│ 👤 Alice:                                 │
│ 📎 [screenshot.png] [ui-mockup.jpg]      │
│ 这两个 UI 设计哪个更好？                  │
│                                           │
│ [Send]                                    │
└───────────────────────────────────────────┘

# 启动 CLI 并附加图像
dsh cli --attach ./screenshot.png

# 在对话中使用 /attach 命令
> /attach ./ui-mockup.jpg
> 这个 UI 有什么问题？

# 附加多张图像
> /attach ./before.png ./after.png
> 这两次修改有什么区别？

from dsh import DSHClient

client = DSHClient(base_url="http://127.0.0.1:3080")
session = client.create_session(workspace="/home/alice/project")

# 附加单张图像
response = session.send(
    "这个 UI 截图中有什么问题？",
    images=["./screenshot.png"]
)

print(response.content)

# 附加多张图像进行对比
response = session.send(
    "对比这两个设计，哪个更好？",
    images=["./design-a.png", "./design-b.png"]
)

👤 Alice: [附加 error-page-screenshot.png]
这个错误页面有什么问题？帮我修复

🤖 Agent:
🔍 Analyzing image...

我看到了以下问题：
1. 错误信息文本溢出容器边界
2. "重试"按钮被截断，只显示一半
3. 背景色与设计规范不一致（应为 #f5f5f5 而非白色）

📝 Using tool: file_edit (edit)
  → Path: src/pages/ErrorPage.tsx
  → Fix 1: 添加 text-overflow: ellipsis
  → Fix 2: 调整按钮 margin
  → Fix 3: 修改背景色

⚠️ Approval Required: Edit file src/pages/ErrorPage.tsx

# 发送音频文件
response = session.send(
    "转录这段音频并总结要点",
    audio=["./meeting-recording.mp3"]
)

print(response.content)
# 音频转录结果和总结...

# 发送视频文件
response = session.send(
    "分析这个演示视频，列出展示的功能点",
    video=["./demo.mp4"]
)

print(response.content)
# 1. 用户登录功能 (0:00-0:15)
# 2. 仪表盘展示 (0:15-0:45)
# ...

# 分析 PDF 文档
response = session.send(
    "总结这份技术文档的核心要点",
    files=["./api-specification.pdf"]
)

print(response.content)

# 分析 CSV 数据
response = session.send(
    "分析这份销售数据，找出趋势和异常值",
    files=["./sales-2026.csv"]
)

print(response.content)
# 数据分析结果...

🤖 Agent:
📊 Analyzing CSV data...
  → Rows: 12,450
  → Columns: 8
  → Date range: 2026-01 to 2026-08

Key findings:
1. 月均增长 12%，但 3 月下降 8%（疑似季节性）
2. Top 3 产品占总收入 65%
3. 客户留存率从 72% 降至 68%

🔧 Using tool: shell
  → Command: python3 -c "import pandas; ..."
  → Generating visualization...

👤 Bob: [附加 api-response-screenshot.png]
这个 API 响应格式不对，帮我查看代码

🤖 Agent:
🔍 Analyzing screenshot...
  → Expected format: { data: [...], meta: {...} }
  → Actual format: { results: [...] }

🔍 Using tool: search
  → Pattern: "results"
  → Type: content
  → Found in: src/api/handlers.ts:45

📝 Using tool: file_edit (read)
  → Reading src/api/handlers.ts

📝 Using tool: file_edit (edit)
  → Fixing response format at line 45-52
  → Changing "results" to "data", adding "meta" field

import glob

screenshots = glob.glob("./screenshots/*.png")

response = session.send(
    "查看所有截图，找出有 UI 问题的页面，逐一修复",
    images=screenshots[:5]  # 最多 5 张
)

👤 Alice: [附加 architecture-diagram.png]
根据这个架构图生成对应的 Docker Compose 配置

🤖 Agent:
🔍 Analyzing architecture diagram...
  → 识别到 4 个服务：API, Worker, Database, Cache
  → 连接关系：API → Database, API → Cache, Worker → Database

📝 Using tool: file_edit (create)
  → Creating docker-compose.yml
  → 4 services with proper networking

✅ Docker Compose 配置已生成，包含：
- api-service (Express.js, port 3000)
- worker-service (Node.js, background jobs)
- postgres (PostgreSQL 16, volume mounted)
- redis (Redis 7, cache layer)

# dsh.config.yaml
multimodal:
  # 图像设置
  images:
    max_size_mb: 20
    max_per_message: 5
    resize_large: true          # 自动缩放过大图片
    max_resolution: [4096, 4096]
  
  # 音频设置
  audio:
    max_duration_minutes: 10
    max_size_mb: 50
    transcription_model: "whisper-1"
  
  # 视频设置
  video:
    max_duration_minutes: 5
    max_size_mb: 100
    frame_rate: 1               # 每秒提取帧数
    max_frames: 300
  
  # 文档设置
  documents:
    max_size_mb: 50
    pdf_ocr_enabled: true
    csv_max_rows: 100000