OpenAI 兼容 provider 下 Computer Use 截图返回空——消息转换器丢弃 tool_result 图片块

[yangxiangyou]

摘要

使用 OpenAI 兼容的 provider 时，Computer Use 截图（mcp__computer-use__screenshot、zoom）返回空，而基于文本的工具（如 cursor_position）正常工作。截图本身已正确捕获（生成真实的 JPEG），但在到达上游模型前被悄悄剥掉了。

根因

sidecar 的 Anthropic → OpenAI 消息转换器丢弃了 tool_result 里的图片块。

转换器由 apiFormat 选择：

if (_.apiFormat === "openai_chat") return await II3($, A, _.apiKey, H, w, J);
else return await mI3($, A, _.apiKey, H, w, J, j);

• openai_chat → II3（/v1/chat/completions），通过 $w3/Ow3 构建消息。tool_result 分支只保留文本：

else if (_.type === "tool_result") {
  let $ = typeof _.content === "string"
    ? _.content
    : Array.isArray(_.content)
      ? _.content.filter((H) => H.type === "text").map((H) => H.text).join(`\n`)
      : "";
  K.push({ role: "tool", tool_call_id: _.tool_use_id, content: $ });
}

• openai_responses → mI3，其 tool_result 转换器 Qa4 也只保留 type === "text"：

function Qa4(q) {
  if (typeof q === "string") return q;
  if (!Array.isArray(q)) return "";
  return q.map((K) => {
    if (K && typeof K === "object" && "type" in K) {
      if (K.type === "text" && typeof K.text === "string") return K.text;
    }
    return "";
  }).filter(Boolean).join(`\n`);
}

此外，对 baseUrl 含 opencode.ai 或 deepseek 的 provider，UW5(baseUrl)===true 会强制 imageContentMode="text_only"，连用户消息里的图片也会被替换成占位符（zw3）——所以丢的不只是 tool_result 图片：

function UW5(q) {
  return /(^|[./-])deepseek([./-]|$)/i.test(q) || /(^|[./-])opencode\.ai([:/]|$)/i.test(q);
}
function uI3(q) { return UW5(q); } // → imageContentMode = "text_only"

证据

1. 截图工具确实返回真实图片。 Anthropic 格式的请求里包含：

{
  "type": "tool_result",
  "tool_use_id": "call_00_q7th5rjrFvmNGEVkwTt15015",
  "content": [
    { "type": "image", "source": { "type": "base64", "media_type": "image/jpeg", "data": "/9j/4AAQSkZJ..." } }
  ]
}

2. 请求被路由到 OpenAI-chat 路径。 对 { format: "openai_chat", baseUrl: "https://opencode.ai/zen/go/" } 这样的 provider，出站 URL 是 https://opencode.ai/zen/go/v1/chat/completions。

3. 隔离复现 $w3 确认了该行为：

• 输入 tool_result 为 [text, image] → 输出 { role: "tool", tool_call_id: "...", content: "Screenshot taken" }（图片消失）。
• 输入 user 消息为 [text, image] → 输出保留 { type: "image_url", image_url: { url: "data:image/jpeg;base64,..." } }。

所以图片在 user 消息里被保留（vision 模式），但在两种转换器路径的 tool_result 里都被丢弃。

影响

• 任何 OpenAI 兼容 provider（chat 或 responses 格式）都会静默丢弃作为 tool result 返回的图片。
• Computer Use 的 screenshot / zoom 一直为空——模型只看到一个纯文本的 tool result。

建议的修复

• 在 $w3/Ow3（以及 Qa4）里，保留 tool_result 内的 image 内容块，例如在 tool 内容数组里输出为 OpenAI 的 { type: "image_url", image_url: { url: "data:..." } }，而不是只过滤 text。
• 重新审视支持 vision 流式输出的 provider 上 UW5/uI3 的 text_only 门控。

[yangxiangyou]

已修复 chat 转换器（anthropicToOpenaiChat.ts），让它保留 tool_result 里的 image 块；并把 text_only 门控改成按模型名判断，而不是按 baseUrl——因为 opencode.ai/zen 是多模型网关，有的模型能识图、有的不能。

PR：#1278

[yangxiangyou]

补充说明：当前源码里 Responses 路径（anthropicToOpenaiResponses.ts）的 tool_result 转换器已经用 type === 'text' || type === 'image' 过滤并保留图片块，说明该部分已在源码侧修复。本 issue 复现的场景走的是 openai_chat（/v1/chat/completions），PR #1278 修复的正是 chat 路径。

实测已确认：opencode.ai/zen/go 接受并正确识别「assistant 带 tool_calls → tool 角色消息里放 image_url」的完整序列，模型能描述截图内容。

[yangxiangyou]

补充实测：模型其实能识图，"空"可能另有原因

补一条端到端实测，进一步定位"截图返回空"。

我在 opencode.ai/zen/go（模型 deepseek-v4-flash-vision-exp）上直接发了一张测试图：左半红色、右半绿色，中间白条上写着黑字 CC-HAHA。

模型准确描述了它，说明 图能送到、模型也真的看懂了：

"左半边是纯红色。右半边是纯绿色。中间有一个白色矩形条，上面有黑色文字 'CC-HAHA'。"

但响应结构值得注意

{
  "content": "",
  "finish_reason": "length",
  "reasoning_content": "1. 分析用户的请求…… left red / right green …… CC-HAHA ..."
}

也就是说：DeepSeek 这个 reasoning 模型把"看图后的结论"全写在 reasoning_content（推理字段），而正式回答字段 content 是空的，且容易被 max_tokens 截断。

对本 issue 的含义

"截图返回空 / 模型说看不到"可能有两层原因：

1. 图被丢（本 issue 主体）：旧转换器把 tool_result 里的 image 剥掉了 → 已由 PR 修复 Anthropic→OpenAI chat 转换器丢弃 tool_result 图片，并按模型控制 text_only 门控 #1278 修复。
2. 答案在 reasoning_content、正文空：即便图保留，这个 reasoning 模型的结论也在推理字段里，content 仍为空，还容易截断。若上游只读 content，依然会表现成"空"。

建议：对这类 reasoning 模型读取/回填 reasoning_content（对应 cc-haha 的 shouldUseDeepSeekReasoningCompat / roundTripReasoningContent 逻辑），否则即使图传到了，用户仍可能看到空正文。

[NanmiCoder]

v0.6.0 已发布，修复了 OpenAI Chat 兼容转换丢失 Computer Use 截图的问题，并改善了视觉模型兼容。请更新后试试；后续提到的空正文问题还需要验证，先保留此 issue，如仍出现请反馈具体模型与报错。

下载 v0.6.0