Codex无限画布插件Cowart开源:AI改图告别文字描述,画圈标注指哪打哪

Ai教程2小时前发布 大国Ai
5 0 0

摘要:6月19日,国内开发者、豆包桌面端产品经理钟二信开源了面向OpenAI Codex的本地无限画布插件Cowart,基于tldraw框架构建,让Codex能够直接读取画布上的箭头、批注和位置标记进行图片修改,彻底告别”靠长提示词改图”的低效模式。这一创新让Codex从单纯的编程工具向创作工具延伸,成为AI改图工作流的新范式。

一、痛点:AI改图最累的不是”改”,而是”说清楚改哪里”

用过AI编程工具改图的人都有同感:让AI把”左边那个圆挪一下、稍微靠上一点、再小一点”,打字打半天,它改出来还不对。

这背后其实是一个长期存在的交互痛点——聊天框的表达力不够。你要让AI”把图里这只鸟去掉”,说起来简单,但真正操作时,光靠文字描述”哪只鸟、在什么位置、去掉后背景该怎么补”就非常费力。

Codex无限画布插件Cowart开源:AI改图告别文字描述,画圈标注指哪打哪

传统的AI工具修改图片,几乎等于推翻重来,AI经常无法准确理解用户指令,在不需要修改的地方乱改一通,变得错上加错。UI问题本来就是视觉问题,人眼一看就知道哪里不对,但要把它翻译成Prompt就会变得很绕。

二、Cowart:给Codex装上一块”电子白板”

Cowart是豆包桌面端产品经理钟二信(@zhongerxin)于6月19日开源的项目,定位为面向OpenAI Codex的本地无限画布插件

它基于开源无限白板框架tldraw构建可视化画布,让Codex在本地电子白板上摆放图片、画箭头标注、保留迭代版本,实现从”聊天框改图”到”画布标注迭代”的范式转变。

Cowart的核心设计理念有几个关键点:

第一,面向Codex而非独立产品。 它不自己做生图模型,也不自己做视觉理解,而是把画布、图片、标注、版本这些”材料”摆到Codex面前,让Codex自己去看、自己去操作。

第二,本地无限画布。 画布数据默认保存到当前用户项目的canvas/目录,不会上传到插件仓库里,按项目隔离保存。

第三,根据标注迭代图片。 每次迭代生成的新图放在原图旁边,原图、标注、V1、V2平铺在无限画布上,随时可回溯,告别聊天记录中翻找历史版本的痛点。

三、使用流程:从安装到出图只需几步

安装方式

安装Cowart非常简单,直接把下面这段话发给Codex,让它自动完成插件安装:

请从 https://github.com/zhongerxin/cowart.git 安装 Cowart Codex 插件。请clone仓库到~/plugins/cowart,确认.codex-plugin/plugin.json存在,把插件加入personal marketplace,先运行codex plugin marketplace add ~,再运行codex plugin add cowart@personal。

安装完成后,通常需要开启一个新的Codex对话来加载新的skills和MCP工具。

使用步骤

  1. 启动画布:在Codex中输入”Help me open the Cowart canvas”,Cowart会启动本地网页服务并提供预览入口。
  2. 生成或导入图片:创建AI image holder并选中,让Codex按容器比例生成图片;或直接将需要修改的图片拖入画布。
  3. 画标注:在画布上对图片画箭头、圈出问题、写文字标注修改意见。
  4. 发送指令:选中标注后的图片或截图,告诉Codex按照标注内容进行修改。
  5. 生成新版本:Codex会自动生成修订后的新图,并放置在原图旁边,原图和标注不会被删除。
  6. 持续迭代:如需继续调整,直接在新版本上再次标注并重复修改流程。

四、技术实现:MCP协议+多模态画布

从GitHub项目结构看,Cowart的目录结构很清爽:.codex-plugin是插件本体,skills/里是Skill脚本,src/是画布前端,mcp/目录用来做MCP工具集成。

它通过内嵌浏览器+Codex Image 2+无限画布的组合,构建了一个多模态画布系统,让Codex直接读取画布的Base64标注图,实现”看图理解+生成”。

Cowart提供标准MCP协议支持,Codex可读取画布选择状态、插入图片、保存资源到本地,支持自定义扩展。这种设计让tldraw不再只是白板,而是变成前端的Multi-modal Canvas,用来拼一个低配但可控的生图工作流。

五、趋势解读:Canvas正在成为AI的”应许之地”

Cowart的走红并非偶然。它戳中了一个非常真实的痛点——在AI改图这件事上,聊天框的表达力不够

这与近期Codex官方更新方向高度一致。5月底OpenAI给Codex更新的Annotation功能,就支持用户直接在网页上标注,让UI修改更像设计批注而不是评论,能够”指哪打哪”。

更宏观地看,整个AI设计工具领域都在向”画布交互”演进。以Lovart的ChatCanvas为例,它允许用户在无限画布中对任意想要修改的地方”指指点点”,一口气提一堆要求,AI会逐个改完,极大提升了修改效率。

正如Lovart创始人陈冕所言:”如果人类回归到笔墨纸砚,画布就是桌子。甲方站在你旁边告诉你要做什么,你把作品放到桌子上,ta对着桌子指指点点。所以桌子上不应该是ComfyUI或者工作流,而是真实的作品和真实的修改。”

Cowart让Codex逐渐有了除了编程工具以外的第二个形态——创作工具。它让AI从”听你描述页面”变成”看着页面接收反馈”,这一步对前端开发、产品设计、Landing Page调整、中后台系统、数据大屏、Figma还原都很实用。

六、适用场景与局限

适合谁? 需要反复改图的人——海报、内容配图、产品图,以及需要反复根据视觉反馈修改的图片。

注意事项: Cowart运行在本地网页服务,画布和资源默认保存在当前项目目录;它是第三方插件,安装后才会在Codex插件列表里出现。

正如2026年6月这一波AI工具横评所指出的,不同工具在准确性、协调性等方面可能存在不足,需要人工调整。Cowart目前也还在快速迭代中,但其开创的”画布标注+AI改图”工作流,已经为AI创作工具的演进指明了一个清晰方向。


文章来源: 本文综合自腾讯新闻、搜狐、36氪、腾讯云开发者社区、AI工具集、GitHub等公开报道与项目文档。

© 版权声明

相关文章

暂无评论

none
暂无评论...