把一张设计稿或截图变成能跑的页面,过去几乎是前端工程师的体力活:先量尺寸、猜间距,再一点点把色值、字体和布局写成样式,遇到复杂的组件还要反复和设计者对齐细节。这个过程枯燥、耗时,而且很容易在还原度上打折。近年来随着多模态大模型对视觉信息的理解能力快速提升,直接把图片交给模型、让它输出结构化前端代码,逐渐从演示走向可用。Screenshot to Code 就是这一思路下关注度很高的开源项目,它把截图、模型图、Figma 设计乃至一段网站操作录屏都当作输入,借助 AI 生成干净、可运行的前端代码,覆盖从 HTML 加 Tailwind 到 React、Vue 等多种常见技术栈。它既提供了可以本地部署、自行定制的源码,也有托管版本供不想折腾环境的用户直接上手。对于一个想把设计快速落地成原型的团队,或者想研究视觉到代码这条链路的开发者来说,它提供了一个相当完整的观察样本。
Screenshot to Code是什么?
Screenshot to Code是一个把视觉素材转成前端代码的开源项目,主要用来把截图、设计稿、Figma 文件和网站操作录屏交给 AI,生成干净且能直接运行的代码,服务于希望快速还原界面、缩短从设计到原型周期的前端开发者与设计师。它本身不是一个简单的在线转换器,而是一套包含 React/Vite 前端与 FastAPI 后端的完整应用:前端负责上传素材、选择技术栈和查看生成结果,后端负责调用各家模型完成识别与代码生成。项目支持多种输出栈,包括 HTML 加 Tailwind、纯 HTML 加 CSS、React 加 Tailwind、Vue 加 Tailwind、Bootstrap,以及 Ionic 加 Tailwind。默认可用的模型涵盖 Gemini、GPT 与 Claude 系列,其中图像相关环节还会用到 Replicate 上的模型。正因为把模型选择、素材处理和代码生成都放到了本地可控的架构里,它既能作为开箱即用的工具,也能成为研究视觉转代码技术的底座。

核心功能
- 视觉稿转代码——把截图、模型图与 Figma 设计稿交给 AI,直接产出干净、可运行的前端代码,省去手工量尺寸和调样式的环节。
- 录屏生成原型——把一段网站操作的录屏变成可交互的功能原型,让动态流程也能快速复刻。
- 多技术栈输出——同一份素材可选 HTML 加 Tailwind、纯 HTML 加 CSS、React 加 Tailwind、Vue 加 Tailwind、Bootstrap 或 Ionic 加 Tailwind,贴合不同项目的技术选型。
- 真实素材复用——借助 Gemini 的素材提取能力,从截图里识别并复用原本的 logo 与图片,而不是用占位图替代。
- 图像生成与编辑——通过 Replicate 上的模型完成图像生成、背景移除与图片编辑,补齐设计稿里缺素材的部分。
- 多模型并行对比——配置多家模型的密钥后可以对同一次生成比较不同模型的结果,挑出还原度更高的那一版。

使用场景
| 人群/角色 | 场景描述 | 推荐指数 |
|---|---|---|
| 前端开发者 | 拿到设计稿后快速生成页面骨架,再在此基础上微调,减少从零写样式的时间 | ★★★★★ |
| UI 设计师 | 把自己的稿子转成可点击的原型,用来验证交互和视觉还原效果 | ★★★★☆ |
| 独立开发者 | 没有专职前端时,用截图快速拼出产品首版页面,先跑起来再迭代 | ★★★★☆ |
| 教学与培训 | 演示视觉到代码的生成过程,帮助学员理解界面结构与样式的关系 | ★★★☆☆ |
| 技术研究者 | 研究多模态模型在代码生成与素材提取上的表现,比较不同模型的还原度 | ★★★★☆ |
操作指南
- 先确认自己要走哪条路径:打开 Screenshot to Code 的项目页,想直接体验、不想配置环境就选托管版本;想定制、自托管或参与贡献,就把源码拉到本地自己跑。
- 如果选择托管版本,打开 立即使用 入口即可上传素材开始生成,这一步不需要准备任何模型密钥,适合先看看效果。
- 如果选择本地运行,先按仓库说明准备好 React/Vite 前端与 FastAPI 后端,两者分别启动后再进行后续配置。
- 配置至少一个模型提供方的密钥,OpenAI、Anthropic 或 Gemini 任选其一即可跑通基本流程;想要更高的还原度,建议把 Gemini 和 Replicate 的密钥也加上。
- 在项目根目录的 .env 文件里填入密钥。如果在 Windows 下遇到 UTF-8 编码报错,可以用 Notepad++ 打开 .env,把编码切换成 UTF-8 后保存再重启后端。
- 上传截图、设计稿或录屏,选择目标技术栈后提交生成;拿到结果后再按实际需求做二次调整,复杂布局仍需要人工介入。
- 想继续深入,可以查阅仓库里的 Examples 与 FAQs 章节;遇到问题或想提需求,可以在项目里开一个 issue,也能通过社交账号反馈。
整个过程中最关键的一步是密钥配置:模型提供方决定代码生成的风格与质量,而 Gemini 负责从截图里提取真实素材、Replicate 负责图像生成与背景处理,几个密钥齐备时效果通常更好,也方便对同一张图做多模型横向比较。对于只想先看看效果的读者,直接走托管路径上手最快。
支持平台
从项目公开的信息看,Screenshot to Code 提供两种使用形态:一是通过浏览器访问的托管 Web 应用,打开就能用;二是本地自运行方式,由 React/Vite 前端和 FastAPI 后端组成,适合自托管与二次开发。文档里还专门列出了 Docker 一节,说明可以用容器方式部署后端环境。至于独立的桌面客户端、手机小程序或浏览器插件,站方没有明确列出。
产品定价
站方未公开价格信息,以站内为准。源码可以自行获取并本地部署,托管入口是否收费、包含多少额度,需要以站内实际说明为准,这里不做任何推测。
常见问题
Q:怎么获取 OpenAI API key?
可以参考仓库里的 Troubleshooting 文档,里面说明了申请与配置的方法。配置时至少要准备一家模型提供方的密钥,OpenAI、Anthropic 或 Gemini 任选其一即可跑通基本流程。
Q:后端运行时报 UTF-8 编码错误怎么办?
这是 Windows 环境下比较常见的问题。用 Notepad++ 打开项目里的 .env 文件,在编码菜单中选择 UTF-8 后保存,再重新启动后端即可。
Q:如何反馈问题或提出功能需求?
项目欢迎通过 issue 提交反馈、功能建议和 bug 报告,也可以直接在社交平台上联系作者沟通。提交前建议先说明使用的技术栈、模型配置和复现步骤,这样更容易得到有针对性的帮助。
开发者小结
把视觉稿变成代码的想法并不新鲜,但 Screenshot to Code 的价值在于把模型选择、素材提取和代码生成串成了一条可本地掌控的流程,覆盖从静态页面到录屏原型的多种输入。它的取舍也很清楚:换来的是快速出稿和多技术栈适配,付出的是需要自己准备模型密钥、理解前后端分工,并对生成结果做人工校验,复杂布局、动态交互和品牌规范仍离不开开发者把关。它更适合当作原型加速器和学习样本,而不是替代完整工程实践的通用工具;如果你的目标是研究视觉转代码的边界,或者需要给设计到开发的协作找一个可讨论的起点,它会是一个值得读源码的项目。
© 版权声明
文章版权归作者所有,未经允许请勿转载。
相关文章
暂无评论...









