Runway 是一家专注于生成式 AI 的科技公司,提供强大的视频生成功能。目前 ComfyUI 已集成 Runway API,你可以直接在 ComfyUI 中使用相关节点进行视频生成。 目前 ComfyUI 中原生集成了 Runway 的以下视频生成模型:
  • Runway Gen3a turbo
  • Runway Gen4 turbo
  • Runway First Last Frame to video
使用 API 节点需要保证你已经正常登录,并在受许可的网络环境下使用,请参考API 节点总览部分文档来了解使用 API 节点的具体使用要求。
请确保你的 ComfyUI 已经更新。本指南里的工作流可以在 ComfyUI 的工作流模板中找到。如果找不到,可能是 ComfyUI 没有更新。如果加载工作流时有节点缺失,可能原因有:
  1. 你用的不是最新开发版(nightly)。
  2. 你用的是稳定版或桌面版(没有包含最新的更新)。
  3. 启动时有些节点导入失败。

Gen3a turbo 图生视频工作流

1. 工作流文件下载

下面的视频的metadata中已经包含工作流信息,请下载并拖入 ComfyUI 中加载对应工作流。

下载 Json 格式工作流文件

下载下面的图片作为输入图片 ComfyUI Runway gen3a turbo image to video Input Image

2. 按步骤完成工作流的运行

ComfyUI Runway gen3a turbo image to video Step Guide 你可参考图片中的序号来完成最基础的文生图工作流运行:
  1. Load Image 节点中加载提供的输入图片
  2. Runway Gen3a turbo 节点中设置 prompt 描述视频内容,修改 duration 参数来设置视频时长, 修改 ratio 参数来设置视频宽高比
  3. 点击 Run 按钮,或者使用快捷键 Ctrl(cmd) + Enter(回车) 来执行视频的生成。
  4. 等待 API 返回结果后,你可在 Save Video 节点中查看生成的视频(右键菜单可以保存),对应的视频也会被保存至 ComfyUI/output/ 目录下。

Gen4 turbo 图生视频工作流

1. 工作流文件下载

下面的视频的metadata中已经包含工作流信息,请下载并拖入 ComfyUI 中加载对应工作流。

下载 Json 格式工作流文件

下载下面的图片作为输入图片 ComfyUI Runway gen4 turbo image to video Input Image

2. 按步骤完成工作流的运行

ComfyUI Runway gen4 turbo image to video Step Guide 你可参考图片中的序号来完成最基础的文生图工作流运行:
  1. Load Image 节点中加载提供的输入图片
  2. Runway Gen4 turbo 节点中设置 prompt 描述视频内容,修改 duration 参数来设置视频时长, 修改 ratio 参数来设置视频宽高比
  3. 点击 Run 按钮,或者使用快捷键 Ctrl(cmd) + Enter(回车) 来执行视频的生成。
  4. 等待 API 返回结果后,你可在 Save Video 节点中查看生成的视频(右键菜单可以保存),对应的视频也会被保存至 ComfyUI/output/ 目录下。

首尾帧视频生成工作流

1. 工作流文件下载

下面的视频的metadata中已经包含工作流信息,请下载并拖入 ComfyUI 中加载对应工作流。

下载 Json 格式工作流文件

下载下面的图片作为输入图片 ComfyUI Runway gen4 turbo image to video Input Image ComfyUI Runway gen4 turbo image to video Input Image

2. 按步骤完成工作流的运行

ComfyUI Runway gen4 turbo image to video Step Guide 你可参考图片中的序号来完成最基础的文生图工作流运行:
  1. Load Image 节点中加载起始帧
  2. Load Image 节点中加载结束帧
  3. Runway First-Last-Frame to Video 节点中设置 prompt 描述视频内容,修改 duration 参数来设置视频时长, 修改 ratio 参数来设置视频宽高比
  4. 点击 Run 按钮,或者使用快捷键 Ctrl(cmd) + Enter(回车) 来执行视频的生成。
  5. 等待 API 返回结果后,你可在 Save Video 节点中查看生成的视频(右键菜单可以保存),对应的视频也会被保存至 ComfyUI/output/ 目录下。