Wan2.2-Fun-Inp 是 Alibaba pai团队推出的首尾帧控制视频生成模型,支持输入首帧和尾帧图像,生成中间过渡视频,为创作者带来更强的创意控制力。该模型采用 Apache 2.0 许可协议发布,支持商业使用。 核心功能
  • 首尾帧控制:支持输入首帧和尾帧图像,生成中间过渡视频,提升视频连贯性与创意自由度
  • 高质量视频生成:基于 Wan2.2 架构,输出影视级质量视频
  • 多分辨率支持:支持生成512×512、768×768、1024×1024等分辨率的视频,适配不同场景需求
模型版本
  • 14B 高性能版:模型体积达 32GB+,效果更优但需高显存支持
下面是相关模型权重和代码仓库:
请确保你的 ComfyUI 已经更新。本指南里的工作流可以在 ComfyUI 的工作流模板中找到。如果找不到,可能是 ComfyUI 没有更新。如果加载工作流时有节点缺失,可能原因有:
  1. 你用的不是最新开发版(nightly)。
  2. 你用的是稳定版或桌面版(没有包含最新的更新)。
  3. 启动时有些节点导入失败。

Wan2.2 Fun Inp 首尾帧视频生成工作流示例

这里提供的工作流包含了两个版本:
  1. 使用了 lightx2v 的 Wan2.2-Lightning 4 步 LoRA : 但可能导致生成的视频动态会有损失,但速度会更快
  2. 没有使用加速 LoRA 的 fp8_scaled 版本
下面是使用 RTX4090D 24GB 显存 GPU 测试的结果 640*640 分辨率, 81 帧长度的用时对比
模型类型分辨率显存占用首次生成时长第二次生成时长
fp8_scaled640×64083%≈ 524秒≈ 520秒
fp8_scaled + 4步LoRA加速640×64089%≈ 138秒≈ 79秒
由于使用了加速 LoRA 后提速较为明显,虽然动态有所损失,但对低显存用户较为友好,所以在提供的两组工作流中,我们默认启用了使用了加速 LoRA 版本,如果你需要启用另一组的工作流,框选后使用 Ctrl+B 即可启用

1. 工作流文件下载

下载 JSON 格式工作流

使用下面的素材作为首尾帧 Wan2.2 Fun Control ComfyUI 工作流起始帧素材 Wan2.2 Fun Control ComfyUI 工作流起始帧素材

2. 手动下载模型

Diffusion Model Lightning LoRA (可选,用于加速) VAE Text Encoder
ComfyUI/
├───📂 models/
│   ├───📂 diffusion_models/
│   │   ├─── wan2.2_fun_inpaint_high_noise_14B_fp8_scaled.safetensors
│   │   └─── wan2.2_fun_inpaint_low_noise_14B_fp8_scaled.safetensors
│   ├───📂 loras/
│   │   ├─── wan2.2_i2v_lightx2v_4steps_lora_v1_high_noise.safetensors
│   │   └─── wan2.2_i2v_lightx2v_4steps_lora_v1_low_noise.safetensors
│   ├───📂 text_encoders/
│   │   └─── umt5_xxl_fp8_e4m3fn_scaled.safetensors 
│   └───📂 vae/
│       └── wan_2.1_vae.safetensors

3. 按步骤完成工作流

步骤图
这个工作流是使用了 LoRA 的工作流,请确保对应的 Diffusion model 和 LoRA 是一致的
  1. High noise 模型及 LoRA 加载
  • 确保 Load Diffusion Model 节点加载了 wan2.2_fun_inpaint_high_noise_14B_fp8_scaled.safetensors 模型
  • 确保 LoraLoaderModelOnly 节点加载了 wan2.2_i2v_lightx2v_4steps_lora_v1_high_noise.safetensors
  1. Low noise 模型及 LoRA 加载
  • 确保 Load Diffusion Model 节点加载了 wan2.2_fun_inpaint_low_noise_14B_fp8_scaled.safetensors 模型
  • 确保 LoraLoaderModelOnly 节点加载了 wan2.2_i2v_lightx2v_4steps_lora_v1_low_noise.safetensors
  1. 确保 Load CLIP 节点加载了 umt5_xxl_fp8_e4m3fn_scaled.safetensors 模型
  2. 确保 Load VAE 节点加载了 wan_2.1_vae.safetensors 模型
  3. 首尾帧图片上传,分别上传首尾帧图片素材
  4. 在 Prompt 组中输入提示词
  5. WanFunInpaintToVideo 节点尺寸和视频长度调整
    • 调整 widthheight 的尺寸,默认为 640, 我们设置了较小的尺寸你可以按需进行修改
    • 调整 length, 这里为视频总帧数,当前工作流 fps 为 16, 假设你需要生成一个 5 秒的视频,那么你应该设置 5*16 = 80
  6. 点击 Run 按钮,或者使用快捷键 Ctrl(cmd) + Enter(回车) 来执行视频生成