Skip to content

CREATIVEAILAB

VIDEOPRODUCTION: Real-time (local) AI-workflow

Unlike cloud-based AI video generation, this workflow combines real-time AI generation during filming with AI-assisted post-production. The core of the workflow is the Promptable AI Camera (PAIC), which transforms the live camera feed locally using generative AI models. This enables directors and performers to immediately evaluate the visual result on set and rapidly iterate during production.

After filming, additional AI-driven visual effects are created using custom ComfyUI workflows, followed by AI upscaling and conventional post-production. Because the entire workflow runs locally, it offers greater creative control, improved privacy, low latency, and avoids dependency on cloud-based AI services.

Step 01 – Environment Creation (Unreal Engine)

Production starts with the creation of the virtual environments inside Unreal Engine. 

Unlike traditional virtual production, these environments do not need to be fully photorealistic or highly detailed. Their primary purpose is to provide a basic scene geometry, perspective, basic lighting and FX, and composition that guide the AI transformation during filming. 

The environments establish: 

  • scene composition  
  • camera perspective  
  • lighting direction  
  • environmental depth  
  • basic visual context  

 

These virtual environments serve as a visual starting point for the AI-generated scenes captured during production.

Before filming, a custom LoRA model is trained using a dedicated dataset of reference images and descriptive captions. 

Depending on the production, the LoRA may represent a specific character, artistic style, costume, object, or branded visual identity. Training a dedicated LoRA allows the model to reproduce these visual characteristics consistently throughout the production. 

Compared to relying solely on prompting, custom LoRAs significantly improve visual consistency across shots while preserving the intended artistic direction. 

The trained LoRA is integrated into the Promptable AI Camera workflow and becomes one of the key components of the real-time generation process.

The live performance is captured using the Promptable AI Camera (PAIC). 

During filming, every incoming camera frame is transformed in real time using locally running diffusion models. The system combines the live camera feed with the Unreal Engine environment, custom LoRA models, prompts, and additional conditioning techniques to generate the desired visual appearance. 

Directors and operators can immediately evaluate the generated output and adjust prompts, LoRA strength, generation settings, or camera work during filming. This allows creative decisions to be made directly on set rather than during later post-production. 

The live generation combines: 

  • camera input  
  • Unreal Engine environments  
  • custom LoRA models  
  • text prompts  
  • ControlNet guidance  
  • locally running diffusion models  

The resulting footage forms the basis for the remainder of the production pipeline. 

After filming, additional visual effects were created using custom ComfyUI workflows. 

ComfyUI’s node-based architecture allows complex AI processing pipelines to be constructed by combining individual processing nodes into reusable workflows. Depending on the creative requirements, different workflows can be developed for specific shots or visual effects. 

Typical effects included: 

  • stylized visual effects  
  • typewriter animations  
  • image transformations  
  • additional AI-based refinements  
  • custom visual processing pipelines  

The modular nature of ComfyUI allows workflows to be easily adapted, expanded, or reused throughout the production, providing a flexible environment for AI-assisted post-production. 

Once all visual effects had been completed, the footage was processed using Topaz Video AI. 

Depending on the production requirements, Topaz was used to: 

  • increase image resolution  
  • improve perceived sharpness  
  • reduce compression artefacts  
  • generate intermediate frames  
  • increase frame rate through frame interpolation  

 

This stage enhanced the overall image quality while preserving the visual characteristics established during the AI generation process.


The final stage consisted of assembling the project in Adobe Premiere Pro. 

The generated clips were edited according to the storyboard, synchronized with audio, and finalized through color grading and finishing. 

Typical post-production tasks included: 

  • scene editing  
  • pacing adjustments  
  • sound design  
  • music integration  
  • color correction  
  • final export  

 

The completed edit was reviewed for visual consistency, narrative flow, and overall production quality before the final delivery. 


The result