本发明公开的RGBD视频中基于局部刚性假设的场景流估计方法,首先,分别输入连续两帧RGB图像和深度图像,并计算连续两帧RGB图像之间的光流信息;其次,根据坐标转换配准输入的深度图像和RGB图像,修复深度图像中的洞和消除噪声点;然后,使用K‑means算法对修复后的深度图像分层,将深度值接近的像素值分为同一层;然后使用局部刚性全局非刚性假设将每一层分成许多的块并计算每个块的运动信息;最后,根据光流信息和深度图像的分层信息得到最终的场景流信息。本发明公开的方法与传统的计算场景流的方法相比,具有较高的精度。