本发明公开了一种基于LSTM网络的光场视频时域超分辨重建方法,具体包括如下步骤:通过raytrix光场相机拍摄获得光场视频;通过light field toolbox工具将光场视频数据逐祯提取得到光场原始图像,即光场视频帧图像;然后从光场视频祯图像中抽取光场参数;将获取的光场视频祯图像和光场参数进行旋转,创建一个五维的光场坐标;本发明提出了针对LSTM网络优化的新代价损失函数loss function,是通过3种不同的约束来优化光场视频中特有的空间分辨率恶化、相邻帧之间抖动、视角变化不连续的问题。