本发明公开了一种基于局部判别CCA的海关身份验证系统及方法，该方法采用的特征库的建立方法包含：截取护照中人脸图像和视频中的人脸图像，统一尺寸并将图片转换为灰度图像，以获得M个人的N幅护照人脸和视频人脸的图像对；获得每幅灰度图像的每列，以得到该灰度图像的向量表示，并进行约简，得到图像对对应的向量对；定义两个矩阵，通过CCA优化以寻找成对的投影矩阵，使得投影后的典型变量之间的相关性最大化，获得两个映射矩阵；利用Wx和Wy对任意的护照人脸和视频人脸图像对对应的向量对进行映射，得到低维融合特征向量，将所有低维融合特征向量存储于特征库。本发明的系统及方法能准确验证身份，提高海关人员身份验证的准确率，减少了身份验证时间。
