本发明实施例提供一种生理信号处理装置及其方法。生理信号处理装置包括第一发光元件、第二发光元件、光源控制模块、影像感测模块以及分析模块。光源控制模块可控制第一发光元件与第二发光元件发射第一光线与第二光线至供手指接触的导光板。影像感测模块可感测导光板反射的第一光线与第二光线，并取得手指的影像信号。分析模块可解析经第一光线提取的影像信号而取得第一生理信号，以及解析经第二光线提取的影像信号而取得第二生理信号。本发明可增进生理信号的辨识效果。