▲ KAIST 바이오및뇌공학과 정기훈, 이도헌 교수 공동 연구팀이 근적외선 기반 라이트필드 카메라와 인공지능 기술을 융합하여 얼굴의 감정표현을 구분하는 기술을 개발했다.

[기계신문] 표정 또는 감정 판독 기술은 장애인의 소통, 원격 진료 등의 의료 정보뿐만 아니라 사회 인지, 인간-기계 상호작용과 같은 다양한 연구에 활발하게 적용되고 있다. 이를 위해 얼굴의 2차원, 3차원, 또는 열 이미지를 통한 특징 추출을 이용하는 방법들이 쓰이고 있다.

3차원 이미지는 2차원 또는 열 이미지에 비해 얼굴의 방향과 자세, 주변 광 조건에 대해 표정 판독에 필요한 정보를 보다 안정적으로 제공한다. 특히, 라이트필드 카메라는 초소형으로 제작하기에 적합하고 정확도 높은 3차원 재구성 이미지를 얻을 수 있어 얼굴 인식 분야에서의 적용이 시도되고 있다.

하지만 여전히 라이트필드 카메라를 통해 얼굴의 3차원 정보를 정확하고 정량적으로 획득하는 것에 어려움이 있어 표정 또는 감정 판독 기술에 쓰이기 위해서는 정확도 높은 라이트필드 카메라의 개발이 필요하다.

이러한 가운데, 최근 KAIST 바이오및뇌공학과 정기훈, 이도헌 교수 공동 연구팀이 근적외선 기반 라이트필드 카메라와 인공지능 기술을 융합하여 얼굴의 감정표현을 구분하는 기술을 개발했다.

▲ 근적외선 기반 라이트필드 카메라의 모식도와 미세배열 렌즈의 현미경 영상, 최종 제작된 라이트필드 카메라

라이트필드 카메라는 일반적인 카메라와 다르게 미세렌즈 배열(Microlens arrays)을 이미지센서 앞에 삽입해 손에 들 수 있을 정도로 작은 크기지만, 한 번의 촬영으로 빛의 공간 및 방향 정보를 획득한다. 이를 통해 다시점 영상, 디지털 재초점, 3차원 영상 획득 등 다양한 영상 재구성이 가능하고 많은 활용 가능성으로 주목받고 있는 촬영 기술이다.

그러나 기존의 라이트필드 카메라는 실내조명에 의한 그림자와 미세렌즈 사이의 광학 크로스토크(Optical crosstalk)에 의해 이미지의 대비도 및 3차원 재구성의 정확도가 낮아지는 한계가 있다.

연구팀은 라이트필드 카메라에 근적외선 영역의 수직 공진형 표면 발광 레이저(VCSEL) 광원과 근적외선 대역필터를 적용해 기존 라이트필드 카메라가 갖는 조명 환경에 따라 3차원 재구성의 정확도가 낮아지는 문제를 해결했다.

이를 통해 얼굴 정면 기준 0도, 30도, 60도 각도의 외부 조명에 대해 근적외선 대역필터를 사용한 경우 최대 54%까지 영상 재구성 오류를 줄일 수 있었다. 또한, 가시광선 및 근적외선 영역을 흡수하는 광 흡수층을 미세렌즈 사이에 제작하면서 광학 크로스토크를 최소화해 원시 영상의 대비도를 기존 대비 약 2.1배 정도로 획기적으로 향상시키는 데 성공했다.

▲ 근적외선 기반 라이트필드 카메라를 이용해 획득한 표정별 거리지도 및 주요 3차원 얼굴 특징

이를 통해 기존 라이트필드 카메라의 한계를 극복하고 3차원 표정 영상 재구성에 최적화된 근적외선 기반 라이트필드 카메라(NIR-LFC, NIR-based light-field camera) 개발에 성공했다. 연구팀은 개발한 카메라를 통해 피험자의 다양한 감정표정을 가진 얼굴의 3차원 재구성 이미지를 조명 환경과 관계없이 고품질로 획득할 수 있었다.

획득한 3차원 얼굴 이미지로부터 기계학습을 통해 성공적으로 표정을 구분할 수 있었고, 분류 결과의 정확도는 평균 85% 정도로 2차원 이미지를 이용했을 때보다 통계적으로 유의미하게 높은 정확도를 보였다.

뿐만 아니라, 연구팀은 표정에 따른 얼굴의 3차원 거리 정보의 상호의존성을 계산한 결과를 통해 라이트필드 카메라가 인간이나 기계가 표정을 판독할 때 어떤 정보를 활용하는지에 대한 단서를 제공할 수 있음을 확인했다.

정기훈 교수는 “연구팀이 개발한 초소형 라이트필드 카메라는 정량적으로 인간의 표정과 감정을 분석하기 위한 새로운 플랫폼으로 활용될 수 있을 것으로 기대된다”며 “모바일 헬스케어, 현장 진단, 사회 인지, 인간-기계 상호작용 등의 분야에서 활용될 것”이라고 설명했다.

한편, KAIST 바이오및뇌공학과 배상인 박사과정 졸업생이 주도한 이번 연구 결과는 국제저명학술지 ‘어드밴스드 인텔리전트 시스템즈(Advanced Intelligent Systems)’에 2021년 12월 16일 온라인 게재됐으며, 연구는 과학기술정보통신부 및 산업통상자원부의 지원을 받아 수행됐다.

기계신문, 기계산업 뉴스채널

관련기사