KAIST(총장 신성철) 전산학부 이성주 교수 연구팀이 스마트폰을 사물에 노크하여 사물을 인식하는 신기술<노커(Knocker)>를 개발했다. 이번 연구 결과는 기존 방식과 달리 카메라나 외부 장치를 사용하지 않아 어두운 곳에서도 물체 식별에 전혀 지장이 없으며, 추가 장비 없이 스마트폰으로 곧바로 사물 인식을 할 수 있다.

연구 시연 영상:

기존의 사물 인식 기법은 일반적으로 두 종류로 나뉜다. 첫째는 촬영된 사진을 이용하는 방법으로, 카메라를 이용해 사진을 찍어야 한다는 번거로움과 어두운 환경에서는 사용하지 못한다는 단점이 있다. 둘째는 RFID 등의 전자 태그를 부착해 전자신호로 구분하는 방법으로, 태그의 가격 부담과 인식하고자 하는 모든 사물에 태그를 부착해야 한다는 비현실성 때문에 상용화에 어려움을 겪었다.

반면 이번에 발표된 노커 기술은 카메라를 쓰지 않고, 또 별도의 기기를 쓰지도 않아 이러한 한계를 뛰어넘은 것으로 평가된다. 노커 기술은 물체에 “노크”를 해서 생긴 반응을 스마트폰의 마이크, 가속도계, 자이로스코프로 감지하고, 이 데이터를 기계 학습 기술을 이용, 분석해 사물을 인식한다. 책, 노트북, 물병, 자전거 등 일상생활에서 흔히 접할 수 있는 23종의 사물로 실험한 결과 혼잡한 도로, 식당 등 잡음이 많은 공간에서는 83％의 사물 인식 정확도를 보였고, 가정 등 실내 공간에서의 사물 인식 정확도는 98％에 달했다.

연구팀은 이번 연구 결과로 스마트폰 사용의 새로운 패러다임을 제시했다. 예를 들어 빈 물통을 스마트폰으로 노크하면 자동으로 물을 주문할 수 있고, IoT 기기를 활용하여 취침 전 침대를 노크하면 불을 끄고 알람을 자동으로 맞추어 주는 등 총 15개의 구체적인 활용 방안을 선보였다.

이성주 교수는 “특별한 센서나 하드웨어 개발 없이 기존 스마트폰의 센서 조합과 기계학습을 활용하여 개발한 소프트웨어 기술로, 스마트폰 사용자라면 보편적으로 사용할 수 있어 의미가 있다”며 “또한 사용자가 자주 이용하는 사물과의 상호작용을 보다 쉽고 편하게 만들어 주는 기술”이라고 말했다.

연구에 대한 설명과 시연이 담긴 비디오를 다음 링크에서 확인할 수 있고, (https://www.youtube.com/watch?v=SyQn1vr_HeQ&feature=youtu.be) 자세한 정보는 프로젝트 웹사이트에서 볼 수 있다. (https://nmsl.kaist.ac.kr/projects/knocker/)

공태식 박사과정, 조현성 석사과정, 이보원 인하대 교수가 참여한 이번 연구 결과는 9월 13일 유비쿼터스 컴퓨팅 분야 국제 최우수학회 ACM UbiComp에서 발표되었다. (논문명 : Knocker: Vibroacoustic-based Object Recognition with Smartphones) 이 연구는 한국연구재단 차세대정보컴퓨팅기술개발사업과 정보통신기획평가원 정보통신․방송 기술개발사업 및 표준화 사업의 지원을 통해 수행됐다.

그림 1. 물병에 노크 했을 때의 예시. 노커는 물병에서 생성된 고유 반응을 스마트폰을 통해 분석하여 물병임을 알아내고, 그에 맞는 서비스를 실행 시킨다. 예) 물 주문

그림 2. 노커에 사용되는 센서와 작용 방향

그림 3. 노커의 사물 고유 반응 센싱 및 기계학습을 통한 분류 과정

그림 4. 23개 사물에 대해 스마트폰 센서로 추출한 노크 고유 반응 시각화