감정 컴퓨팅의 인간-컴퓨터 상호 작용에 있어서 "감정 컴퓨팅"

기존의 인간-컴퓨터 상호작용은 주로 키보드, 마우스, 화면 등의 방법을 통해 이루어지며, 편의성과 정확성만을 추구할 뿐, 사람의 감정이나 심리 상태를 이해하고 적응할 수 없습니다. 그리고 이러한 정서적 이해와 표현 능력이 없다면 컴퓨터가 인간과 같은 지능을 갖기를 기대하기 어렵고, 인간과 컴퓨터의 상호작용이 진정으로 조화롭고 자연스러울 것이라고 기대하기도 어렵습니다. 인간 사이의 의사소통은 자연스럽고 감정적이기 때문에, 인간과 컴퓨터의 상호작용 과정에서 컴퓨터가 감정적 능력을 갖출 것이라고 기대하는 것은 당연하다. 감성 컴퓨팅(Affective Computing)은 컴퓨터에게 인간과 유사한 다양한 감정적 특성을 관찰하고 이해하고 생성할 수 있는 능력을 부여하여 궁극적으로 컴퓨터가 인간처럼 자연스럽고 친근하며 생생하게 상호 작용할 수 있도록 하는 것입니다. 인간의 감정에 대한 심층적인 연구는 이미 19세기 말부터 이루어졌습니다. 그러나 공상과학 소설을 제외하면 과거에는 '감정'을 무생물 기계와 연관시킨 사람이 거의 없었습니다. 현대에 와서야 디지털 정보기술의 발달로 사람들은 기계(컴퓨터)에도 '감정'이 있다는 상상을 하기 시작했습니다. 지각 신호에서 감정적 특징을 추출하고, 인간의 감정과 다양한 지각 신호 간의 관계를 분석하는 것은 최근 몇 년 동안 세상에 등장한 연구 방향입니다(그림 1).

사람의 감정과 정신 상태의 변화는 항상 특정 생리적 특성이나 행동 특성의 기복을 동반하며, 이는 환경, 문화적 배경, 개인의 성격 등 일련의 요인에 의해 영향을 받습니다. 기계가 감정을 처리하기 위해서는 먼저 사람 간의 상호작용 과정을 탐구해야 합니다. 그렇다면 사람들은 어떻게 감정을 표현하고, 어떻게 정확하게 인지하는 걸까요? 사람들은 일련의 표정, 몸짓, 말을 통해 감정을 표현하고, 시각, 청각, 촉각을 통해 감정의 변화를 인지합니다. 시각적 인식은 주로 얼굴 표정과 몸짓을 통해 이루어지며, 말과 음악은 주요 청각 채널이며, 촉각에는 애무, 충격, 땀 분비, 심장 박동 및 기타 현상이 포함됩니다.

감정컴퓨팅 연구는 다양한 센서를 통해 인간의 감정으로 인해 발생하는 생리적, 행동적 특성 신호를 획득하고, 인간의 감정을 인지하고 식별하고 이해하는 능력을 창출하는 '감정 모델'을 구축하는 데 중점을 두고 있습니다. 사용자의 감정에 지능적이고 민감하며 친절하게 반응할 수 있는 컴퓨팅 시스템은 인간과 기계 사이의 거리를 단축하고 진정으로 조화로운 인간-기계 환경을 조성할 수 있습니다(그림 2). 생활 속에서 사람은 경직된 표정을 유지하기가 어렵습니다. 표정을 통해 감정을 표현하는 것은 사람들이 감정을 표현하는 가장 보편적이고 자연스러운 방법입니다. 감정 표현 영역은 주로 입, 볼, 눈, 눈썹, 이마 등입니다. , 등. 사람들이 감정을 표현할 때 얼굴 특징(예: 찡그리는 것)을 조금만 변경하여 마음 상태를 반영할 수 있습니다. 1972년 유명 학자 에크만(Ekman)은 얼굴 감정을 표현하는 방법(Facial Movement Coding System FACS)을 제안했습니다. 다양한 코딩과 운동 단위의 조합을 통해 얼굴에는 행복, 분노, 슬픔 등 복잡한 표정 변화가 형성될 수 있습니다. 이 결과는 대부분의 연구자들에 의해 받아들여졌으며 얼굴 표정의 자동 인식 및 합성에 적용되었습니다(그림 3).

컴퓨터 기술의 급속한 발전과 함께 사람들은 커뮤니케이션 요구를 충족시키기 위해 얼굴 인식 및 합성을 커뮤니케이션 코딩에 더욱 통합했습니다. 가장 일반적인 것은 얼굴 정의 매개변수, 얼굴 보간 변환 및 얼굴 애니메이션 매개변수라는 세 가지 중요한 매개변수 세트를 정의하는 MPEG4 V2 시각적 표준입니다. 표정 매개변수의 특정 수치는 사람의 흥분 정도를 나타내며, 여러 표정을 조합하여 혼합 표정을 시뮬레이션할 수 있습니다.

현재의 표정 처리 기술에서는 대부분 입체적인 이미지를 보다 세밀하게 묘사하고 모델링하는 데 중점을 두고 있습니다. 생생한 감정 표현 효과를 얻기 위해서는 일반적으로 복잡한 질감과 보다 상세한 그래픽 변환 알고리즘이 사용됩니다. 이를 바탕으로 다양한 알고리즘이 다양한 수준의 응용 시스템을 형성합니다(그림 4, 그림 5). 인간의 자세는 일반적으로 상호 작용 프로세스에 따라 변경되며 일부 정보를 표현합니다. 예를 들어, 몸짓을 강화하는 것은 일반적으로 스트레스를 받는 정신 상태를 반영하며, 신체의 특정 부분을 지속적으로 흔드는 것은 일반적으로 감정적으로 긴장되는 경향이 있습니다. 목소리나 얼굴 표정의 변화에 ​​비해 자세 변화의 규칙성을 얻기가 더 어렵습니다. 그러나 자세의 변화는 표정을 더욱 생생하게 만들어주기 때문에 여전히 사람들은 이에 큰 관심을 기울이고 있습니다.

과학자들은 모션 캡처 장치, 데이터 장갑, 스마트 시트 등과 같은 신체 움직임을 위한 일련의 모션 및 신체 정보 캡처 장치를 특별히 설계했습니다. MIT, IBM 등 일부 해외 유명 대학과 다국적 기업에서는 이러한 기기를 기반으로 스마트 공간을 구축했습니다. 동시에 일부 사람들은 스마트 시트를 자동차 운전석에 적용해 운전자의 감정 상태를 동적으로 모니터링하고 적시에 경고를 제공하기도 합니다. 이탈리아의 일부 과학자들도 일련의 제스처 분석을 활용해 직장인의 감정을 자동으로 분석해 보다 편안한 사무실 환경을 설계하고 있다. 인간의 상호작용 과정에서 음성은 가장 직접적인 의사소통 채널로, 음성을 통해 특별한 조어, 억양의 변화 등 서로의 감정 변화를 명확하게 느낄 수 있습니다. 사람들은 전화통화를 할 때 비록 서로를 볼 수는 없지만 목소리 톤에서 서로의 감정 변화를 느낄 수 있다. 예를 들어, "정말 착해요" 같은 문장을 다른 어조로 사용하면 감사의 말이 될 수도 있고, 비꼬거나 질투하는 말이 될 수도 있습니다.

현재 감정발화에 관한 국제적 연구는 주로 감정의 음향적 특성 분석에 중점을 두고 있다.

일반적으로 말의 감정적 특성은 말의 운율의 변화를 통해 표현되는 경우가 많습니다. 예를 들어, 사람이 화가 나면 말하는 속도가 빨라지고, 볼륨이 커지고, 음조가 높아지는 등의 현상이 발생합니다. 동시에 일부 음소 기능(*** 피크, 성도 단면 기능) 등)은 감정의 변화를 반영할 수도 있습니다. 중국과학원 자동화 연구소의 패턴 인식 국가 핵심 연구소의 전문가들은 언어의 초점 현상을 해결하기 위해 감정 초점 생성 모델을 처음으로 제안했습니다. 이는 음성 합성에서 감정 상태의 자동 예측을 위한 기반을 제공하며, 고품질 음향 모델과 결합되어 감정 음성 합성 및 인식이 최초로 실제 적용 수준에 도달합니다. 인간의 얼굴, 자세, 목소리는 모두 독립적으로 특정 감정을 표현할 수 있지만, 사람들은 항상 위 정보의 포괄적인 표현을 통해 서로 소통합니다. 따라서 다중 채널 인간-컴퓨터 인터페이스의 구현만이 인간과 컴퓨터 사이의 가장 자연스러운 상호 작용 방식입니다. 이는 자연어, 음성, 수화, 얼굴, 입술 읽기, 머리 동작, 신체 등 여러 통신 채널을 통합합니다. 그리고 이러한 채널 정보를 인코딩, 압축, 통합 및 융합하고 이미지, 오디오, 비디오, 텍스트 등과 같은 멀티미디어 정보를 중앙에서 처리합니다.

현재 멀티모달 기술 자체가 인간-컴퓨터 상호작용 분야의 연구 핫스팟이 되고 있으며, 감성컴퓨팅과 멀티모달 처리 기술의 융합은 감정의 다중 기능 융합을 달성할 수 있어 감성 성능을 효과적으로 향상시킬 수 있다. 컴퓨팅. 고품질의 더욱 조화로운 인간-컴퓨터 상호 작용 시스템의 출현을 깊이 있게 연구하고 촉진합니다.

다중 감성컴퓨팅 연구에서 매우 중요한 연구 분야는 감성 로봇과 감성 가상 인간에 대한 연구이다. 미국 매사추세츠공과대학(Massachusetts Institute of Technology), 일본 도쿄과학기술대학교(Tokyo Science and Technology University), 미국 카네기멜론대학교(Carnegie Mellon University)는 모두 이 분야에서 좋은 실증 시스템을 만들었다. 현재 중국과학원 자동화 연구소의 패턴 인식 국가 핵심 연구소는 감정 처리를 음성 및 얼굴에 대한 기존 다중 모드 상호 작용 플랫폼에 통합하고 이를 일련의 감정 음성 합성, 얼굴 모델링, 첨단 기술을 통해 실제와 같은 감성적 가상 아바타를 구축했으며, 임베디드 플랫폼, 게임 플랫폼 등 실용화에 적극적으로 전환하고 있습니다(그림 6). 감정 상태를 인식하고 이해하는 것은 컴퓨터가 감정을 이해하고 적절하게 반응할 수 있도록 하는 핵심 단계입니다. 이 단계에는 일반적으로 웃는 얼굴에서 눈썹을 식별하는 등 사람의 감정 정보에서 인식할 특징을 추출한 다음 컴퓨터가 이러한 특징을 학습시켜 향후 감정을 정확하게 인식할 수 있도록 하는 작업이 포함됩니다.

컴퓨터가 감정 인식 작업을 더 잘 완료할 수 있도록 과학자들은 인간의 감정 상태를 합리적이고 명확하게 분류하고 몇 가지 기본 감정을 제안했습니다. 현재 패턴인식, 인공지능, 음성 및 영상 기술 분야의 수많은 연구 결과가 감정 인식 및 이해 방법에 활용되고 있다. 예를 들어 감정적 음성의 음향 분석을 기반으로 선형 통계 방법과 신경망 모델을 사용하여 얼굴 동작 영역을 인코딩하고 얼굴 감정 특징인 HMM과 같은 다양한 모델을 사용하여 음성 기반 감정 인식 프로토타입을 구현했습니다. 인간의 자세와 움직임 분석을 통해 인식 방법을 확립하고, 신체 움직임의 감정적 범주를 탐색합니다.

그러나 감성정보 포착 기술의 영향과 대규모 감성 데이터 자원의 부족으로 인해 다중 기능 융합 감성 이해 모델에 대한 연구는 여전히 심도 있는 수준이 필요한 상황이다. 미래의 기술 발전에 따라 보다 효과적인 기계 학습 메커니즘도 제안될 것입니다. 감성컴퓨팅과 지능적 상호작용 기술은 인간과 컴퓨터 사이의 정확하고 자연스러운 상호작용을 확립하려는 시도이며, 이는 컴퓨팅 기술이 인간 사회에 본격적으로 침투하는 데 중요한 수단이 될 것이다. 미래 기술의 지속적인 발전으로 인해 감성 컴퓨팅의 적용은 필수적이며, 향후 일상 생활에 미치는 영향은 현재 다음과 같이 예상할 수 있습니다.

감동적 컴퓨팅은 과거를 효과적으로 변화시킬 것입니다. 컴퓨터 기반의 쌍방향 서비스는 인간과 컴퓨터 상호작용의 친밀도와 정확성을 향상시킵니다. 감성 능력을 갖춘 컴퓨터는 인간의 감정을 획득, 분류, 식별 및 반응할 수 있어 사용자가 효율적이고 따뜻한 감정을 얻을 수 있도록 돕고, 컴퓨터 사용에 대한 사람들의 좌절감을 효과적으로 줄이며, 심지어 사람들이 자신과 인간 관계를 보다 쉽게 ​​이해할 수 있도록 도와줍니다. 다른 것들의.

또한 장비 사용의 안전성을 높이는 데 도움이 될 수 있습니다(예를 들어 이러한 기술을 사용하는 시스템이 운전자의 주의가 산만함을 감지하면 제때에 자동차의 상태와 반응을 변경할 수 있음). 컴퓨터는 매체로서 학습하고 피드백을 수집하는 데 최적화되어 있습니다. 예를 들어, 한 연구 프로젝트에서는 자동차의 컴퓨터를 사용하여 운전자가 경험하는 스트레스 수준을 측정하여 운전자의 소위 "도로 분노" 문제를 해결하는 데 도움을 줍니다.

감성 컴퓨팅 및 관련 연구는 전자상거래 분야에 종사하는 기업에도 이점을 가져올 수 있습니다. 연구에 따르면 다양한 이미지가 인간에게 다양한 감정을 불러일으킬 수 있는 것으로 나타났습니다. 예를 들어, 뱀, 거미, 총의 사진은 공포를 유발할 수 있는 반면, 많은 양의 달러 현금과 금 덩어리의 사진은 매우 강한 긍정적인 반응을 불러일으킬 수 있습니다. 쇼핑사이트나 주식거래 사이트에서 이러한 요소들의 중요성을 연구하고 디자인할 때 고려한다면 고객 트래픽 증가에 매우 긍정적인 영향을 미칠 것입니다.

정보가전이나 스마트기기에 사람의 감정상태를 자동으로 감지하는 기능을 추가하면 더 나은 서비스를 제공할 수 있다.

정보 검색 애플리케이션에서는 감성 분석의 개념 분석 기능을 통해 지능형 정보 검색의 정확성과 효율성을 향상시킬 수 있습니다.

원격교육 플랫폼에 감성컴퓨팅 기술을 적용하면 교육 효과를 높일 수 있다.

다중 감성 상호작용 기술을 활용하면 사람들의 삶에 더 가까이 다가가는 스마트 공간이나 가상 장면을 구축할 수 있다.

감성컴퓨팅은 로봇, 스마트 토이, 게임 등 관련 산업에도 활용돼 더욱 의인화된 스타일과 더욱 사실적인 장면을 연출할 수 있다. 대규모 감성 데이터 자원의 부족으로 인해 감성컴퓨팅의 발전에는 일정한 한계가 있으며, 대부분 스피치, 바디랭귀지 등 특정하고 분산된 연구 분야에 국한되어 있어 사람의 감성을 정확하게 추론하고 생성하기가 어렵습니다. 이것에만 의존하여 감정 상태를 파악하고 효과적인 감정 상호 작용을 수행합니다. 현재 과학자들은 다중 기능 융합을 위한 감성 컴퓨팅의 이론적 모델을 적극적으로 탐색하고 있습니다. 많은 사람들은 감성 컴퓨팅이 향후 몇 년 내에 이러한 측면, 즉 감성 정보의 보다 상세하고 정확한 수집, 설명 및 매개변수 모델링에서 획기적인 발전을 이룰 필요가 있다고 믿습니다.

다양한 감정 인식, 이해 및 표현(이미지, 음성, 생리적 특성 등).

자연 장면이 생리적, 행동적 특성에 미치는 영향.

더 많은 적용 가능한 머신러닝 알고리즘.

대규모 감정 데이터 리소스 라이브러리입니다. 얼마 전 이 분야에 대한 우리나라의 연구를 홍보하기 위해 감성 컴퓨팅과 지능형 상호 작용 기술의 발전 역학과 추세를 탐구하고 이 분야 중국 연구자들 간의 교류와 협력을 촉진하기 위해 중국 아카데미 자동화 연구소가 과학, 중국 자동화 학회, 중국 컴퓨터 학회, 중국 이미지 및 그래픽 학회, 중국 정보 학회, 중국 국립 자연 과학 재단 및 국가 863 프로그램 컴퓨터 소프트웨어 및 하드웨어 기술 주제가 주최되었습니다. 베이징에서 열린 최초의 중국 감성 컴퓨팅 및 지능형 상호 작용 학술 컨퍼런스.

감성컴퓨팅이라는 개념이 탄생한 지 얼마 되지 않았음에도 불구하고 관련 분야의 연구와 응용이 활발히 이뤄지고 있으며, 국립자연과학재단이 활발히 활동하고 있는 것으로 입증됐다. 중국도 프로젝트 가이드에 이를 우선순위로 명시했습니다. 최근에는 감성컴퓨팅과 밀접한 유비쿼터스 컴퓨팅, 웨어러블 컴퓨터에 대한 연구도 활발히 발전해 국내에서도 큰 지지를 받고 있다는 점은 주목할 만하다. 이는 감정 정보의 실시간 획득에 큰 편의를 제공하고 중국의 감정 컴퓨팅 발전을 위한 더 나은 개발 플랫폼을 제공합니다.