개인구독
소속 기관이 없으신 경우, 개인 정기구독을 하시면 저렴하게
논문을 무제한 열람 이용할 수 있어요.
지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 발행연도
- 2022.1
- 수록면
- 79 - 87 (9page)
- DOI
- 10.7840/kics.2022.47.1.79
이용수
초록· 키워드
오류제보하기
Multimodal emotion recognition is a robust and reliable method as it utilizes multimodal data for more comprehensive representation of emotions. Data fusion is a key step in multimodal emotion recognition, because the accuracy of the recognition model mostly depends on how the different modalities are combined. The goal of this paper is to compare the performances of deep learning (DL) based models for the task of data fusion and multimodal emotion recognition. The contributions of this paper are two folds: 1) We introduce three DL models for multimodal fusion and classification: early fusion, hybrid fusion, and multi-task learning. 2) We systematically compare the performance of these models on three multimodal datasets. Our experimental results demonstrate that multi-task learning achieves the best results across all modalities; 75.41%, 68.33%, and 78.75% for classification of three emotional states using the combinations of audio-visual, EEG-audio, and EEG-visual data, respectively.
목차
ABSTRACT
Ⅰ. Introduction
Ⅱ. Related Works
Ⅲ. Emotion Recognition Using Data Fusion
Ⅳ. Experimental Settings
Ⅴ. Experimental Results
Ⅵ. Conclusion and Future Works
References
참고문헌 (23)
참고문헌 신청
J. Kim, “Multimodal parametric fusion for emotion recognition,” J. Advanced Smart Convergence, vol. 9, no. 1, pp. 193-201, Jan. 2020.
E. Seo, et al., “Reading the mind in the eyes test: Relationship with neurocognition and facial emotion recognition in non-clinical youths,” Psychiatry Investig., vol. 17, no. 8, pp. 835-839, Aug. 2020.
E. Han, et al., “Adaptive feature generation for speech emotion recognition,” IEIE Trans. Smart Process. Comput., vol. 9, no. 3, pp. 185-192, Mar. 2020.
P. A. Abhang, et al., Introduction to EEG-and speech-based emotion recognition, Academic Press, 2016.
J. J. Bird, et al., “Mental emotional sentiment classification with an eeg-based brain-machine interface,” in Proc. Digital Image and Sign. Process., Oxford, UK, Apr. 2019.
E. Seo, et al., “Reading the mind in the eyes test: Relationship with neurocognition and facial emotion recognition in non-clinical youths,” Psychiatry Investig., vol. 17, no. 8, pp. 835-839, Aug. 2020.
E. Han, et al., “Adaptive feature generation for speech emotion recognition,” IEIE Trans. Smart Process. Comput., vol. 9, no. 3, pp. 185-192, Mar. 2020.
P. A. Abhang, et al., Introduction to EEG-and speech-based emotion recognition, Academic Press, 2016.
J. J. Bird, et al., “Mental emotional sentiment classification with an eeg-based brain-machine interface,” in Proc. Digital Image and Sign. Process., Oxford, UK, Apr. 2019.
함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
A Survey on Data Fusion Methods for Multimodal Emotion Recognition
한국통신학회 학술대회논문집
2022 .06
-
Multimodal Representation Fusion for On-Device Learning
한국정보과학회 학술발표논문집
2022 .06
-
Multimodal Data Integration for Disease Diagnosis
한국정보통신학회 종합학술대회 논문집
2024 .05
-
Multimodal Attention-Based Fusion Model for Context-Aware Emotion Recognition
International JOURNAL OF CONTENTS
2022 .09
-
Feature Fusion 방식과 Decision Fusion 방식을 결합한 멀티모달 감정 인식에 관한 연구
한국정보과학회 학술발표논문집
2023 .06
-
감정 인식을 위한 멀티모달 모델: Early Fusion과Late Fusion 방식 비교를 중심으로
한국정보과학회 학술발표논문집
2023 .06
-
점진적 전이학습을 활용한 음성 데이터 적응 감정 인식 모델
멀티미디어학회논문지
2024 .08
-
긴급 상황의 정확한 인지를 위한 멀티 모달 딥러닝 방법 설계
제어로봇시스템학회 국내학술대회 논문집
2019 .05
-
[박사학위논문소개] 멀티모달 퓨전 모델을 활용한 음영 교통정보 추정
교통기술과정책
2024 .06
-
Feature Refinement via Canonical Correlation Analysis for Multimodal Emotion Recognition
제어로봇시스템학회 국제학술대회 논문집
2023 .10
-
Multimodal Fusion and Data Augmentation for 3D Semantic Segmentation
제어로봇시스템학회 국제학술대회 논문집
2022 .11
-
Real-time Multimodal Emotion Recognition Based on Multithreaded Weighted Average Fusion
대한인간공학회지
2023 .10
-
멀티모달 접근을 통한 딥러닝 기반 감정인식 알고리즘
한국통신학회 학술대회논문집
2019 .06
-
뇌 종양 등급 분류를 위한 심층 멀티모달 MRI 통합 모델
한국정보통신학회 종합학술대회 논문집
2022 .05
-
Emotion Recognition Implementation with Multimodalities of Face, Voice and EEG
Journal of information and communication convergence engineering
2022 .09
-
A Crux on Audio-Visual Continuous Emotion Recognition using Fusion Techniques
대한전자공학회 학술대회
2024 .06
-
멀티모달 데이터를 활용한 특징 기반 감정 인식 모델
한국정보과학회 학술발표논문집
2023 .06
-
Analysis of the Effects of Cross-Attention and Multimodal Inputs on Robotic Assembly Tasks
제어로봇시스템학회 국제학술대회 논문집
2024 .10
-
Multimodal Face Biometr ics by Using Convolutional Neur al Networks
멀티미디어학회논문지
2017 .01
-
도시 환경 영상의 Segmentation 성능 향상을 위한 딥러닝 기반 멀티모달 영상 융합 모듈
제어로봇시스템학회 국내학술대회 논문집
2022 .06
이 논문의 저자 정보
이 논문과 함께 이용한 논문
Data Augmentation and Deep Learning for the Fault Diagnosis of Rotating Machines
Asif Khan
,
Heung Soo Kim
대한기계학회 춘추학술대회
2021
.11
다양한 딥러닝 알고리즘과 활용
김지원
,
표현아
,
하정우
외 2명
정보과학회지
2015
.08
인공지능 생성 기술(AIGC)을 활용한 무형문화유산의 전승 및 혁신 지원: 중국 청화자기 문양 보조 디자인을 사례로
조가가
,
정의태
,
리메이르
멀티미디어학회논문지
2025
.02
UWB 레이더를 사용한 호흡 및 심박 감지 알고리즘
레민후이
,
황란미
,
드미트리 페도토프
한국정보통신학회논문지
2019
.01
스마트 기기를 활용한 블렌디드 러닝에서 기술수용의도가 학습만족도에 미치는 영향 : IT서비스 전문기업의 사례 중심
박구만
,
박동국
방송공학회논문지
2016
.09
최근 본 자료
댓글(0)
0
UCI(KEPA) : I410-ECN-0101-2022-567-000155719