지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 저널정보
- Korean Institute of Information Scientists and Engineers Journal of KIISE Journal of KIISE Vol.49 No.12
- 발행연도
- 2022.12
- 수록면
- 1,124 - 1,131 (8page)
- DOI
- 10.5626/JOK.2022.49.12.1124
이용수
초록· 키워드
오류제보하기
초거대 언어 모델의 등장으로 자연어 처리는 한 단계의 벽을 뛰어 넘는 계기가 되었다. 하지만, 초거대 언어 모델은 문맥에서 추출한 정보만을 사용하기 때문에 성능 향상을 위해 단순히 모델의 크기 또는 데이터의 양을 늘리는 방법을 선택했다. 이러한 방법은 언어 모델이 소비하는 자원의 양을 증가시켜왔다. 본 논문에서는 문맥적인 정보만을 사용하는 언어 모델에 어휘의 의미 정보를 함께 학습하는 뉴로 심볼릭 앙상블 언어 표현 방법을 제안한다. 한국어 어휘망(UWordMap)에서 상위어, 용언의 의미제약 정보 추출했으며, 단어의 의미 벡터를 추가로 사용했다. 4가지 영역에 대해서 뉴로 심볼릭 앙상블 언어 표현 모델을 테스트 했으며, 기계 독해 영역에서 기존 모델보다 좋은 성능을 보였다. 또한 기존의 모델보다 학습이 수렴하는 속도가 빠르며, 응용 영역의 데이터가 부족한 경우 기존 모델보다 좋은 성능을 보였다.
목차
요약
Abstract
1. 서론
2. 관련 연구
3. 문맥과 의미 정보를 결합한 한국어 앙상블 언어 표현 모델
4. 실험
5. 결론
References
참고문헌 (17)
참고문헌 신청
Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L., and Polosukhin, I. Attention is all you need. Advances in neural information processing systems, 2017.
Devlin, J., Chang, M. W., Lee, K., and Toutanova, K. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv: 1810.04805 2018.
Mikolov, T., Chen, K., Corrado, G., and Dean, J. Efficient estimation of word representations in vector space. arXiv preprint arXiv:1301.3781. 2013.
J. Lee., J. C. Shin., C. Y. Ock., "A Word Embedding used Word Sense and Feature Mirror Mode," KIISE Transactions on Computing Practices, Vol. 23, No. 4, pp. 226-231, 2017. 4
Radford, A., Narasimhan, K., Salimans, T., and Sutskever, I. Improving language understanding by generative pre-training, 2018.
Devlin, J., Chang, M. W., Lee, K., and Toutanova, K. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv: 1810.04805 2018.
Mikolov, T., Chen, K., Corrado, G., and Dean, J. Efficient estimation of word representations in vector space. arXiv preprint arXiv:1301.3781. 2013.
J. Lee., J. C. Shin., C. Y. Ock., "A Word Embedding used Word Sense and Feature Mirror Mode," KIISE Transactions on Computing Practices, Vol. 23, No. 4, pp. 226-231, 2017. 4
Radford, A., Narasimhan, K., Salimans, T., and Sutskever, I. Improving language understanding by generative pre-training, 2018.
함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
언어모델을 활용한 음성인식 모델 앙상블
한국정보과학회 학술발표논문집
2022 .12
-
문맥 정보가 향상된 시각언어 모델
대한전자공학회 학술대회
2023 .06
-
초거대 언어모델 연구 동향
정보과학회지
2023 .11
-
문장의 중요단어 정보를 반영한 텍스트 분류 모델
한국정보과학회 학술발표논문집
2021 .12
-
거대언어모델 기반 추천 모델 성능 개선을 위한 항목의 통합 표현 방법
한국정보과학회 학술발표논문집
2024 .12
-
코드 생성을 위한 최신 거대언어모델에 대한 조사 연구
정보과학회 컴퓨팅의 실제 논문지
2024 .08
-
뉴로 심볼릭 관계 모델을 이용한 지식베이스 질의 응답
한국정보과학회 학술발표논문집
2020 .07
-
심볼릭 제약을 반영한 뉴럴 자연언어처리
한국정보과학회 학술발표논문집
2020 .07
-
초거대 언어모델의 지속적인 학습
정보과학회지
2022 .12
-
심볼릭 인공지능을 위한 R 심볼릭 데이터분석
한국지능시스템학회 논문지
2017 .10
-
Calibration of Pre-trained Language Model for the Korean Language
Journal of KIISE
2021 .04
-
거대 언어 모델을 위한 학습 시간 예측 연구 분석
한국통신학회 학술대회논문집
2025 .02
-
Plug-and-Play Language Model을 활용한 한국어 언어모델 독성 제어
정보과학회 컴퓨팅의 실제 논문지
2024 .06
-
오픈 소스 대규모 언어 모델을 활용한 멀티 모델 앙상블 메타데이터 생성 시스템
한국정보과학회 학술발표논문집
2024 .12
-
한국어 어휘의미망을 활용한 동의어 기반 거대 언어 모델을 위한 질적 데이터 증강 기법
한국정보통신학회 종합학술대회 논문집
2023 .10
-
전이학습 기반 불균형 앙상블 모델의 가중치 조정에 따른 성능 분석
Proceedings of KIIT Conference
2021 .11
-
Cross-Validated Ensemble Methods in Natural Language Inference
Journal of KIISE
2021 .02
-
Dropout 기법을 이용한 방사형 기저함수 신경회로망 기반 앙상블 모델 설계
한국지능시스템학회 논문지
2024 .08
-
거대 언어 모델을 활용한 다중 언어 산술 추론: 언어 간 성능과 편향 조사
한국정보과학회 학술발표논문집
2023 .06
-
한국어 자연어 추론을 위한 거대 언어 모델 기반 지식 생성
한국정보과학회 학술발표논문집
2023 .06
이 논문의 저자 정보
이 논문과 함께 이용한 논문
최근 본 자료
댓글(0)
0