지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 발행연도
- 2024.3
- 수록면
- 43 - 54 (12page)
이용수
초록· 키워드
오류제보하기
최근 언어모델을 활용하기 위한 연구가 활발히 이루어지며, 큰 규모의 언어모델이 다양한 과제에서 혁신적인 성과를 달성하고 있다. 하지만 실제 현장은 거대 언어모델 활용에 필요한 자원과 비용이 한정적이라는 한계를 접하면서, 최근에는 주어진 자원 내에서 모델을 효과적으로 활용할 수 있는 방법에 주목하고 있다. 대표적으로 학습 데이터를 난이도에 따라 구분한 뒤 순차적으로 학습하는 방법론인 커리큘럼 러닝이 주목받고 있지만, 난이도를 측정하는 방법이 복잡하거나 범용적이지 않다는 한계를 지닌다. 따라서, 본 연구에서는 신뢰할 수 있는 사전 정보를 통해 데이터의 학습 난이도를 측정하고, 이를 다양한 과제에 쉽게 활용할 수 있는 데이터 이질성 기반 커리큘럼 러닝 방법론을 제안한다. 제안 방법론의 성능 평가를 위해 국가 R&D 과제 전문 문서 중 정보통신 분야 전문 문서 5,000건, 보건의료전문 문서 데이터 4,917건을 적용하여 실험을 수행한 결과, 제안 방법론이 LoRA 미세조정과 전체 미세조정 모두에서 전통적인 미세조정에 비해 분류 정확도 측면에서 우수한 성능을 나타냄을 확인했다.
목차
Abstract
요약
I. Introduction
II. Preliminaries
III. Proposed Method
IV. Experiment
V. Conclusions
REFERENCES
참고문헌 (0)
참고문헌 신청이 논문과 함께 이용한 논문
거대 언어 모델의 효율적인 추론을 위한 소프트맥스 함수 최적화 방법에 관한 연구
김정현
,
정기석
한국통신학회 학술대회논문집
2024
.01
LLM 기반 데이터 생성을 통한 한국수어 기계번역 성능 개선 연구
오중균
,
김예찬
,
전문구
한국정보과학회 학술발표논문집
2023
.12
소프트웨어 3.0: LLM이 열어가는 새로운 프로그래밍 패러다임
박재홍
한국통신학회지(정보와통신)
2023
.12
산업용 사물 인터넷을 위한 프라이버시 보존 연합학습 기반 심층 강화학습 모델
한채림
,
이선진
,
이일구
정보보호학회논문지
2023
.12
이미지 생성 AI 파인튜닝과 활용 사례 - 실내 공간 상세 스타일 키워드를 중심으로 -
정현
,
이진국
한국CDE학회 논문집
2023
.12
최근 본 자료
댓글(0)
0