한국어 대용량 말뭉치의 철자 오류 탐지 및 교정 방법 :Spelling Error Detection and Correction of Large Scale Korean Corpus

원혜진

추천

검색

자료유형: 학위논문

저자정보: 원혜진 (국민대학교, 국민대학교 일반대학원)

지도교수: 강승식

발행연도: 2022

저작권: 국민대학교 논문은 저작권에 의해 보호받습니다.

이용수16

이 논문의 연구 히스토리 (4)

2022

한국어 대용량 말뭉치의 철자 오류 탐지 및 교정 방법

원혜진 컴퓨터공학과 2022.01 학위논문

2021

대규모 원시 말뭉치의 철자오류 탐지 및 교정 방법

원혜진 , 강승식 한국정보과학회 학술발표논문집 2021.06 학술대회자료

2019

세종구구조말뭉치 기반 Universal Dependency 말뭉치 반자동 생성

원혜진 , 류법모 한국정보과학회 학술발표논문집 2019.12 학술대회자료

세종구구조말뭉치 기반 Universal Dependency 말뭉치 반자동 생성 연구

원혜진 , 류법모 한국정보과학회 학술발표논문집 2019.06 학술대회자료

이 논문의 후속연구가 궁금하신가요?
연관 학술논문 또는 학술발표를 통해 보다 발전된 연구결과를 확인하실 수 있습니다.
이 논문의 연구 히스토리 확인하기

초록· 키워드

오류제보하기

최근 자연어 처리는 대규모의 학습 말뭉치와 대용량 모델을 기반으로 하는 다양한 연구들이 제안되고 있다. 자연어 처리 모델의 일반화 성능을 향상하기 위해서 대용량의 학습 말뭉치가 필요하기 때문에 학습 말뭉치 및 데이터에 대한 필요성과 수요가 날로 증가하고 있다. 하지만 학습 말뭉치의 규모와 더불어 잘못된 라벨링이나 오탈자처럼 데이터의 질 또한 학습 모델에 주요한 영향을 끼칠 수 있다는 연구들이 발표되면서 학습 데이터의 질에 대한 연구의 필요성이 요구되고 있다.
본 논문에서는 Multi-Pass 기반의 한국어 철자 오류 탐지 및 교정 방법을 제안하고 다양한 교정 방법들을 복합적으로 사용한 모델의 성능을 비교 및 분석하였다. 제안하는 탐지 및 교정 방법은 기존의 교정 방법들과 달리 입력 문장에서 철자 오류를 우선으로 탐지하고 탐지된 철자 오류에 대해 음절, 어절, 문맥 수준의 철자 교정 방법을 적용한다. 철자 오류 탐지에는 한국어 인코딩을 이용한 방법과 저빈도 음절 탐지 방법을 활용하였다. 음절, 어절, 문맥 수준의 철자 교정을 위해 각각 Trigram 언어 모델, Word2Vec, Copy Mechanism을 적용한 트랜스포머를 사용하였으며 각 수준의 모델들 조합을 통해 복합 교정 모델로 철자 교정을 수행하였다.
학습이나 검증에 사용되는 공개된 한국어 철자 교정 말뭉치가 없기 때문에 단일 및 복합 교정 모델의 성능을 평가하기 위해 KCC150에서 철자 오류가 의심되는 1,000개의 문장을 추출하여 학습 말뭉치를 구축하고 학습 및 검증에 사용하였다. 또한 단일 및 복합 교정 모델들의 성능을 비교 및 분석하기 위하여 혼동 행렬을 사용하였으며 정밀도, 재현율 , F1 점수를 이용해 성능을 측정하였다.
단일 및 복합 교정 모델의 비교 및 분석 결과, 교정 모델을 복합적으로 사용하는 경우 모델들 간의 간섭이 생길 수 있음을 확인하였으며 문맥 수준의 교정 모델이 전반적으로 철자 오류 교정 모델의 성능 향상에 도움을 줄 수 있음을 확인하였다.

Recently, various studies have been proposed for natural language processing based on large scale learning corpus and large capacity models. The need and demand for learning corpus and data are increasing day by day because a large amount of learning corpus is required to improve the generalization performance of natural language processing models. However, as studies have published that the quality of data, such as mislabeling or typos, can significantly impact the learning model and the size of the learning corpus, the need for research on the quality of learning data is required.
In this paper, we proposed a multi-pass based Korean spelling error detection and correction method, and the performance of a model using various correction methods was compared. Unlike conventional typo error correction methods, the proposed method detects spelling errors in input sentences and corrections spelling errors applied syllable, phrase, and context-level. The Korean encoding method and a statistically based low-frequency syllable method were used for spelling error detection. In addition, the Trigram language model, Word2Vec, and Transformer with Copy Mechanism were used for spelling correction at the syllable, word, and context levels, respectively, and spelling correction was performed as a composite correction model through a combination of models at each level.
In order to evaluate the performance of single and complex models due to the absence of an open Korean spelling correction corpus used for learning or verifying, we extracted 1,000 sentences suspected of spelling errors in the KCC150 corpus and used them for learning and verifying. In addition, a confusion matrix was used to compare the performance of single and complex calibration models, and performance was measured using precision, recall, and F1 score.
The comparison of single and complex models confirmed that combining models could cause interference between models. However, the context-level model could help improve the overall performance of spelling error correction models.

#철자 오류 교정 #철자 오류 탐지 #딥러닝 #트랜스포머 #spelling error correction #spelling error detection #deep learning #Transformer

제 1장 서론 1
제 2장 관련 연구 10
2.1 사전 · 통계 기반 10
2.1.1 사전 기반 10
2.1.2 N-gram 11
2.2 딥러닝 기반 14
제 3장 철자교정 모델 17
3.1 철자 오류 탐지 18
3.1.1 인코딩 기반 탐지 18
3.1.2 음절 빈도 기반 탐지 19
3.2 철자 오류 교정 모델 20
3.2.1 후보어 생성 20
3.2.2 음절 수준 교정 23
3.2.3 어절 수준 교정 24
3.2.4 문맥 기반 교정 26
제 4장 실험 환경 및 데이터 31
4.1 실험 환경 31
4.2 학습 말뭉치 31
4.3 평가 말뭉치 35
4.4 성능 평가 지표 36
제 5장 실험 결과 및 분석 39
5.1 딥러닝 성능 평가 및 분석 39
5.2 Multi-Pass 성능 평가 및 분석 46
제 6장 결론 54
참 고 문 헌 56
Abstract 62

최근 본 자료

전체보기

구분	그룹	데이터 항목
AI 학습용 데이터	원문	원문 PDF 파일
AI 학습용 데이터	원문 + 메타 (기본/상세)	원문 PDF 파일 및 서지정보 CSV
대량 구매용 데이터	B2B 구독 방식	특정 자료 한정으로 원문 접근 권한 부여
대량 구매용 데이터	URL 전달 방식	바로 PDF 뷰어를 열람할 수 있는 URL 제공

구분	그룹	데이터 항목
AI 학습용 데이터	기본 메타	발행기관명, 간행물명, 권호명, 권(vol), 호(issue), 통권, 발행연도, 발행월, 논문명, 저자명, 시작페이지, 종료페이지, 전체페이지, 상세페이지URL
상세 메타 데이터	발행기관 메타	발행기관 이명, 영문명, 창립연도, 홈페이지URL, 발행기관 소개
	간행물 메타	부제목, 간행물 유형, ISSN, ISBN, 최초발행연도, 폐간연도, 간행빈도, 발행주기, 등재사항, 이용수, 피인용수, 권호수, 논문수, 표지이미지
	논문 메타	작성 언어, 부제목, 대등제목, 목차, 키워드, 초록, 이미지, 참고문헌, 이용수, 피인용수, 논문활용도, DBpia통합주제분류, KDC분류, DDC분류, 한국연구재단분류, UCI, DOI
	저자 메타	소속기관, 소속부서, 직급, 연구분야, 연구키워드, 이용수, 피인용수, 저자 논문활용도

구분	그룹	데이터 항목
※ 결합형/맞춤형 메타 데이터는 신청 내용에 따라 다양하게 제공 가능
이용순위 정보	주제분야별 많이 이용된 논문	“인문학”에서 많이 이용된 논문 TOP100
	이용기관별 많이 이용된 논문	“중고등학교”에서 많이 이용된 논문 TOP100
	세부기관별 많이 이용된 논문	“서울대학교”에서 많이 이용된 논문 TOP100
	키워드별 많이 이용된 논문	“Chat GPT”에서 많이 이용된 논문 TOP100
키워드 정보	많이 이용된 키워드	특정기간/분야/저널 내 많이 이용된 키워드
	많이 발행된 키워드	특정기간/분야/저널 내 많이 발행된 키워드
	많이 검색된 키워드	특정기간/분야/저널 내 많이 검색된 키워드
	연구 트렌드 키워드	특정 키워드 연관 연구동향 분석 데이터 키워드

논문 기본 정보

이 논문의 연구 히스토리 (4)

초록· 키워드

목차

최근 본 자료

댓글(0)