잡초 분류를 위한 다중 심층 신경망의 융합 :Late Fusion of Multi-Deep Neural Networks for Weeds Classification

보 호앙 트롱

추천

검색

자료유형: 학위논문

저자정보: 보 호앙 트롱 (전남대학교, 전남대학교 대학원)

지도교수: 김진영

발행연도: 2020

저작권: 전남대학교 논문은 저작권에 의해 보호받습니다.

이용수6

이 논문의 연구 히스토리 (2)

2020

잡초 분류를 위한 다중 심층 신경망의 융합

보 호앙 트롱 전자컴퓨터공학과 2020.01 학위논문

2018

다양한 합성곱 신경망 접근법을 이용한 잡초 이미지 분류

보 호앙 트롱 , 유광현 , 나지르 샤히드 외 2명 대한전자공학회 학술대회 2018.11 학술대회자료

이 논문의 후속연구가 궁금하신가요?
연관 학술논문 또는 학술발표를 통해 보다 발전된 연구결과를 확인하실 수 있습니다.
이 논문의 연구 히스토리 확인하기

초록· 키워드

오류제보하기

농업에는 농업 생산성에 악영향을 미치는 다양한 종류의 잡초가 있다. 이는 외부 구조와 대게 비슷한 형태를 띄어 구분하기 어려운 이유로, 농경지의 잡초에 대한 지식을 갖추고 그 위험성을 이해하는 것이 중요하다. 이를 위해서, 스마트 농업 시스템의 자동 기기에 정확하고 실시간에 가까운 잡초 분류 접근법이 필요하다. 본 논문에서는 심층 신경망의 다중모델 간 융합을 이용하여 새로운 분류 방법을 개발하고, 식물 모종 데이터 세트와 전남대학교 외래잡초 데이터 세트의 잡초 종에 적용 하였다. 잡초의 특정 질감과 특징을 학습하기 위하여 심층 신경망은 이러한 관점을 수집하여 더 나은 분류를 한다. 전남대학교 외래잡초 데이터 세트의 원시 이미지는 큰 배경을 담고 있고, 해당 이미지들은 목표 잡초에 집중되지 않고 때로는 다른 잡초가 포함될 수 있으므로, 전처리 단계가 적용됨에 따라 훈련 중 잡음(노이즈) 또는 분류 오류와 같은 문제의 악영향을 줄인다.
심층 신경망은 NASNet, Resnet, Inception-Resnet, Mobilenet 및 VGG 모델을 채택 하였고, 이러한 모델은 ImageNet 데이터 세트에 대해 고성능을 달성하고 심층 신경망을 구축 할 때 서로 다른 5가지의 관념론을 대표한다. NASNet은 신경망 구조 탐색에서 작은 데이터 세트가 큰 데이터 세트로 전이되어 사용 되고, Resnet은 빠른 연결(shortcut connection)의 아이디어를 사용하고, Inception-Resnet은 깊이와 폭 증가를 위해 인셉션 모듈을 사용하고, Resnet과 Mobilenet의 빠른 연결(shortcut)의 개념은 매개변수를 줄이기 위해 채널별(Depthwise), 점별(Pointwise) 합성곱이 적용되고, VGG 구조는 신경망의 많은 층을 쌓는다. 잡초 이미지 I 가 주어지면 심층 신경망은 확률 벡터를 반환하고, 이 벡터의 각 요소는 확률 I 가 해당 클래스에 속하는 것을 보여 준다. 무조건부 결합 확률 측정의 개념을 기반으로 내적과 합계 규칙을 번갈아 적용하여 벡터의 후기 융합에 적용했다. 정확도, 정밀도, 재현율 및 F1 점수의 모델 내 검증집합, 가중 선형 조합 또는 가중 제곱을 사용한 융합 사용 방법을 제안하여 우선순위 가중치를 결정했다. 그래서 더 나은 모델을 융합 할 때 이점을 얻었거나 자동으로 가중치를 정의하기 위해 확률 벡터 (엔트로피 또는 최대 차이로 결정)의 신뢰도를 기반으로 다중 계층 퍼셉트론 모델을 구축했다.
결과는 본 방법이 외래잡초 데이터 세트에 대해 정확도는 98.77%를 달성 할 수 있고 5개의 심층 신경망의 융합 구조로 식물 묘목 데이터 세트에서 97.65%를 달성 할 수 있다. 다중 모델의 융합 구조를 사용하는 것이 단일 모델을 사용하는 것보다 결과가 향상되었음을 보여준다. 그러나 융합 모델이 많을수록 정확도가 느려진다. 시간 실행의 의미에서, 다중 계층 퍼셉트론 이외의 접근 방식을 사용하는 본 방법은 GPU에서 런타임 처리를 수행하고 CPU에서 실행할 때 거의 실시간으로 처리 할 수 있다.

In agriculture, there are many types of weeds that have bad impacts on agricultural productivity. Having knowledge of weeds and understanding of their threats on farmlands is a major challenge because many of them are quite similar to the external structure, which makes it difficult to classify. To do that, a highly accurate and quick processing weeds classification approach is required for automatic devices in smart agricultural systems. In this thesis, I developed a novel classification method by using the late fusion of the Multi-model Deep Neural Network (DNN) and applied it to weeds species on the Plant seedlings dataset and Chonnam National University (CNU) weeds dataset because I expect each DNN to learn specific textures and features of weeds, gather those perspectives may lead to better classification. Raw images of CNU weeds dataset capture large background and images are not well-focus on the target weeds, sometimes it may contain another weeds, so preprocessing steps are applied to reduce bad affect caused by those problems, such as noise during training, or misclassification.
I adopted 5 DNN models, which were NASNet, Resnet, Inception-Resnet, Mobilenet, and VGG because those models achieve high performance on the ImageNet dataset and represent for 5 different ideology of building DNN models, such as NASNet is a model constructed using Neural Architecture Search on a small dataset an can be transfer to larger dataset, Resnet using the idea of shortcut connection, Inception-Resnet use Inception to increase the depth and width, and the idea shortcut connection from Resnet, Mobilenet apply depthwise and pointwise convolution to reduce parameters, and VGG architecture is stacking many CNN layers. Given a weeds image I, DNNs return probability vectors, in which each element in that vector shows the probability I belong to the corresponding class. I applied late fusion of those vectors by alternating Product rule and Sum rule based on the idea of unconditional measurement joint probability, or determined priority weights by proposing a method, using the value of accuracy, precision, recall, and F1 score of models in the validate set and fuse by using the Weighted linear combination or Weighted power multiplication so that better models had advantages when fused it, or built a Multi-Layer Perceptron model based on the confidence of probability vectors (determined by Entropy or Maximum difference) to define weights automatically.
The result shows that my methods can achieve 98.77% on accuracy in CNU and 97.65% on Plant seedlings dataset by a late fusion of 5 DNNs model and using late fusion of multi models is better than using a single model. However, the more fuse models, the slowly of increasing accuracy. In the meaning of time execution, using non-MLP approach, the method can achieve run-time processing on GPU and nearly real-time when running on CPU.

#convolutional neural network #late fusion #multi-model #weeds classification

List of Figures 6
List of Tables 8
Abstract 16
1. Introduction 18
1.1. Weeds Classification 19
1.2. Fusion 20
1.3. DNNs 21
1.4. Outline 22
2. Related Deep Neural Network Models 24
2.1. VGG 24
2.2. Resnet 25
2.3. Inception-Resnet 27
2.4. Mobilenet 30
2.5. NASNet 33
3. Datasets 37
3.1. Plant Seedlings Dataset 37
3.2. Chonnam National University (CNU) Weeds Dataset 38
4. Methodology 42
4.1. Bayesian Conditional Probability 43
4.2. Priority Weights 45
4.2.1. Weight-per-Model 46
4.2.2. Weight-per-Class 47
4.3. Multi-Layer Perceptron 47
5. Experiments 51
5.1. Transfer Learning 51
5.2. Bayesian Conditional Probability 55
5.2.1. CNU Weeds Dataset 55
5.2.2. Plant Seedlings Dataset 55
5.3. Priority Weights 56
5.3.1. Weight-per-Model 56
5.3.1.1. CNU Weeds Dataset 56
5.3.1.2. Plant Seedlings Dataset 60
5.3.2. Weight-per-Class 63
5.3.2.1. CNU Weeds Dataset 63
5.3.2.2. Plant Seedlings Dataset 66
5.4. MLP 68
5.4.1. Entropy 70
5.4.1.1. CNU weeds dataset 70
5.4.1.2. Plant Seedlings Dataset 71
5.4.2. Maximum Difference 72
5.4.2.1. CNU Weeds Dataset 72
5.4.2.2. Plant Seedlings Dataset 73
5.5. Time Measurement 74
5.6. Comparison 75
5.7. Graphic User Interface Application 77
6. Conclusion and Future Works 81
Appendix 82
A. Bayesian Conditional Probability 82
A.1. CNU Weeds Dataset 82
A.2. Plant Seedlings Dataset 83
B. Priority Weights 84
B.1. Weight-per-Model 84
B.1.1. CNU Weeds Dataset 85
B.1.2. Plant Seedlings Dataset 88
B.2. Weight-per-Class 92
B.2.1. CNU Weeds Dataset 92
B.2.2. Plant Seedlings Dataset 95
C. MLP 98
C.1. Entropy 98
C.1.1. CNU Weeds Dataset 98
C.1.2. Plant Seedlings Dataset 99
C.2. Maximum Difference 100
C.2.1. CNU Weeds Dataset 100
C.2.2. Plant Seedlings Dataset 101
D. Publication 102
References 103
Questions and answers 106
Acknowledgements 108
국문초록 109

최근 본 자료

전체보기

구분	그룹	데이터 항목
AI 학습용 데이터	원문	원문 PDF 파일
AI 학습용 데이터	원문 + 메타 (기본/상세)	원문 PDF 파일 및 서지정보 CSV
대량 구매용 데이터	B2B 구독 방식	특정 자료 한정으로 원문 접근 권한 부여
대량 구매용 데이터	URL 전달 방식	바로 PDF 뷰어를 열람할 수 있는 URL 제공

구분	그룹	데이터 항목
AI 학습용 데이터	기본 메타	발행기관명, 간행물명, 권호명, 권(vol), 호(issue), 통권, 발행연도, 발행월, 논문명, 저자명, 시작페이지, 종료페이지, 전체페이지, 상세페이지URL
상세 메타 데이터	발행기관 메타	발행기관 이명, 영문명, 창립연도, 홈페이지URL, 발행기관 소개
	간행물 메타	부제목, 간행물 유형, ISSN, ISBN, 최초발행연도, 폐간연도, 간행빈도, 발행주기, 등재사항, 이용수, 피인용수, 권호수, 논문수, 표지이미지
	논문 메타	작성 언어, 부제목, 대등제목, 목차, 키워드, 초록, 이미지, 참고문헌, 이용수, 피인용수, 논문활용도, DBpia통합주제분류, KDC분류, DDC분류, 한국연구재단분류, UCI, DOI
	저자 메타	소속기관, 소속부서, 직급, 연구분야, 연구키워드, 이용수, 피인용수, 저자 논문활용도

구분	그룹	데이터 항목
※ 결합형/맞춤형 메타 데이터는 신청 내용에 따라 다양하게 제공 가능
이용순위 정보	주제분야별 많이 이용된 논문	“인문학”에서 많이 이용된 논문 TOP100
	이용기관별 많이 이용된 논문	“중고등학교”에서 많이 이용된 논문 TOP100
	세부기관별 많이 이용된 논문	“서울대학교”에서 많이 이용된 논문 TOP100
	키워드별 많이 이용된 논문	“Chat GPT”에서 많이 이용된 논문 TOP100
키워드 정보	많이 이용된 키워드	특정기간/분야/저널 내 많이 이용된 키워드
	많이 발행된 키워드	특정기간/분야/저널 내 많이 발행된 키워드
	많이 검색된 키워드	특정기간/분야/저널 내 많이 검색된 키워드
	연구 트렌드 키워드	특정 키워드 연관 연구동향 분석 데이터 키워드

논문 기본 정보

이 논문의 연구 히스토리 (2)

초록· 키워드

목차

최근 본 자료

댓글(0)