지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 발행연도
- 2021.3
- 수록면
- 583 - 590 (8page)
- DOI
- 10.7840/kics.2021.46.3.583
이용수
초록· 키워드
오류제보하기
사후 학습 양자화는 학습 과정이 요구되지 않아 학습데이터 의존성이 없다는 장점이 있지만 저정밀도에서 성능저하가 크게 발생한다는 단점이 있다. 이러한 문제를 해결하기 위해 본 논문에서는 기존의 양자화에 사용되는 가중치 정규화 기법에 스케일링 계수를 도입하여 긴 꼬리를 가진 가중치 분포로부터 발생하는 양자화 오류를 줄이는 스케일링된 가중치 정규화 기반 사후학습 양자화 기법 SWNQ를 제안한다. 실험 결과는 SWNQ가 추가적인 학습이나 미세 조정 없이 기존 가중치 정규화 기반 양자화에 비해 양자화 성능을 향상시키면서 즉각적인 양자화가 가능함을 입증한다. 또한 SWNQ는 4비트 기반의 혼합 정밀도 양자화에서 완전정밀도 모델과 단 1.2%의 성능차이로 양자화가 가능한 것을 보여줌으로써 사후학습 양자화의 성능저하 문제를 효과적으로 해결할 수 있음을 입증한다.
목차
요약
ABSTRACT
Ⅰ. 서론
Ⅱ. 제안하는 가중치 정규화 기반 양자화 방법
Ⅲ. SWNQ 성능 평가 결과
Ⅳ. 결론
References
참고문헌 (17)
참고문헌 신청
D. Zhang, J. Yang, D. Ye, and G. Hua, “Lq-nets: Learned quantization for highly accurate and compact deep neural networks,” in Proc. ECCV, pp. 365-382, 2018.
S. Zhou, Y. Wu, Z. Ni, X. Zhou, H. Wen, and Y. Zou, “Dorefa-net: Training low bitwidth convolutional neural networks with low bitwidth gradients,” arXiv preprint arXiv: 1606.06160, 2016.
J. Choi and J. Yoo, “Exploiting inverse power of two non-uniform quantization method to increase energy efficiency in deep neural networks,” J. KIISE, vol. 47, no. 1, pp. 27-35, 2020.
C. Baskin, E. Schwartz, E. Zheltonozhskii, N. Liss, R. Giryes, A. Bronstein, and A. Mendelson, “Uniq: Uniform noise injection for non-uniform quantization of neural networks,” arXiv preprint arXiv:1804.10969, 2018.
W. Cai and W. Li, “Weight normalization based quantization for deep neural network compression,” arXiv preprint arXiv: 1907. 00593, 2019.
S. Zhou, Y. Wu, Z. Ni, X. Zhou, H. Wen, and Y. Zou, “Dorefa-net: Training low bitwidth convolutional neural networks with low bitwidth gradients,” arXiv preprint arXiv: 1606.06160, 2016.
J. Choi and J. Yoo, “Exploiting inverse power of two non-uniform quantization method to increase energy efficiency in deep neural networks,” J. KIISE, vol. 47, no. 1, pp. 27-35, 2020.
C. Baskin, E. Schwartz, E. Zheltonozhskii, N. Liss, R. Giryes, A. Bronstein, and A. Mendelson, “Uniq: Uniform noise injection for non-uniform quantization of neural networks,” arXiv preprint arXiv:1804.10969, 2018.
W. Cai and W. Li, “Weight normalization based quantization for deep neural network compression,” arXiv preprint arXiv: 1907. 00593, 2019.
함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
양자화가 얼굴 인식 성능에 끼치는 영향 분석
한국정보과학회 학술발표논문집
2022 .12
-
경량형 에지 DNN을 위한 스케일링된 가중치 정규화 기반 사후학습 양자화 기법
한국통신학회 학술대회논문집
2020 .08
-
경량 딥러닝 모델의 초저정밀도 양자화를 위한 학습 방식의 개선
대한전자공학회 학술대회
2020 .11
-
DNN 계층별 출력 뉴런 수에 기반한 고속 양자화 기법
대한전자공학회 학술대회
2024 .11
-
레이어 별 양자화 오류 최적화 기법 중심 거대 언어 모델에 대한 훈련 후 양자화 최신 기술 분석
한국통신학회 학술대회논문집
2024 .11
-
임베디드 시스템에서의 객체 탐지 네트워크 양자화
대한전자공학회 학술대회
2023 .06
-
균일 양자화 기법의 성능 비교 분석
한국통신학회 학술대회논문집
2024 .11
-
중요도 기반 딥러닝 네트워크 학습 중 양자화 기법
대한전자공학회 학술대회
2022 .06
-
객체 탐지 네트워크를 위한 정수 연산만을 사용한 하드웨어 친화적인 양자화에 대한 연구
전자공학회논문지
2025 .04
-
Octree 기반의 개선된 K-means 색상 양자화
한국컴퓨터정보학회논문지
2015 .12
-
하드웨어 구현에 효율적인 Power-of-Two 균일 양자화 기법 연구
대한전자공학회 학술대회
2021 .06
-
효율적인 심층신경망 구조를 위한 새로운 가중치 예측 기반 양자화 방법
한국정보과학회 학술발표논문집
2019 .06
-
강화학습기반 지능모델 양자화 적용 가능성 연구
한국정보과학회 학술발표논문집
2022 .12
-
Batch Normalization을 위한 향상된 Hardware 친화적 Quantization 기법
대한전자공학회 학술대회
2020 .08
-
위성탑재 영상레이다 디지털 수신기에서의 양자화 영향성 분석
한국항공우주학회지
2021 .11
-
심층신경망의 Quantization 학습에 대한 시간과 정확도의 Trade-Off 분석 및 최소 학습량 도출
한국정보과학회 학술발표논문집
2020 .12
-
Performance Analysis of Linear Quantization and Non-linear Quantization for DOCSIS 3.0 Signal Compression
한국통신학회 학술대회논문집
2017 .06
-
양자화를 이용한 뉴럴 네트워크의 점진적 압축 기법
한국정보과학회 학술발표논문집
2020 .07
-
음의 임계값을 이용한 딥뉴럴네트워크의 하드웨어 친화적 양자화
대한전자공학회 학술대회
2021 .06
-
선택적 상태공간 모델의 양자화 민감도를 고려한 혼합 자료형 양자화 기법
한국정보과학회 학술발표논문집
2024 .12
이 논문의 저자 정보
이 논문과 함께 이용한 논문
최근 본 자료
댓글(0)
0
UCI(KEPA) : I410-ECN-0101-2021-567-001580098