지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술대회자료
- 저자정보
- 발행연도
- 2024.10
- 수록면
- 1,110 - 1,113 (4page)
이용수
초록· 키워드
오류제보하기
In this paper, we explore the impact of structure pruning on model compression. Structured pruning, which removes specific structures within the model such as entire neurons, channels, or filters in convolutional neural networks, targets particular elements for removal. This is distinct from weight pruning, which eliminates individual weights regardless of their location in the model. On top of our previous publications, the focus of this work is to study of reducing mobile stems in CNN-transformer architectures, building upon previous publications. Here, the mobile stems often make transformer architectures more efficient for deployment on mobile devices or other resource-constrained environments. Many pruning methods for mobile stems involve a sequential process of training, pruning, and fine-tuning stages. In contrast, our approach involves automatically selecting filter pruning criteria based on magnitude or similarity from a specified pool of criteria, adjusting the specific pruning layer in each iteration based on the network’s overall loss on a small subset of training data. To alleviate sudden accuracy drops from pruning, the network undergoes brief retraining after reducing a predefined number of floating-point operations (FLOPs). Optimal pruning rates for each layer in mobile stems are automatically determined. Experiments on the VGGNet, ResNet, and MobileNet models using the CIFAR-10 and ImageNet benchmark datasets validate the effectiveness of the proposed method. Additionally, we discuss remaining tasks and ongoing research for the future.
목차
Abstract
1. INTRODUCTION
2. RELATED WORKS
3. OUR METHOD
4. RESULTS AND DISCUSSION
5. CONCLUSION
REFERENCES
참고문헌 (0)
참고문헌 신청함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
딥 뉴럴 네트웨크에서 Data Sparsity 향상 방법
대한전자공학회 학술대회
2018 .06
-
Efficient Performance Prediction via Regression for Joint Channel and Weight Pruning
제어로봇시스템학회 국제학술대회 논문집
2024 .10
-
심층 신경망에서의 효율적이고 안정적인 Pruning 기법에 대한 연구
한국통신학회 학술대회논문집
2019 .06
-
커널 프루닝을 위한 필터 프루닝 기반의 레이어 민감도 측정 기법
대한전자공학회 학술대회
2021 .06
-
로봇 임베디드 시스템에서 리튬이온 배터리 잔량 추정을 위한 신경망 프루닝 최적화 기법
로봇학회 논문지
2023 .03
-
CNN에서 비슷한 깊이의 레이어를 묶는 그룹 필터 프루닝 기법
대한전자공학회 학술대회
2021 .06
-
심층 신경망에서의 Accuracy 향상을 위한 Filter Pruning 기법에 대한 연구
대한전자공학회 학술대회
2020 .08
-
EPI 기반 구조화된 가지치기를 위한 최적 파라미터 분석
제어로봇시스템학회 논문지
2023 .12
-
Node Pruning for Improved Neural Network Design
Proceedings of KIIT Conference
2018 .11
-
Effective Methods of Neural Network Pruning in Processing-In-Memory Architecture
제어로봇시스템학회 국제학술대회 논문집
2024 .10
-
Pruning 기반 알고리즘 경량화 기법의 성능 최적화 연구 동향
대한전자공학회 학술대회
2024 .11
-
뉴럴 네트워크 채널 Pruning을 통한 Inference 성능 변화 분석 및 최적화
한국정보과학회 학술발표논문집
2020 .07
-
Two-stage Detection with Yolov5 based on Structured Neural Network Pruning
한국재활복지공학회 학술대회 논문집
2021 .11
-
Edge-popup 알고리즘의 Pruning Edge 선정 방식 변경을 통한 Network Pruning의 성능 개선
한국정보과학회 학술발표논문집
2022 .06
-
불순도 기반 딥러닝 CNN 모델 최적 가지치기 레이어 검출 방법
대한전자공학회 학술대회
2022 .06
-
Structured pruning을 활용한 hardware spiking neural network 경량화
대한전자공학회 학술대회
2022 .06
-
Ensemble pruning with optimization problem framework
대한산업공학회 춘계공동학술대회 논문집
2017 .04
-
채널 중요도 기반 네트워크 프루닝 방법
대한전자공학회 학술대회
2021 .06
-
Semantic Segmentation 네트워크 구조와 Channel Pruning 간 상관관계를 고려한 네트워크 경량화 기법
대한전자공학회 학술대회
2023 .06
-
Pruning Method Using Correlation of Weight Changes and Weight Magnitudes in CNN
INTERNATIONAL JOURNAL of FUZZY LOGIC and INTELLIGENT SYSTEMS
2018 .12
이 논문의 저자 정보
이 논문과 함께 이용한 논문
최근 본 자료
댓글(0)
0