지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 발행연도
- 2020.8
- 수록면
- 306 - 311 (6page)
이용수
초록· 키워드
오류제보하기
본 논문은 대량의 데이터를 활용한 모델 개발 시 다양한 라이브러리를 갖춘 파이썬 언의의 성능 향상방법을 다룬다. 파이썬 언어는 엑셀과 같은 스프레드시트 형태 데이터 처리 시 Pandas 라이브러리를 사용한다. 데이터 처리 시파이썬은 기가단위 이하 데이터 처리 시에는 인-메모리로 연산하여 성능 측면에서 크게 이슈가 없다. 하지만 기가단위 이상 데이터 처리 시 성능 이슈가 발생한다. 이에 본 논문은 데이터 처리 시 Pandas와 같이 사용할 수 있는 Dask 라이브러리를 활용하여 단일 클러스터 및 다중 클러스터에서 실행 작업을 분산처리 가능한 방법을 소개한다. 실험은 동일사양의 하드웨어에서 간단한 지수산출 모델을 Pandas만 사용해서 처리하는 속도와 Dask를 같이 사용해서 처리하는 속도를 비교한다. 본 논문은 파이썬의 장점인 다양한 라이브러리를 쉽게 사용할 수 있다는 점을 유지하면서 성능측면에서도 대량의 데이터를 CPU 코어들이 분산 처리하여 모델을 개발할 수 있는 방법을 제시한다.
목차
요약
Abstract
1. 서론
2. 파이썬 전처리 기술
3. 시스템 및 모델 정의
4. 모델 구현
5. 실험 결과
6. 결론
REFERENCES
참고문헌 (8)
참고문헌 신청
https://www.kaggle.com/kaggle/kaggle-survey -2018
Matei Zaharia / 2010 / Spark : Cluster Computing with Working Set / Proceedings of the 2nd USENIX Conference on Hot Topics in Cloud Computing :10~10
Wes McKinney / 2017 / Python for Data Analysis / O'Reilly :52~58
Dask
Rafizul Islam M / 2017 / SPATIALIT Y, SEASONALITY AND INDEX ANALYSIS OF HEAVY METALS IN SOIL OF WASTE DISPOS AL SITE IN KHULNA OF BANGLADESH / Proc eedings of the 2nd USENIX Conference on Hot Topics in Cloud Computing :234~256
Matei Zaharia / 2010 / Spark : Cluster Computing with Working Set / Proceedings of the 2nd USENIX Conference on Hot Topics in Cloud Computing :10~10
Wes McKinney / 2017 / Python for Data Analysis / O'Reilly :52~58
Dask
Rafizul Islam M / 2017 / SPATIALIT Y, SEASONALITY AND INDEX ANALYSIS OF HEAVY METALS IN SOIL OF WASTE DISPOS AL SITE IN KHULNA OF BANGLADESH / Proc eedings of the 2nd USENIX Conference on Hot Topics in Cloud Computing :234~256
함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
다중 데이터 처리 방법을 위한 의료 빅데이터 처리 시스템 설계
한국통신학회 학술대회논문집
2017 .01
-
고성능 메모리 환경에서 파이썬 기반 딥러닝의 분산 처리를 위한 통신 성능 분석
한국정보과학회 학술발표논문집
2020 .07
-
Pandas 라이브러리를 활용한 기준금리와 주요 경제 지표 간의 시대별 상관관계 분석
한국컴퓨터정보학회 학술발표논문집
2025 .01
-
파이썬 라이브러리를 활용한 LiDAR 점군 자료 처리 소프트웨어 개발
한국측량학회 학술대회자료집
2020 .07
-
대용량 데이터를 처리하기 위한 기계 학습 라이브러리 성능 비교
한국정보과학회 학술발표논문집
2017 .06
-
Big Data Analysis of Unstructured Text Data Using Python
한국정보통신학회 종합학술대회 논문집
2024 .10
-
파이썬 라이브러리를 이용한 효율적인 크롤링 기법에 관한 연구
한국통신학회 학술대회논문집
2019 .01
-
에너지 빅데이터 구축을 위한 데이터 분산 및 실시간 처리에 관한 연구
한국통신학회 학술대회논문집
2022 .06
-
데이터 수에 따른 CPU와 GPU 기반 병렬 처리의 성능 비교
한국정보과학회 학술발표논문집
2021 .12
-
대학의 파이썬 교과목 재정립을 통한 교육 효율성 향상 방안 연구
JOURNAL OF PLATFORM TECHNOLOGY
2024 .12
-
High Performance를 위한 대규모 의료데이터 분산처리 시스템
한국통신학회 학술대회논문집
2017 .06
-
빅데이터 처리 기술을 활용한 비정형데이터 분석 모델링 구축
한국컴퓨터정보학회 학술발표논문집
2020 .07
-
데이터 처리를 위한 빅데이터와 머신러닝 플랫폼 조사 및 성능 비교
대한전자공학회 학술대회
2017 .06
-
파이썬 기반 정보시스템에서 정보보호 설계
한국컴퓨터정보학회 학술발표논문집
2018 .07
-
스트림 처리 시스템에서의 이벤트 타임처리의 성능 분석
한국정보과학회 학술발표논문집
2019 .06
-
하이브리드 클라우드 환경에서 다중 데이터 처리 방법 기반의 의료 빅데이터 처리 시스템 설계
한국정보과학회 학술발표논문집
2016 .12
-
분산 데이터스트림 처리를 위한 탄력적 자기 재구성 기법
Proceedings of KIIT Conference
2021 .06
-
공학적 데이터 처리를 위한 파이썬(Python)언어의 활용 : Spyder(Scientific PYthon Development EnviRonment)
전기의세계
2016 .05
-
항공 데이터의 효율적인 저장과 처리
한국항공우주학회 학술발표회 초록집
2024 .11
-
반도체 공정에서 인 메모리 데이터 그리드를 이용한 고속의 빅데이터 처리 시스템 구현
한국ITS학회 논문지
2016 .01
이 논문의 저자 정보
이 논문과 함께 이용한 논문
파이썬 기반의 컴퓨터 프로그래밍 교육 모델 연구
강환수
,
이종만
,
김희천
디지털콘텐츠학회논문지
2020
.04
A Survey of High-Level Programming Languages for Operating Swarm Robots
강우석
,
정은진
,
윤태준
외 2명
Journal of KIISE
2022
.11
함수암호 기술 연구 동향
서민혜
정보보호학회지
2022
.02
한국어 뉴스 기사의 효과적인 검색에 적합한 데이터 관리 시스템 탐색
안준영
,
김재성
,
서영균
한국정보과학회 학술발표논문집
2021
.12
질의어 확장을 이용한 단어 중요도 기반 단락 검색
배용진
,
이공주
한국정보기술학회논문지
2022
.01
최근 본 자료
댓글(0)
0
UCI(KEPA) : I410-ECN-0101-2020-569-001177046