시각 인지 특성을 반영한 생성적 이미지 인페인팅 기술

오희석; 최원석

doi:10.5573/ieie.2021.58.6.41

추천

검색

질문

자료유형: 학술저널

저자정보: 오희석 (한성대학교) 최원석 (한성대학교)

저널정보: 대한전자공학회 전자공학회논문지 전자공학회논문지 제58권 제6호(통권 제523호)

발행연도: 2021.6

수록면: 41 - 49 (9page)

DOI: 10.5573/ieie.2021.58.6.41

이용수

📌

연구주제

📖

연구배경

🔬

연구방법

🏆

연구결과

초록· 키워드

오류제보하기

이미지 인페인팅은 의도적 혹은 비의도적으로 발생한 손실 영역을 자동으로 복원하는 기술이며, 특히 편집 관점에서는 사용자가 직접 특정 객체를 제거하기 위한 목적으로 널리 활용된다. 고전적인 확산 및 패치 기반 접근과 더불어, 최근에는 타 컴퓨터 비전 분야와 마찬가지로 심층신경망을 활용한 기술들이 소개되었다. 하지만 기존 CNN(convolutional neural network) 및 GAN(generative adversarial network) 기반 인페인팅 결과는 블러나 시각적 결함(artifact)과 같은 화질 저하 요소를 빈번히 포함한다. 이는 인페인팅 시나리오에 있어 전역적 의미 추론을 위해 CNN을 통해 특징 공간에 임베딩된 표현이, 손실 영역 복원을 위한 구조적 정보와 고주파 성분으로 동시에 디코딩되기 어려움을 의미한다. 본 논문에서는 이러한 한계를 극복하고자 인간의 시각 인지 특성을 반영한 두 단계의 인페인팅 과정을 제안한다. 제안 방법은 두 개의 GAN으로 구성되어 있으며, 첫 번째 생성망은 시각 정보의 일차시각피질 전달 과정을 모방한 MSCN(mean subtracted contrast normalized) 계수를 생성한다. 두 번째 생성망은 이미지 완성을 위해 생성된 MSCN 계수를 사전 구조 정보로 이용함으로써 손실 영역이 복원된 RGB 이미지를 생성한다. 가중치를 공유하지 않는 두 독립적인 생성망은 각각의 판별망에 적대적으로 end-to-end 학습되며, 두 단계에 걸친 추론을 통해 손실 영역의 단순한 구조 뿐 아닌 미세 성분까지 효과적으로 복원이 가능하다. CelebA 데이터셋을 활용한 실험을 통해 제안하는 시각 인지 특성을 반영한 생성적 인페인팅 방법이 넓은 비규칙적 손실 영역에 대해서도 기존 기술 대비 정성적/정량적으로 우수한 성능을 나타냄을 확인하였다.

#Image inpainting #perceptual characteristic #MSCN coefficient #generative adversarial network

참고문헌 (26)

참고문헌 신청

A. Levin, A. Zomet, S. Peleg, and Y. Weiss, “Seamless image stitching in the gradient domain,” European Conf. Compuer Vision (ECCV), 2004.

E. Park, J. Yang, E. Yumer, D. Ceylan, and A. C. Berg, “Transformation-grounded image generation network for novel 3D view synthesis,” IEEE/CVF Conf. Computer Vision and Pattern Recognition (CVPR), 2017.

C. Ballester, M. Bertalmio, V. Caselles, G. Sapiro, and J. Verdera, “Filling-in by joint interpolation of vector fields and gray levels,” IEEE Trans. on Image Process. (TIP), vol. 10, no. 8, pp. 1200-1211, 2001.

S. Esedoglu and J. Shen, “Digital inpainting based on the Mumford-Shah-Euler image model,” European J. Appl. Math., vol. 13, no. 4, pp. 353-370, 2002.

S. Darabi, E. Shechtman, C. Barnes, D. B. Goldman, and P. Sen, “Image melding: combining inconsistent images using patch-based synthesis,” ACM Trans. Graphics (TOG), vol. 31, no. 4, July 2012.

함께 읽어보면 좋을 논문

논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!

이 논문의 저자 정보

오희석

소속기관 한성대학교

주요연구분야 공학 > 전기전자공학 > 전자공학 공학 > 컴퓨터학

논문수 8 이용수 972

최원석

소속기관 고려대학교

주요연구분야 공학 > 컴퓨터학 TOP 5% 공학 > 전기전자공학 > 정보통신공학

논문수 27 이용수 3,935

이 논문과 함께 이용한 논문

결함 감지를 위한 디퓨전 모델 기반 데이터 증강 : 프롬프트를 활용한 인페인팅

시종욱 , 김성영 Proceedings of KIIT Conference 2023 .11

Periodic-and-on-Event 메시지 분석이 가능한 차량용 침입탐지 기술

이세영 , 최원석 정보보호학회논문지 2021 .06

최근 본 자료

전체보기

UCI(KEPA) : I410-ECN-0101-2021-569-001878886

구분	그룹	데이터 항목
AI 학습용 데이터	원문	원문 PDF 파일
AI 학습용 데이터	원문 + 메타 (기본/상세)	원문 PDF 파일 및 서지정보 CSV
대량 구매용 데이터	B2B 구독 방식	특정 자료 한정으로 원문 접근 권한 부여
대량 구매용 데이터	URL 전달 방식	바로 PDF 뷰어를 열람할 수 있는 URL 제공

구분	그룹	데이터 항목
AI 학습용 데이터	기본 메타	발행기관명, 간행물명, 권호명, 권(vol), 호(issue), 통권, 발행연도, 발행월, 논문명, 저자명, 시작페이지, 종료페이지, 전체페이지, 상세페이지URL
상세 메타 데이터	발행기관 메타	발행기관 이명, 영문명, 창립연도, 홈페이지URL, 발행기관 소개
	간행물 메타	부제목, 간행물 유형, ISSN, ISBN, 최초발행연도, 폐간연도, 간행빈도, 발행주기, 등재사항, 이용수, 피인용수, 권호수, 논문수, 표지이미지
	논문 메타	작성 언어, 부제목, 대등제목, 목차, 키워드, 초록, 이미지, 참고문헌, 이용수, 피인용수, 논문활용도, DBpia통합주제분류, KDC분류, DDC분류, 한국연구재단분류, UCI, DOI
	저자 메타	소속기관, 소속부서, 직급, 연구분야, 연구키워드, 이용수, 피인용수, 저자 논문활용도

구분	그룹	데이터 항목
※ 결합형/맞춤형 메타 데이터는 신청 내용에 따라 다양하게 제공 가능
이용순위 정보	주제분야별 많이 이용된 논문	“인문학”에서 많이 이용된 논문 TOP100
	이용기관별 많이 이용된 논문	“중고등학교”에서 많이 이용된 논문 TOP100
	세부기관별 많이 이용된 논문	“서울대학교”에서 많이 이용된 논문 TOP100
	키워드별 많이 이용된 논문	“Chat GPT”에서 많이 이용된 논문 TOP100
키워드 정보	많이 이용된 키워드	특정기간/분야/저널 내 많이 이용된 키워드
	많이 발행된 키워드	특정기간/분야/저널 내 많이 발행된 키워드
	많이 검색된 키워드	특정기간/분야/저널 내 많이 검색된 키워드
	연구 트렌드 키워드	특정 키워드 연관 연구동향 분석 데이터 키워드

논문 기본 정보

초록· 키워드

AI 요약

연구주제

연구배경

연구방법

연구결과

주요내용

목차

참고문헌 (26)

함께 읽어보면 좋을 논문

이 논문의 저자 정보

이 논문과 함께 이용한 논문

최근 본 자료

댓글(0)