본 연구에서는 수업의 내용과 학습자의 특성을 고려하여 교수자가 학습자 개인별로 적합한 피드백을 줄 수 있도록 학습분석학 기반의 교수자 피드백 분류체계를 개발하고, 이를 적용할 수 있는 대시보드를 설계하였다. 첫 번째 교수자 피드백 분류체계 개발 단계에서는 수업의 학습결과 유형별로 피드백 전략을 제시한 가네(Gagne)의 피드백을 근거로 분류체계 기준을 정립하고, Spradley(1979)와 이용숙(2009)의 분류체계·성분분석법 도구를 사용하였다. 이 도구를 활용하여 Spradley 기반의 이용숙(2009)이 제시한 5가지의 질문 중, 대표적인 4가지 대체질문, 대조집합분류 질문, 유도된 대조질문, 등급질문이 적용되었다. 교수자가 활용할 수 있는 피드백 유형에 대한 추출 작업은 다음과 같이 진행되었다. 학자별로 제시된 피드백 유형에 대해 1차 피드백 분류 과정에서는 총 72개의 모든 피드백 유형을 추출하였고, 2차 분류 과정에서는 피드백 내용 중심의 유형과 관련된 피드백을 추출하였다. 최종적으로 단어적 의미가 동일하여 겹치는 것을 제거한 후, 3차 피드백 분류에서는 총 22개의 피드백이 추출되었다. 이 22개의 교수자 피드백을 기반으로 분류체계·성분분석법 도구를 활용하여 1차 분류기준인 피드백 대상의 학습참여, 2차 분류기준인 피드백 대상의 학습결과 유형, 3차 분류기준인 피드백 대상의 행동요구에 대한 학습수행 기준을 통해 교수자 피드백 분류체계를 정립하였다.
두 번째, 대시보드 설계 단계에서는 개발된 교수자 피드백 분류체계를 기반으로 학습분석학 관점의 LMS에서 추출 가능한 교육적 활용 데이터를 선정하였다. 이 데이터는 선행 연구를 근거로 대표변인과 측정변인이 추출되었으며, 교수자가 LMS에서 실제적으로 피드백을 줄 수 있는 형태의 대시보드 화면으로 설계되었다.
총 2회에 걸쳐 수행된 전문가 타당화 검사는 교수자 피드백 분류체계 전반의 적절성에 대한 평가 부분과 대시보드 전반의 적절성에 대한 평가를 요구하는 부분으로 진행되었다. 2회의 전문가 타당도를 거쳐 최종 제시된 교수자 피드백 분류체계를 정리하면 다음과 같다.
교수자 피드백 분류체계표 1차 분류기준은 피드백 대상 학습 참여도였고, 이는 학습자의 참여 유/무로 구분하였다. 1차 분류체계 기준은 대시보드의 학습참여도 메뉴로 연계되며, 학습참여도의 대표변인으로 선정된 LMS 추출 요소는 로그인, 학습정보확인, 강의자료학습 관련 데이터이다. 첫 번째, 대표변인 로그인의 측정변인은 로그인 횟수, 로그인 시간, 로그인 주기, 로그인당 페이지뷰이다. 두 번째 대표변인 학습정보확인의 측정변인은 공지사항을 조회한 횟수, 개별 메시지(이메일/쪽지)를 조회한 횟수, 학습진도/과정을 조회한 횟수이다. 세 번째 대표변인 강의자료학습의 측정변인은 동영상(wmv, mp4, 플래시, 게임, 시뮬레이션) 강의자료 보기 학습 시간, 오디오(mp3, wma) 강의자료 듣기 학습 시간, 텍스트형(hwp, word, ppt, pdf) 강의자료 읽기 학습 시간이다. 대표변인 3가지 로그인, 학습정보확인, 강의자료학습에 대한 학습자의 LMS 데이터 추출을 통해 학습참여도에 대한 값이 대시보드를 통해 제시된다.
교수자 피드백 분류체계표 2차 분류기준은 학습결과 유형으로 구분하였다. 교수자의 교과목 정보에 대한 자동 분석을 통해 Gagne의 학습결과 유형별 영역을 대시보드와 연계시켜 언어 정보 유형 수업, 지적 기능 유형 수업, 인지 전략 유형 수업, 태도 유형 수업, 운동 기능 유형 수업으로 분류된다.
교수자 피드백 분류체계표 3차 분류기준은 피드백 대상 행동요구이고, 이는 학습자의 학습수행도에 따라 결정되며 학습수행도가 낮으면 행동요구 유발이 필요하고, 학습수행도가 높으면 행동요구 유발이 필요없는 것으로 구분하였다. 3차 분류체계 기준은 대시보드의 학습수행도 메뉴로 연계되며, 학습수행도의 대표변인으로 선정된 LMS 추출 요소는 과제, 시험, 게시글 관련 데이터이다. 첫 번째, 대표변인 과제의 측정변인은 과제를 제출한 횟수이고, 두 번째, 대표변인 시험의 측정변인은 시험에 응시한 횟수이다. 세 번째, 대표변인 게시글의 측정변인은 대표적인 커뮤니티 메뉴의 토론방 게시판, 질의응답 게시판, 자료실 게시판에 등록된 건수이다. 대표변인 3가지 과제, 시험, 게시글에 대한 학습자의 LMS 데이터 추출을 통해 학습수행도에 대한 값이 대시보드를 통해 제시된다.
이렇게 교수자 피드백 분류체계표를 기반으로 교수자가 수업 상황별로 개별 학습자에게 적합한 피드백을 제공할 수 있도록 추천 피드백을 제시하였다. 대시보드 화면은 교수자 피드백 분류체계 분석표를 기반으로 교수자가 적합한 피드백을 제공하기 위한 추천 피드백을 제시하는 피드백 제공화면, 학습참여도 분석화면, 학습수행도 분석화면으로서 크게 3부분이 있고, 나머지 세부적인 분석정보를 각각 제공하는 로그인 분석 대시보드, 학습정보확인 분석 대시보드, 강의자료학습 분석 대시보드, 과제/ 시험 분석 대시보드, 게시글 분석 대시보드 화면으로서 총 8개의 화면으로 구성된다. 또한 이러한 모든 대시보드는 선행 연구에 근거하여 학습분석학 기반의 분석 정보 및 데이터에 따라 적합한 그래프 유형 및 표로 시각화 기법을 통해 적용되었다. 대표적으로 적용된 그래프 유형은 막대 그래프(Histogram), 꺾은선 그래프(Broken line graph), 원 그래프(Circle graph), 산점도(Scatter plot), 블록 히스토그램(Block histogram)이다.
현재 국내 교육 환경에서의 학습분석에 대한 연구는 초기 단계 수준이고, 디지털 학습 환경 기반의 교수자 피드백 체계화에 대한 연구도 미비한 것이 현실이다. 따라서 본 연구와 같은 교수자 피드백에 대한 분류체계를 정립하고 이를 기반으로 학습분석학 접근 방식의 수업에서 실제적으로 활용될 수 있는 체계화된 교수자 피드백 대시보드의 개발 연구가 필요하다.
본 연구를 통한 학습분석학 기반의 교수자 피드백 대시보드 제공은 추후 다각도의 연구방향을 설정하는 데 시사점을 줄 것으로 기대된다. 이러한 연구는 학습자에게 개별화된 피드백이 제공됨으로써 학습자의 학습을 촉진시키고, 교수자는 교수 활동을 개선할 수 있는 기틀을 마련해주는 계기가 될 것이다.