Factors related to satisfaction with non-face-to-face classes of health science students due to COVID-19 pandemic

한국치위생학회
윤 해수  Hae-Soo Yoon1이 현정  Hyun-Jeong Lee2문 수진  Soo-Jin Moon2이 경희  Kyeong-Hee Lee2임 제혁  Je-Hyeok Lim2장 종화  Jong-Hwa Jang1,2*

Abstract

Objectives: To investigate the perceived quality of classes, academic emotions, and learning achievement levels associated with the non-face-to-face classes of health science students, and to analyze the factors related to class satisfaction. Methods: Using a questionnaire, 238 health science students were surveyed regarding the quality of classes, academic emotions, and learning achievement levels. Factors related to calss satisfaction were analyzed using stepwise multiple regression. Results: Lecture types that the students were most satisfied with were ‘video lectures using PPT’ and ‘recorded lectures provided by LMS’, while ‘real-time video lectures’ were scored the lowest (p=0.005). Factors affecting non-face-to-face class satisfaction were perceived achievement (β=0.425, p<0.001), learning content (β=0.265, p<0.001), learning emotion (β=0.171, p<0.001), and learning environment (β=0.137, p=0.012). The adjusted explanatory power for this model was 63.9%. Conclusions: To increase the satisfaction of health science students with non-face-to-face classes, it is necessary to prepare an institutional foundation and to develop an educational program that can increase perceived achievement.

Keyword



서론

2020년 코로나 19의 확산으로 인하여 대학 수업은 전통적인 방식의 대면 수업에서 온라인 중심의 수업으로 급격하게 전환되었다. 코로나 19의 확산 이전에도 대학들은 IT 발달 등 4차 산업혁명 시대를 맞아 플립러닝, 블렌디드 러닝과 같은 온라인과 오프라인을 혼합한 형식의 다양한 교수학습법들을 활용하여 온라인 학습활동을 강화하였다. 그러나 이와 같은 교수학습법의 혁신이 체계화 및 제도화되기 위해선 충분한 시간과 노력이 수반되어야 하나 갑작스러운 코로나 19 팬데믹의 도래로 인하여 대학은 완전히 준비되지 못한 채 비대면 수업방식을 확대하는 급격한 변화를 겪을 수밖에 없었다. 이 과정에서 교수자와 학습자의 온라인 강의 경험 부족 문제, 인프라 및 기술적 문제 등 다양한 문제가 발생하였고[1], 이러한 낮은 수업의 질은 대학생들의 등록금 환불 요구까지 일으켰다[2].

온라인 수업에서 발생하는 문제들이 학습성과를 저하한다는 점은 사이버 대학의 고질적인 문제로 제기되기도 하였으나[3], 온라인 수업은 많은 장점이 있다. 학습자가 시간과 장소에 구애받지 않고 학습할 수 있다는 편의성과 학습에 대한 접근성은 대면 수업보다도 우수하다[4]. 또한 ‘위드 코로나’ 시대가 도래하더라도 코로나 이전의 대면 방식의 수업 형태로 완전히 되돌아가는 것은 불가능할 것으로 예측되는바, 코로나 19 상황에서 비대면 수업에 대한 평가 및 고찰은 필수적이다[2,5].

학습 정서(academic emotions)란 교수-학습상황에서 학습자가 경험하는 정서를 의미하며, 학습자의 주의 집중, 유연한 학습전략을 통한 학습자의 사고 조절 등 학습 과정에 적극적으로 적용된다[6]. 학습자가 수업에서 겪게 되는 정서적 경험은 학습 과정뿐만 아니라 학습결과에 있어 중요하며[7-9], 교수-학습상황에서 학습 정서를 확인하는 것은 학습자의 학습경험을 이해하는데 매우 중요하다[10].

학습성과는 일반적으로 과정 성취 여부, 학습에 대한 만족 등으로 결정된다[11]. 오프라인 수업 관련 요인은 수업내용 및 학습방법, 상호작용, 학습환경 등으로 나눌 수 있고, 이러한 수업요인들의 질적 향상을 통하여 학습성과의 향상을 일으킬 수 있다[12,13]. 온라인 수업의 경우에도 수업의 질 요인은 학습자와 교수자 간 혹은 학습자 간의 상호작용, 수업내용의 적절성 및 유용성과 같은 학습용 콘텐츠, 수업여건, 평가 등으로 결정되고 있다[14]. 이러한 선행연구들을 통해 비대면 수업만족도 관련 요인으로서 학습 정서, 수업의 질, 학습성과로 구분하여 살펴볼 필요가 있다.

COVID-19 팬데믹에 따른 온라인 수업 관련 연구로는 대학 온라인 교육에 대한 학습자들의 반응[15], 대학 원격강의 운영 실태 및 학생 만족도 기반 효과적 운영방안[16], 비대면 강의만족도와 수강 지속 의사 영향 요인[17], 국내외 학생 중심의 온라인 강의 형태와 콘텐츠가 강의만족도[1] 등이 보고되었다. 보건계열 학생 대상 연구로는 전공몰입과 전공 만족에 관한 연구[5]가 보고되었으나 비대면 수업이 확대되고 있는 시점에서 학습 관련 다양한 요인이 영향 요인으로 작용할 것으로 여겨진다.

이에 본 연구의 목적은 보건계열 대학생을 대상으로 COVID-19 팬데믹으로 인한 비대면 수업에 대한 수업의 질, 학습 정서, 학습성과 수준을 알아보고 상호 관련성 및 수업 만족에 영향을 미치는 관련 요인을 분석하기 위함이다.

연구방법

1. 연구설계

본 연구는 보건계열 전공 대학생의 비대면 수업 만족 관련 요인을 분석한 횡단면 상관성 조사연구이다.

2. 연구대상

본 연구대상은 충청권에 있는 대학 4곳에서 재학 중인 보건계열 전공 학생이다. 연구대상 모집은 보건계열 학과가 있는 대학 학생회를 통해 연구 목적을 설명하고 연구 참여에 자발적 동의한 학생으로 정하였다. 적정 표본의 크기는 G*power 3.1.7을 이용하여 효과 크기 0.12, 검정력 0.95, 측정 변수는 11개로 하여 총 213명이 산출되었다. 부적절한 설문 응답에 의한 탈락률 10% 정도를 고려하여 235명으로 정하였고 최종 분석대상은 238명이었다.

연구대상자의 윤리적 고려를 위해 00대학교 기관 생명윤리위원회(IRB: DKU IRB 2021-06-041)에서 연구심의 승인을 받았다.

3. 연구도구

설문지는 일반적 특성, 수업의 질, 학습 정서, 학습성과 총 28개 문항으로 구성하였다. 일반적 특성은 성별, 학과, 학년, 지난 학기 취득 학점, 만족/불만족 온라인 교육 형태를 묻는 문항으로 총 6문항이다. 수업의 질 항목은 선행연구[13,14,18,19]를 토대로 수업내용 관련 5문항, 상호작용 관련 3문항, 학습환경 관련 6문항으로 구성하였다. 학습 정서 항목은 K-AEQ 등 선행연구[19-22]를 토대로 6문항으로 구성하였다. 학습성과 항목은 McCrosky 등[18,19,23,24]의 연구에서 활용된 측정 도구로 인지된 성취도 관련 4문항, 수업만족도 관련 4문항으로 구성하였다. 수업의 질, 학습 정서, 학습성과는 리커트 5점 척도로 ‘매우 그렇지 않다’(1점) ~ ‘매우 그렇다’(5점)로 측정하여 평균값을 산출하였다. 연구 도구의 내적 일관성을 나타내는 Cronbach’s α는 수업의 질 0.855, 학습 정서 0.590, 학습성과 0.873이었다.

4. 자료수집 절차

2021년 5월 3일부터 5월 30일까지 보건계열 학과가 있는 대학의 학회장을 통해 연구 목적을 설명하고 설문지 URL 주소를 해당 학과에 배부하도록 하여 연구 참여에 자발적으로 동의한 238명을 최종 분석대상으로 정하였다.

5. 자료분석

수집된 자료는 기술 통계량을 구하고 일반적 특성별 수업의 질, 학습성과 및 학습 정서의 차이는 독립표본 t-검정 및 일원 배치 분산분석을 하였고, 다중비교는 Scheffe의 사후검정으로 분석하였다. 학습 정서, 수업의 질 및 학습성과의 하위요인은 Pearson의 상관분석을 하였고, 비대면 수업 만족 관련 요인은 단계적 다중 회귀 분석하였다. 통계분석은 SPSS 24.0(IBM Co., Armonk, NY, USA)을 이용하였고 유의수준은 0.05로 정하였다

연구결과

1. 주요 변수의 기술 통계

보건계열 전공 학생의 비대면 수업만족도 관련 요인에 관한 주요 변수의 기술통계량은 <Table 1>과 같다. 최고점수 5점 만점을 기준으로 학습 정서(3.32점)가 가장 낮았고, 수업의 질에 대한 하위항목인 수업내용(3.80점)이 가장 높았다. 학습성과에 대한 하위항목 중에서는 인지된 성취도(3.55점)가 가장 높았다.

Table 1. Descriptive statistics of quality of classes, learning achievement levels, and academic emotions

http://dam.zipot.com:8080/sites/KSDH/images/N0220210613_image/Table_KSDH_21_06_13_T1.png

Min = minimum; Max = maximum; SD = standard deviation

2. 일반적 특성별 수업의 질, 학습성과 및 학습 정서의 차이

일반적 특성별 수업의 질, 학습성과 및 학습 정서의 차이에 대한 분석결과는 <Table 2>와 같다. 대학생들이 만족하는 강의 유형별 학습성과는 ‘PPT 이용 영상강의(3.66점)’와 ‘LMS 제공 녹화 강의(3.59점)’ 순이었으며, ‘실시간 화상 강의(3.03점)’가 가장 낮았다(F=3.419, p=0.005). 대학생들이 불만족한 강의 유형별 학습성과는 ‘실시간 화상 강의(3.76점)’이 가장 높았고, ‘비대면 대면 혼합강의(3.60점)’ 순이었으며, ‘LMS 제공 녹화 강의’가 가장 낮았고, 사후검정결과에서 불만족도가 가장 낮은 ‘LMS 제공 녹화 강의’는 나머지 모든 수업유형과 유의한 차이가 있었다(F=4.820, p<0.001).

Table 2. Quality of classes, learning achievement levels, and academic emotions by general characteristics

http://dam.zipot.com:8080/sites/KSDH/images/N0220210613_image/Table_KSDH_21_06_13_T2.png

*by independent samples t-test or one way ANOVA; **GPA = Grade point average; SD = standard deviation

가장 만족하는 강의 유형별 학습 정서는 ‘PPT 이용 영상강의(3.44점)’가 가장 높았으며, 다음으로 ‘비대면 대면 혼합강의(3.38점)’였으며 ‘실시간 화상 강의(2.56점)’가 가장 낮았다. 사후검정결과, ‘실시간 화상 강의(2.56점)’가 가장 낮은 수준으로 나머지 모든 수업유형과 유의한 차이가 있었다(F=3.526, p=0.004).

3. 수업의 질, 학습성과, 학습 정서 간의 상관관계

수업의 질, 학습성과, 학습 정서 간의 상관관계를 분석한 결과는 <Table 3>과 같다. 수업의 질, 학습성과 및 학습 정서는 정의 관계로 나타났다. 수업내용이 좋을수록 상호작용이 좋고(r=0.549), 인지된 학습성과(r=0.509), 수업만족도(r=0.634), 학습 정서(r=0.362)가 좋았다. 상호작용이 높을수록 학습환경은 좋았으며(r=0.455), 인지된 성취도(r=0.349), 수업만족도(r=0.432), 학습 정서(r=0.303)가 높은 것으로 나타났다. 학습환경이 좋을수록 인지된 성취도(r=0.482), 수업 만족(r=0.581), 학습 정서(r=0.375)가 높았다. 인지된 성취도가 높을수록 수업 만족(r=0.717), 학습 정서(r=0.534)가 높았고, 수업 만족이 높을수록 학습 정서(r=0.545)가 높은 것으로 나타났다.

Table 3. Correlation between quality of classes, learning achievement levels, and academic emotions

http://dam.zipot.com:8080/sites/KSDH/images/N0220210613_image/Table_KSDH_21_06_13_T3.png

*p<0.001, by pearson’s correlation coefficient; Quality of classes = 1, 2, 3; Learning achievement levels = 4, 5

4. 비대면 수업만족도에 영향을 미치는 관련 요인

<Table 4>는 비대면 수업 만족에 영향을 미치는 요인에 대한 단계별 다중 회귀 분석결과이다. 회귀모형의 분석결과 모든 변수는 VIF 값이 10보다 크지 않으므로 다중공선성의 문제가 없었고, 회귀모형은 유의한 것으로 나타났다(F=105.94, p<0.001).

종속변수는 수업 만족이며 독립변수는 수업의 질 하위요인인 수업내용, 상호작용 및 학습환경과 학습 정서, 학습성과로 두었고, 일반적 특성에서 학습성과에 유의한 차이가 있었던 강의유형을 더미 변수 처리하여 독립변수에 포함하였다. 단계별 다중 회귀 분석 결과, 비대면 수업 만족에 영향을 미치는 관련 요인의 효과 크기는 인지된 성취도(β=0.425, p<0.001), 학습 내용(β=0.265, p<0.001), 학습 정서(β=0.171, p<0.001), 학습환경(β=0.137, p=0.012) 순으로 나타났다. 이 모형에 대한 조정된 설명력은 63.9%로 나타났다. 독립변수에서 상호작용, 수업유형은 비대면 수업 만족 관련 요인으로 유의하게 나타나지 않았다.

Table 4. Related factors affecting non-face-to-face class satisfaction

http://dam.zipot.com:8080/sites/KSDH/images/N0220210613_image/Table_KSDH_21_06_13_T4.png

*by stepwise multiple regression analysis; F(p) = 105.94(<0.001); Adj. R2 = 0.639; Durbin-Watson = 1.979

총괄 및 고안

COVID-19으로 인해 비대면 수업이 급증하는 상황에서 보건계열 대학생을 대상으로 비대면 수업 만족 요인을 알아보기 위해 수업의 질, 학습 정서, 학습성과 수준을 알아보고, 수업 만족에 영향을 미치는 요인을 분석하였다.

성별 수업의 질, 학습 정서, 학습성과에는 유의한 차이가 없는 것으로 나타나서 남학생일수록 수업만족도가 높아진다는 손[25], 김과 황[2]의 연구결과와 다른 차이를 보인다. 이는 본 연구에서는 남학생이 6.7%로 성별 차이를 분석하기에는 한계가 있었다고 생각되며 향후 성별 분포를 고르게 한 추가 연구의 필요성을 시사하였다.

전공별 학습 정서는 치위생학과가 보건행정학과보다 상대적으로 높았다. 이는 학과 간의 교수-학습방식, 교수자와 학습자 간의 상호작용 및 충분한 피드백의 부재 등의 학습환경의 차이에 따른 결과로 보인다. 학습 동기 관련 정서에 관한 연구에서는 효과적인 수업 활동이 이루어질수록 학습 정서에 긍정적인 영향을 준다고 밝혔다[8]. 또한, 학업적 정서조절 척도 개발 및 타당화에 관한 연구에서는 학습 목표를 달성하는데 쉬운 학습상황이면 긍정 정서를, 그렇지 못한 상황이라면 부정정서가 유발되는데, 부정정서를 자주 경험한 학생들은 학업 유지에 어려움을 겪는다고 하였다[26]. 사이버대학 학습자들의 정서에 관한 연구에서는 비대면 학습 과정에서 기존의 대면 수업과는 다른 학습환경의 차이로 인하여 불안, 좌절감, 고립감 등의 부정적 정서를 느낀다고 하였다[27]. 수학 성취도 평가에서 경험한 학생들의 감정 구조에 관한 연구에 따르면 부정정서를 자주 경험하는 학생일수록 학업성취율이 낮았다[28]. 이처럼 선행연구를 고려하면 비대면 수업환경의 기술적인 문제 등을 극복하여 모든 학습자가 비대면 수업에 만족할 수 있도록 다양한 수업 콘텐츠 개발이 필요함을 시사하고 있다.

대학생들이 가장 만족하는 비대면 강의유형은 LMS(이러닝) 제공 강의(76.5%), PPT 이용 영상강의(9.2%), 실시간 화상 강의(4.6%) 순이었다. 산업체 위탁 교육과정 학생 대상 연구[29]에서 학생들이 만족하는 비대면 강의유형은 교수가 자체 제작한 동영상 강의, PPT 등 강의자료 게시, PC 화면 녹화 동영상 강의 순이었다는 결과와 다소 차이가 있었다. 의과학연구정보센터(MedRIC)의 연구[30]에서는 가장 만족하는 비대면 수업유형은 녹화된 강의, 실시간 화상 강의, 단순 수업자료 업로드 등의 순으로 본 연구결과와 유사하였다.

수업 만족과 인지된 성취도는 가장 높은 정(+)적 상관관계로 나타난 결과는 인지된 성취도를 높이기 위한 비대면 교육 콘텐츠 개발의 방향성을 유추할 수 있다. 온라인 수업의 질, 학습 정서가 학습성과에 미치는 영향 연구에서는 온라인 수업내용, 상호작용, 학습환경, 긍정적 정서, 인지된 성취도, 수업 만족은 높은 정(+)의 상관관계였으며 부정적 정서는 부(-)의 상관관계로 나타났다[2]. 이는 대학에서 오프라인과 온라인 수업의 질, 학습 정서, 학습성과 간의 관계연구[19]와 이러닝 수업의 질, 만족도, 성취도는 정(+)의 상관관계였다고 보고한 연구[31]와 유사하였다.

김 등[2]은 온라인 수업의 교육의 질, 학습 정서가 학습성과에 미치는 영향 연구에서 수업내용 및 긍정적 정서가 인지된 성취도에 긍정적인 영향을 미치고 부정적인 정서는 인지된 성취도에 부정적인 영향을 미친다고 보고하였다. 온라인 수업 만족 관련 요인 연구의 결과[32]에서도 대면 강의와 다른 비대면 수업구조 및 내용에 대한 재설계의 필요성을 강조하고 있다. 대면과 비대면 수업 비교 연구[33]에서는 ‘수업환경’과 ‘과제수행’이 비대면 수업만족도에 가장 영향력이 컸고, 대면 수업만족도에서는 ‘교수 활동’이 가장 영향력이 컸다고 하였다. 이러한 연구결과들은 향후 비대면 수업의 질을 개선하기 위해 인지된 성취도 및 수업 만족에 영향을 미치는 다양한 요인들과의 상호작용을 살펴보는 심도 있는 종단 연구와 질적 연구들이 활발하게 이루어질 필요성을 시사하고 있다.

종합하면 보건계열 전공 학생들의 비대면 수업 만족에는 학습환경, 학습 정서, 학습성과가 유의한 영향 요인이었으며, 특히 단계별 다중 회귀 분석결과, 인지된 성취도가 비대면 수업 만족에 가장 큰 영향 요인으로 나타났다. 이는 보건계열 전공 수업의 질적 우월성을 확보하기 위해 향후 노력을 기울여야 하는 부분은 학생이 취업하고자 하는 임상 현장의 문제를 주체적으로 탐색하고 창의적으로 해결할 수 있도록 이끄는 학습 내용 개발과 학년에 따른 단계별 학습방법 개발 및 안정적인 학습환경이라고 제안하는 바이다.

본 연구는 COVID-19 팬데믹으로 인해 증가한 비대면 수업 관련 만족 요인을 살펴봄으로써 보건계열 대학생들에게 좋은 수업 만들기를 위한 방향 설정을 탐색하였다는 데 의의가 크다. 다만 본 연구의 한계를 토대로 후속 연구를 위한 제언은 다음과 같다.

첫째, 충청권에 있는 대학 중 일부 대학생들이 참여한 연구라는 한계가 있다. 그러므로 전국적으로 다양한 대학에서 시행했던 온라인 수업 사례 및 학습성과를 비교하는 연구, 온라인 수업에 대한 보다 심층적인 영향 관계를 밝히기 위한 질적 연구가 이루어지길 제안하는 바이다. 둘째, 보건계열학과 전 학년을 분석대상으로 설정하였으나, 응답자 중 1학년은 2, 3학년의 절반인 15.5%로 한정되어 있다. 1학년의 경우, 전공과목에 대한 기초를 쌓는 시기이며, 원활한 학교생활에 매우 중요한 시기이다[34]. 따라서, 그들의 수업만족도는 예비 보건의료전문가로서 역량배양에 중요하다. 이에, 전체 학년을 대상자로 연구 범위를 확대한 후속 연구들이 진행되어야 할 것이다. 셋째, 대상자 중 98.7%가 치위생학과 전공으로 전공이 고르게 분포되지 못한 점과 대상자의 93.3%가 여성이라는 점이 한계로 꼽을 수 있다. 특정 학과를 중점적으로 보는 연구도 의미가 있으나, 전반적인 보건계열전공 학생으로 확대한 후속 연구가 필요하다. 넷째, 보건계열 학생들은 향후 임상에서 보건의료전문가로서, 국가고시를 준비하기 위해서 실습수업은 필수적인 과정이다[34]. 따라서 실습수업과 이론 수업을 구분하거나 비대면 실습수업과 대면 실습수업을 비교할 수 있는 수업 만족 관련 중재 연구가 필요하다. 또한, 비대면 수업 만족에 영향을 끼치는 요인으로는 학습과 직접 관련된 요인뿐만 아니라 성적 부담, 취업 스트레스와 같은 심리적인 요인도 복합적으로 작용할 수 있으므로 보다 다각적이고, 심도 있게 접근할 필요가 있다. 또한, 코로나 사태에서 비대면 수업이 장기화함에 따라, 연구 기간을 확대하고 추적조사에 의한 종단 연구가 필요하다고 제시된다.

결론

COVID-19로 인한 보건계열 학생들의 비대면 수업 만족 관련 요인을 알아보기 위해 일부 대학에 재학 중인 보건계열 학생을 대상으로 분석한 결과는 다음과 같다.

1. 보건계열 대학생들의 비대면 학습성과에서 만족도가 가장 높은 강의유형은 ‘실시간 화상 강의(3.30점)였고(p<0.005). 불만족도가 가장 낮은 강의유형은 ‘LMS 제공 녹화 강의’로 나타났다(p<0.001).

2. 수업만족도와 인지된 성취도는 가장 강한 양의 상관관계로 나타났고(r=0.717), 학습 정서와 상호작용은 가장 낮은 정(+)적 상관관계를 보였다(r=0.303).

3. 비대면 수업 만족 관련 요인은 인지된 성취도(β=0.425, p<0.001), 학습 내용(β=0.265, p<0.001), 학습 정서(β=0.171, p<0.001), 학습환경(β=0.137, p=0.012) 순으로 나타났다. 이 모형에 대한 조정된 설명력은 63.9%였다.

총체적으로 보건계열 대학생들의 수업 설계 시 비대면 수업에서의 인지된 성취도를 높일 수 있는 교육 프로그램 개발 및 제도적 기반 마련이 필요하다고 제시된다.

Conflict of Interest

The authors declared no conflict of interest.

Authorship

Conceptualization: JH Jang; Data collection: KH Lee, JH Lim, HJ Lee, SJ Moon; Formal analysis: HS Yoon; Writing - original draft: HS Yoon; Writing - review & editing: JH Jang, HS Yoon, KH Lee, JH Lim, HJ Lee, SJ Moon

References

1 1. Jo JS, Bae JI. The effect of COVID-19 on academic satisfaction with online lecture types and contents - perspectives of the domestic and foreign university students-. J Korea Acad-Indus Soc 2021;22(3):643-50. https://doi.org/10.5762/KAIS.2021.22.3.643  

2 2. Kim BY, Hwang HK. The influence of online classes educational quality and learning emotions on learning outcome - focusing on H technical college students-. J Kor Entertainment Industry Assoc 2020;14(8):467-76. https://doi.org/10.21184/jkeia.2020.12.14.8.467  

3 3. Kang MH, Kim NY, Kim MJ, Kim JY, .Lim HJ. A structural relationship among teaching presence, learning presence and learning outcomes of e-learning in cyber university. J Korean Assoc Educ Inf Med 2011;17(2):153-76.  

4 4. Garrison DR. E - learning in the 21st century: a framework for research and practice. 1st ed. London: Routledge; 2003: 92-104.  

5 5. Son SM, Jo ES, Choi SJ. Changes in major commitment and satisfaction of 1st and 2nd grades university students in health - related departments through the application of un - contact lectures during COVID-19 pandemic. J Appl Sci Technol 2021;38(2):389-98. https://doi.org/10.12925/jkocs.2021.38.2.389  

6 6. Pekrun R, Goetz T, Titz W, Perry RP. Academic emotions in students’ self - regulated learning and achievement: a program of qualitative and quantitative research. Educ Psychol 2002;37(2):91-105. https://doi.org/10.1207/S15326985EP3702_4  

7 7. Kleine M, Goetz T, Pekrun R, Hall N. The structure of students’ emotions experienced during a mathematical achievement test. ZDM 2005;37(3):221-5. https://doi.org/10.1007/s11858-005-0012-6  

8 8. Meyer DK, Turner JC. Discovering emotion in classroom motivation research. Educ Psychol 2002;37(2):107-14. https://doi.org/10.1207/S15326985EP3702_5  

9 9. Zembylas M. Adult learners’ emotions in online learning. J Dist Educ 2007;29(1):71-87. https://doi.org/10.1080/01587910802004852  

10 10. Song IS, Choi JH. Exploring the domain issue of academic emotions: a comparison of domain generality, domain specificity and domain complexity. J Learner-Centered Curriculum Instr 2011;11(4):227-43.  

11 11. Kim EJ. An analysis of the structural relationship among professor - students interaction, class satisfaction, reading and learning outcomes of students. J Educ Res 2014;12(3):1-22.  

12 12. Ahn JH. A qualitative study on characteristics of ‘good’ college classes. J Yeolin Educ 2015;22(1):163-91.  

13 13. Jeong EI. Relations among class disturbing factors perceived by college students and professors, class participation, and class satisfaction. Kor Educ Rev 2012;18(3):73-103.  

14 14. Lee JY, Lee EJ. Influence analysis of system, information and service qualities on learner satisfaction in university e - learning. Korean J Educ Methodol Stu 2010;41(3):119-47.  

15 15. Han SW, Kim BY. A study on the response of learners to university online education after corona 19. Culture Conv 2020;42(10):155-72. https://doi.org/10.33645/cnc.2020.10.42.10.155  

16 16. Lee YH. Explorations for the effective implementation based on the students’ satisfaction survey for the online class in the university for the COVID-19 response. JCE 2021;10(1):271-306.  

17 17. Song SY, Kim HK. Exploring factors influencing college students’ satisfaction and persistent intention to take non - face - to - face courses during the COVID-19 pandemic. Asian J Educ 2020;21(4):1099-126. https://doi.org/10.15753/aje.2020.12.21.4.1099  

18 18. Lee JY, Kim JR. Analysis on structural relationships among learners’ perceived usefulness, learner satisfaction and related factors in mobile learning in universities. J Korean Educ 2013;40(1):49-79. https://doi.org/10.22804/jke.2013.40.1.003  

19 19. Chei MJ, Lee JY. Analysis of structural relationship among instructional quality, academic emotions, perceived achievement and learning satisfaction in offline and online university lectures. J Educ Inf Med 2017;23(3):523-48. https://doi.org/10.15833/KAFEIAM.23.3.523  

20 20. Do SL, Son SK, Byeon JH, Im JY. Development and construct validation of the Korean achievement emotions questionnaire (K-AEQ). J Educ Policy 2011;25(4):945-70.  

21 21. You JW, Kim HJ, Park SH. Development and construct validation of e - learning academic emotions scale (e-AES). J Yeolin Educ 2012;20(3):19-44.  

22 22. Kim SH, Lee IS. The effects of academic emotions on motivation in e - learning. JET 2014;30(4):749-75. https://doi.org/10.17232/KSET.30.4.751  

23 23. McCroskey JC, Sallinen A, Fayer JM, Richmond VP, Barraclough RA. Nonverbal immediacy and cognitive learning: A cross - cultural investigation. Commun Educ 1996;45:200-11. https://doi.org/10.1080/03634529609379049  

24 24. Kang MH, Yoon HJ, Kim JS, Kim HS. Investigating the relationship among learning authenticity, learning motivation, and performance in web - based project learning. JET 2008;24(3):23-51. http://doi.org/10.17232/KSET.24.3.23  

25 25. Son KO. The development of junior college students satisfaction inventory[Doctoral dissertation]. Seoul: Univ. of Seoul National, 2014.  

26 26. Yu JH, Lee SJ. Development and validation of academic emotion regulation scale. J Educ Policy 2012;26(4):1137-59.  

27 27. Jun JS, Choi EH. Getting over fear and frustration: emotional experiences of adult learners at a cyber university. J Lifelong Educ 2010;16(2):93-116.  

28 28. Kleine M, Goetz T, Pekrun R, Hall N. The structure of students’ emotions experienced during a mathematical achievement test. ZDM 2005;37(3):221-5. https://doi.org/10.1007/s11858-005-0012-6  

29 29. Kim NI. A study on the satisfaction of non - face - to - face online class - focused on K university. J Hum Soc Sci 21 2020;11(5):1145-57. http://doi.org/10.22143/HSS21.11.5.83  

30 30. MedRIC. University and graduate school non - face - to - face class professor student opinion survey due to COVID-19[Internet]. MedRIC. [cited 2021 Oct 15]. Available from: http://www.medric.or.kr/Controls/Sub.aspx?d=06&s=01&g=NOTICE&m=VIEW&i=1592.  

31 t31. Cho EA. Analysis on structural relationship among task value, e - learning quality, approaches to learning, satisfaction and academic achievement in cyber courses[Doctoral dissertation]. Seoul: Univ. of Ewha Womans, 2015. 

32 32. Lee SC, Kim JA. Factors that affect student satisfaction with online courses. J Educ Adm 2018;36(2):115-38. https://doi.org/10.22553/keas.2018.36.2.115  

33 33. Lee JO. A comparative case study on the factors of class evaluation in face - to - face and non - face - to - face classes. J Hum Soc Sci 2021;12(1):143-56.  

34 34. Jung HK. College students’ satisfaction with the overall implementation of online classes and testing during the Corona 19 pandemic. Multimedia-Assisted Language Learning 2020;23(3):392-412.