서론
2018년도 우리나라 만 3세 이상 인터넷 이용률은 91.5%로 나타났으며 인터넷 접속방법은 전 연령에서 99.7%가 모바일이라고 응답하였고 지역, 가구소득에 상관없이 가장 높은 이용률을 보였다[1]. 또한, 스마트폰 이용자는 인터넷을 이용하여 정보를 얻고 있으며 서면보다 모바일 기기를 이용한 정보탐색 및 의사소통이 더 활성화되고 있고 건강정보를 획득하는 경로도 바뀌고 있다[2].
치의학 및 치위생 분야에서도 구강건강관련 정보를 전달하기 위해 시간과 공간에 제약이 없는 방안을 개발하기 위한 연구가 시도되고 있다[3]. 이 방안 중 애플리케이션을 통한 정보전달이 가장 촉망받고 있는데, 정 등[4]은 학습자들이 시간과 장소에 제약받지 않고 모바일 애플리케이션을 활용할 수 있어 효과적인 학습 도구라고 하였다. 또한, 김과 이[3]의 연구에서는 부모들이 교육용 애플리케이션에 대해 긍정적인 반응을 보였으며 영유아의 연령별 구강 특성에 적합한 모바일 애플리케이션 개발을 통해 올바른 구강건강 관리습관이 형성될 수 있도록 애플리케이션 개발에 대한 필요성을 제기하였다. 현재 국내에서 ‘어린이 구강관리’ 및 ‘어린이 치아우식증’에 관한 국내 애플리케이션은 21개이었고 치아우식증을 직접적으로 다루는 애플리케이션은 5종이었다[5]. 이 중 대부분은 칫솔질 방법이나 치아 관련 동화, 게임, 치아우식증 관련 단순 지식 전달에 대한 것이었으나 ‘CAMBRA-kids’는 CAMBRA(Caries Management by Risk Assessment) 모델을 바탕으로 영유아를 위한 체계적인 우식관리를 할 수 있도록 개발된 애플리케이션이다[5].
CAMBRA 모델은 2003년 캘리포니아 치과의사협회에서 발표되었는데, 개인의 우식 위험도를 과학적인 근거에 따라 초고위험, 고위험, 중위험, 저위험 등의 4가지 위험군으로 분류하고 각 위험군에 맞춤형 치료법을 제공하는 환자 중심의 우식관리 프로그램이다[6,7]. 유아기 치아우식증을 예방하기 위해서는 근본적인 원인을 찾아 예방하고 관리하는 것이 필수적이며[8], 개인별로 치아우식증에 기여하는 요인이 다르기 때문에 획일적인 예방법보다는 대상자별로 요인을 조사하여 상태에 따른 맞춤형 관리방법을 적용하는 것이 필요하다고 하였다[6,7,9,10]. 이에 CAMBRA 모델은 치아우식증에 이환될 위험이 높은 고위험군 및 초고위험군 아동에게 필수적인 방법으로 고려되고 있지만[9], 기존의 CAMBRA 모델은 보호자의 면담과 설문을 진행하기 때문에 프로그램 참여율과 설문 회수율이 떨어지는 단점이 있었다[11]. 이러한 단점을 극복하고 CAMBRA 모델의 활용을 극대화하기 위해 개발된 것이 ‘CAMBRA-kids’ 애플리케이션이다.
이러한 건강과 관련된 모바일 애플리케이션은 내용의 질과 기능이 적절한지에 대한 검증이 이루어져야하는데, 미국 식품의약품 안전청은 건강관련 애플리케이션 개발을 장려하며 애플리케이션의 사용성과 효과에 대해 검증할 것을 권고하였다[5,12]. 또한, 모바일 애플리케이션에서 제공하는 정보의 질에 대한 타당성과 검증되지 않은 정보가 사용자에게 유해한 영향을 미칠 수 있으므로 전문가와 사용자의 구체적인 평가가 필요하다고 하였다[13]. 사용자 평가는 질 평가[14], 사용성 평가[15], 효용성 평가[16] 등으로 구성되어있는데, 질 평가는 사용자 입장에서 애플리케이션에 포함된 정보나 서비스의 품질이 좋은지를 평가하는 방법이며 사용성 평가는 애플리케이션 사용 과정 중 모바일 애플리케이션을 정확하고 유용하게 활용할 수 있는지에 대한 것과 사용자가 느끼는 주관적인 흥미를 평가하는 것이다[17]. 효용성 평가는 사용자가 생각하는 애플리케이션을 구성하는 시스템의 가치나 만족도를 평가하는 것이다.
‘CAMBRA-kids’ 애플리케이션은 현재 시중에 출시되어있는 국내 애플리케이션 중 CAMBRA 모델을 적용하여 전문가가 임상검사와 중재를 통해 체계적인 치아우식증을 관리해주는 유일한 애플리케이션이다. 단순 지식전달이나 게임이 아닌 체계적으로 관리해주는 애플리케이션에 대한 평가를 진행한 연구는 없었으며, ‘CAMBRA-kids’ 애플리케이션을 직접적으로 활용하여 평가를 진행한 연구는 없는 실정이다. 또한, 선행연구에서는 ‘CAMBRA-kids’ 애플리케이션에 대한 소수 전문가의 의견만을 수렴하여 실질적인 사용자의 사용성이 어떠한지 알 수 없었다[5]. 김 등[13]의 연구에서는 10명의 전문가와 12명의 사용자가 애플리케이션에 대해 평가하였고 변[15]의 연구에서는 사용자 5명을 대상으로 사용성을 평가하여 애플리케이션의 문제점을 발견하고 개선하였다. 그러나 상대적으로 소수의 대상자로만 평가를 진행한 것에 한계점이 있어 다수의 사용자를 대상으로 연구를 진행해야한다고 하였다.
이에 본 연구는 소아 우식관리 애플리케이션 ‘CAMBRA-kids’의 활용도를 파악하기 위해 사용자를 대상으로 애플리케이션의 질과 효용성 및 사용성을 평가하고자 하였다.
연구방법
1. 연구대상
본 연구는 00대학교 연구윤리위원회의 심의를 거쳐 승인(NSU-201811-005)을 받은 후 2019년 1월부터 2019년 4월까지 진행하였다. 연구 대상자는 영유아 보호자-아동으로 하였으며, 충청남도에 위치한 유치원 및 어린이집 2곳을 편의표본추출하여 기관장에게 연구에 대한 구체적인 설명을 드리고 동의를 얻은 후 영유아 보호자에게 연구 동의서를 발송한 뒤 동의한 자에 한하여 연구를 진행하였다. 영유아 보호자에게 애플리케이션 다운로드를 안내한 뒤 우식 위험도 평가 항목 중 위험요인, 보호요인에 대한 애플리케이션 상의 설문항목에 응답하도록 하였다. 응답이 완료된 후, 연구자가 임상검사를 실시하고 질병지표를 입력하여 우식 위험군을 산출하였다. 영유아 보호자가 애플리케이션을 통해 산출된 아동의 우식 위험군(저위험군, 중위험군, 고위험군, 초고위험군)을 확인하고 위험도별 관리방법에 따라 1주 동안 관리한 뒤 애플리케이션에 대한 질 평가와 효용성 평가를 진행하였다. 연구 대상자 수는 G*power 3.0 프로그램을 이용하여 유의수준 0.05, 효과크기 0.15, 검정력 0.8을 적용하여 산출하였다. 분석결과, 연구 대상자 수는 64명으로 산출되었으나 중도탈락률을 고려하여 120명으로 하였다. 120명 중 95명(약 79.16%)이 응답하였으나, 이 중 무응답과 불성실한 응답을 보인 4명의 설문지를 제외한 91명(약 75.83%)을 최종 분석 대상으로 하였다. 이 중 애플리케이션에 대한 사용성 평가를 위해 위험군별로 선정된 아동 20명의 영유아 보호자를 대상으로 설문을 진행하였다. 선행연구에서 애플리케이션의 사용성을 평가할 때, 5명의 평가자는 80% 문제를 발견할 수 있고, 15명의 평가자는 90%의 문제를 발견할 수 있다는 것에 근거하여 대상자 수를 산출하였다[18,19]. 조사대상자 20명 중 13명이 응답하여 13명의 자료를 이용하여 분석하였다.
2. 연구도구
1) 영유아 보호자의 일반적 특성
영유아 보호자의 일반적 특성은 연령, 최종학력, 취업상태, 자녀 수, 구강관련 애플리케이션 사용경험, 하루 평균 스마트폰 사용시간을 조사하였다.
2) ‘CAMBRA-kids’ 애플리케이션 질 평가
모바일 애플리케이션의 질은 정보 성공 모델[20]에 기반하여 개발된 ELSS(E-learning systems success) 도구[21]를 전[14]이 번안하고 수정한 도구로 평가하였다. ELSS 도구는 시스템의 질 7문항, 정보의 질 6문항, 서비스의 질 5문항, 사용자 만족도 3문항, 실제 사용 3문항으로 구성되었으며 총 24문항으로 각 5점 리커트 척도로 측정하였다.
각 항목의 총점은 가독성을 높이기 위해 5점 척도로 변환하여 환산하였고 점수가 높을수록 애플리케이션의 질이 높은 것을 의미한다. 선행연구[14]에서 Cronbach's alpha 값은 모든 요인에서 0.7이상으로 나타나 양호하였으며, 본 연구에서 도구의 신뢰도는 시스템의 질 0.930, 정보의 질 0.958, 서비스의 질 0.942, 사용자 만족도 0.956, 실제 사용 0.905이었으며 도구 전체 신뢰도는 0.908이었다.
3) ‘CAMBRA-kids’ 애플리케이션 효용성 평가
애플리케이션의 효용성은 김[16]이 개발한 건강관리용 애플리케이션을 평가하는 도구로 평가하였다. 도구는 콘텐츠, 인터페이스 디자인, 기술 요인으로 구성되어 있는데, 3개의 하위요인은 콘텐츠에 정확성, 이해성, 객관성 9문항, 인터페이스 디자인에서 디자인 일관성, 디자인 적합성, 어휘의 정확성 11문항, 기술에서 보안 3문항으로 이루어져 있다. 본 연구에서는 기술요인 하위항목 중 보안 요인에서 본 연구에서는 다소 어려운 문구이고 필요한 설문 문항이 아닌 “보안시스템 관련 설명”을 제외하고 본 연구의 목적에 맞게 문구 등을 수정하여 사용하였다.
평가도구는 4점 척도로 이루어져 있으며, 각 항목의 총점은 가독성을 높이기 위해 5점 척도로 변환하여 환산하였고, 점수가 높을수록 효용성이 높음을 의미한다. 김[16]의 연구에서 Cronbach's alpha 값은 도구 전체의 신뢰도는 0.905으로 양호하였으며, 본 연구에서 도구의 신뢰도는 콘텐츠 0.819, 인터페이스 디자인 0.869, 기술 0.923이었고 도구 전체의 신뢰도는 0.966이었다.
4) ‘CAMBRA-kids’ 애플리케이션 사용성 평가
사용성 평가를 위해 사용자 전용 모바일 앱 등급 척도(Mobile App Rating Scale; user version, uMARS)[15,22]를 Byun[15]이 번안하여 사용한 도구를 이용하여 평가하였다. uMARS 도구는 전문가용 도구보다 쉬운 용어로 구성되어있으며, 참여(Engagement) 5문항, 기능성(Functionality) 4문항, 심미성(Aesthetics) 3문항, 정보(Information) 4문항, 주관적인 앱의 질(Subjective quality) 4문항의 총 20문항으로 5점 리커트 척도로 구성되어있다. 각각의 하위 영역에서 평균 점수를 계산하여 애플리케이션의 사용성을 평가하였으며 하위 항목 중 애플리케이션의 장·단점 등을 기입하는 주관식 평가는 평균이나 도표로 산출하였다[15,22].
도구 개발시[22] uMARS의 도구 전체의 Cronbach's alpha 값은 0.900으로 양호하였으며, 본 연구에서는 Cronbach's alpha 값은 참여 0.733, 기능성 0.761, 심미성 0.782, 정보 0.767, 주관적인 앱의 질 0.702이었고 전체적인 도구의 신뢰도는 0.813이었다.
3. 분석방법
수집된 자료는 R studio 1.2.1335 for Window(RStudio Inc., Boston, MA, USA, 2018)를 이용하여 분석하였다. 영유아 보호자의 일반적 특성인 연령, 최종학력, 취업상태, 자녀 수, 구강관련 스마트폰 사용경험, 하루 평균 스마트폰 사용시간에 따른 애플리케이션의 질과 효용성에 대한 차이는 비모수 검정인 Kruskal-Wallis 검정과 Wilcoxon rank sum 검정을 이용하여 분석하였다. 우식 위험군에 따른 애플리케이션의 질과 효용성은 비모수 검정인 Kruskal-Wallis 검정을 이용하였고 사후검증은 Holm-Bonferroni test를 이용하였다. 전문가와 사용자의 사용성 평가는 기술통계 분석하였다. 통계학적 유의검정 수준은 0.05를 기준으로 하였다.
연구결과
1. 애플리케이션의 질 평가
‘CAMBRA-kids’ 애플리케이션의 질 평가 점수를 기술 통계한 결과는 <Fig. 1>과 같다. 전반적으로 3점 이상으로 나타나 사용자 대부분이 앱의 질을 높게 평가한 것으로 나타났다. 앱의 기능과 연관된 시스템의 질이 5점 만점에 3.68점으로 가장 높았고 사용자의 실제 사용이 5점 만점에 3.10점으로 가장 낮았다.
2. 보호자의 일반적 특성에 따른 애플리케이션 질의 차이
영유아 보호자의 일반적 특성에 따른 애플리케이션 질의 차이에 대한 결과는 다음과 같다 <Table 1>. 연령, 학력, 고용 형태, 자녀 수, 구강관련 앱 사용 경험, 하루평균 스마트폰 사용시간에 따라 시스템의 질, 정보의 질, 서비스의 질, 만족도, 실제 사용은 통계적으로 유의한 차이가 없었으나, 5개의 요인 모두 평균 점수가 대체적으로 높게 나타났다.
|
Table 1. ‘CAMBRA-kids ’ application quality according to general characteristics 
|
|
* by Wilcoxon rank sum test, Kruskal wallis rank sum test |
3. 영유아의 우식 위험군에 따른 애플리케이션 질의 차이
영유아 아동의 우식 위험군에 따른 애플리케이션의 질에 대한 결과는 <Table 2>와 같다. 실제 사용에 대한 항목을 제외한 아동의 우식 위험군에 따라 시스템의 질, 정보의 질, 서비스의 질, 만족도 등 앱의 질 총점에서 통계적으로 유의한 차이가 나타났다(p<0.05). 모든 항목에서 초고위험군에 해당하는 아동의 보호자가 앱의 질을 높게 평가하였고, 실제 사용을 제외한 나머지 항목에서 중위험군에 해당하는 보호자가 앱의 질을 가장 낮게 평가하였다.
|
Table 2. ‘CAMBRA-kids ’ application quality according to caries risk group 
|
|
* by Kruskal-Wallis test ab The same superscript letter indicates the same subgroup by post-hoc holm-bonferroni test |
요인별 그룹 간의 차이는 시스템의 질에서 저위험군과 고위험군 사이에 통계적으로 유의한 차이가 있었고(p<0.05) 저위험군이 고위험군 보다 시스템의 질을 높게 평가하였다. 정보의 질에서 저위험군은 중위험군과 고위험군 사이에 통계적으로 유의한 차이가 있었고(p<0.05) 초고위험군은 고위험군과 중위험군 사이에 통계적으로 유의한 차이가 있었다(p<0.05). 저위험군과 초고위험군은 중위험군과 고위험군에 비해 정보의 질에 대한 만족도가 높게 나타났다. 만족도에서는 저위험군과 고위험군 사이에 통계적으로 유의한 차이가 있었으며 저위험군이 고위험군에 비해 만족도가 높게 나타났다.
4. 애플리케이션의 효용성 평가
‘CAMBRA-kids’ 애플리케이션의 효용성 평가 점수를 기술 통계한 결과는 <Fig. 2>와 같다. 전반적인 평균 점수가 3점 이상으로 높게 나타나 사용자 대부분이 앱의 효용성을 좋게 평가한 것으로 나타났다. 기술적 측면이 5점 만점에 3.20점으로 가장 높았고 구강건강관련 정보와 연관된 콘텐츠가 5점 만점에 3.10점으로 가장 낮았다.
6. 영유아의 우식 위험군에 따른 애플리케이션의 효용성 차이
영유아 아동의 우식 위험군에 따른 애플리케이션의 효용성에 대한 결과는 다음과 같다<Table 3>. 아동의 우식 위험군에 따라 콘텐츠, 인터페이스 디자인, 기술, 애플리케이션의 효용성에서 모두 통계적으로 유의한 차이가 있었다(p<0.05). 아동이 초고위험군에 해당하는 보호자가 콘텐츠, 인터페이스 디자인, 기술, 애플리케이션의 효용성을 가장 높게 평가하였고, 아동이 중위험군에 해당하는 보호자가 콘텐츠, 인터페이스 디자인, 기술 및 애플리케이션의 효용성을 가장 낮게 평가하였다.
|
Table 3. ‘CAMBRA-kids ’ application quality according to caries risk group 
|
|
* by Kruskal-Wallis test ab The same superscript letter indicates the same subgroup by post-hoc holm-bonferroni test |
콘텐츠 요인에서 초고위험군과 중위험군사이에 통계적으로 유의한 차이가 있었으며(p<0.05), 초고위험군이 애플리케이션의 콘텐츠에 대해 더 유용하다고 평가하였다. 인터페이스 디자인에서는 저위험군과 중위험군사이에 통계적으로 유의한 차이가 있었으며(p<0.05) 중위험에 저위험군이 인터페이스 디자인을 더 유용하다고 평가하였고, 기술에서는 중위험군과 고위험군 사이에 통계적으로 유의한 차이가 있었고(p<0.05), 고위험군이 저위험군에 비해 기술적인 측면(보안)이 우수하다고 평가하였다.
애플리케이션의 효용성에서는 저위험군과 중위험군, 중위험군과 초고위험군 사이에 통계적으로 유의한 차이가 있었으며 중위험에 비해 초고위험군과, 저위험군이 애플리케이션의 효용성이 더 높다고 평가하였다.
7. 애플리케이션의 사용성 평가
애플리케이션에 대한 사용자용 모바일 앱 등급 척도(uMARS) 도구를 평가한 결과, 가장 낮은 점수를 받은 문항은 ‘참여’ 영역에서 1번 문항 ‘오락성: 앱을 사용하는 것이 재미있나요?’, ‘기능성’ 영역에서 6번 문항 ‘성능: 애플리케이션의 기능 요소와 구성요소(버튼, 메뉴)가 얼마나 정확하고 빠른가요?’, ‘주관적 품질’ 영역에서 ‘돈을 지불하고 이 애플리케이션을 사용할 생각이 있나요?’로 총 3개 문항이 1.54점을 받았다. 그 외 5개의 문항에서 2.0-2.9 사이의 낮은 점수를 받았고, 11개의 문항에서 3.0 이상의 평가 점수를 받았다<Table 4>.
4개의 하위 영역(참여, 기능성, 심미성, 정보)별 평균 점수를 살펴보면 ‘참여’ 영역이 평균 2.82점(56.31%)로 가장 낮은 점수를 받았다. 가장 높은 점수를 받은 하위 영역은 기능성으로 평균 3.63점이었고, 최대 점수 5점에서 72.69%에 해당하는 점수를 받은 것으로 나타났다. 전체적으로 개발된 ‘CAMBRA-kids’ 애플리케이션의 uMARS 도구를 사용한 사용성 평가 점수는 5점 만점에 3.25점이었다<Table 5>.
사용자별 uMARS 점수 및 앱에 대한 의견은 <Table 6>과 같다. uMARS 점수는 2.13-4.07 사이의 분포를 보였고, 주관적인 점수는 1.75-3.00으로 나타났다.
8. 애플리케이션 유지 보수
‘CAMBRA-kids’ 애플리케이션에 대한 사용성 평가를 통해 도출된 문제점인 구강건강관련 정보 부족에 대한 의견을 바탕으로 애플리케이션을 보수하고 해당 내용을 반영하였다. 또한, 선행연구에서 전문가 평가를 통해 도출된 문제점인 보안 취약성에 대한 내용도 보수를 진행하였다. 기존 애플리케이션은 방화벽인 ModSecurity만으로 보안성을 유지하고 있어 서버로 정보 전달할 때, 보안성이 취약하였는데 모바일 애플리케이션에서 사용자의 정보를 안전하게 서버로 전달하기 위해 SSL(Secure Socket Layer) Lite 보안 프로토콜을 설치하였고 게시판을 추가로 개설하여 치아우식증이나 영유아 구강검진 등과 같은 구강건강관련 정보를 애플리케이션에 게시하였다.
총괄 및 고안
본 논문은 영유아의 체계적인 치아우식 관리를 위해 개발된 ‘CAMBRA-kids’ 애플리케이션 내의 정보의 질이나 사용 중 발생하는 문제점을 파악하기 위해 사용자 평가인 애플리케이션의 질, 효용성, 사용성을 평가하였다.
사용자가 느끼기에 애플리케이션에 포함된 정보나 서비스의 품질이 좋은지를 평가하기 위해 질 평가를 시행하였고, 사용자가 생각하는 시스템의 가치나 만족도를 평가하기 위해서는 애플리케이션의 효용성 평가를 시행하였다. 평가결과, 애플리케이션의 질 평가에서 평균 점수가 약 3.44점으로 사용자 대부분이 앱의 질을 높게 평가하였다. 선행연구에서 평균 3.16점[14], 28개의 당뇨자기관리 모바일 앱[23]에 대해 평가한 연구에서 평균 3.00점인 것보다 높은 것으로 나타나 애플리케이션의 질이 준수한 것으로 평가하였다. 애플리케이션의 효용성 평가 점수 또한 전반적으로 3점 이상으로 높게 나타났고 사용자 대부분이 앱이 효용성이 있다고 평가하였으며 3.10-3.20의 분포를 보였다. 강 등[24]의 연구에서도 효용성에 대한 평가 결과가 3.50-3.90의 분포를 보인 것과 비슷한 결과를 보였으나 ‘CAMBRA-kids’ 애플리케이션의 효용성 점수가 더 낮게 나타났다. 이는 강 등[24]이 사용한 도구의 문항 수가 4문항으로 상대적으로 적어 점수가 더 높게 나타난 것으로 생각된다.
일반적 특성에 따른 애플리케이션의 질과 효용성은 모두 유의한 차이가 없었으나 평균 점수가 대체적으로 높아 다른 요소와는 상관 없이 영유아 보호자 대부분이 질과 효용성을 높게 평가한 것으로 나타났다. 심 등[25]의 연구에서도 사용자 특성에 따라 애플리케이션의 정보 품질에 대한 만족도 결과가 전부 유의하지 않았는데, 일반적 특성에 관계없이 점수가 대체적으로 높게 나타나 차이가 없는 것으로 보고되었다. 이는 ‘CAMBRA-kids’ 애플리케이션이 선행연구에서 조사한 모바일 건강관리 애플리케이션보다 사용하기 쉽고 좀 더 가치 있게 평가하여 나타난 결과라고 보여진다.
위험군에 따른 애플리케이션의 질과 효용성은 모든 항목에서 초고위험군과 고위험군에 해당하는 보호자가 앱의 질을 높게 평가하였고, 나머지 항목에서 중위험군에 해당하는 보호자가 앱의 질을 가장 낮게 평가하였다. 이는 구강건강상태가 나쁠수록 구강보건교육 요구도가 높아진다는 선행연구결과[26]와 유사하며 애플리케이션 상에서 우식 위험도가 높을수록 구강건강상태가 좋지않아 구강건강에 대한 관심도가 높아져 구강건강정보를 얻을 수 있는 매체에 대한 요구도가 높아지기 때문이라고 생각된다.
애플리케이션 사용과정 중에 발생하는 문제점과 학습 용이성, 애플리케이션에 대한 주관적인 흥미나 느낌에 대해 알아보기 위해 uMARS 도구를 이용하여 사용성을 평가하였다. 사용성은 전체적으로 평균 3.25점을 받았다. 본 논문과 동일한 도구를 사용한 선행연구[15,27]에서 3.67점, 3.33-4.80점을 받은 것과 비교하였을 때는 낮은 점수를 받았지만, 장 등[28]은 사용성 평가 점수를 보통(3.0점)을 기준으로 앱의 사용성 3.0점 이상일 때 만족스러운 수준이라고 평가하였다. 또한, uMARS 도구 개발자[22]는 1점은 부적절, 2점은 부족함, 3점은 수용 가능/ 적절함, 4점은 우수, 5점은 매우 우수함이라고 하였다. 이를 기준으로 본 연구에서 ‘CAMBRA-kids’ 애플리케이션을 평가하였을 때, 3.25점으로 3.0점보다 높은 점수를 받아 전반적으로 만족스러운 수준이며 수용 가능한 것으로 나타났다. uMARS 도구의 하위 영역인 참여, 기능성, 심미성, 정보별 점수에서는 ‘참여’ 영역이 평균 2.82점으로 가장 낮은 점수를 받았고 ‘기능성’ 영역이 평균 3.63점으로 가장 높은 점수를 받았는데, 변[15]의 연구에서도 ‘참여’ 영역이 가장 낮은 점수를 받았고 ‘기능성’ 영역이 가장 높은 점수를 받아 동일한 결과를 보였다. Chinn 등[29]과 Li 등[30]의 연구에서도 조사한 애플리케이션들도 대부분 ‘기능성’ 영역이 높은 점수를 받았고 ‘참여’ 영역이 대체적으로 낮은 점수를 받았는데, 전반적인 건강관리 애플리케이션이 기능성에 치중하고 사용자의 흥미를 이끌어낼 수 있는 부분이 부족하여 참여 부분은 상대적으로 낮게 평가되어 개선의 여지가 많다고 보고하였다. 본 연구에 참여한 사용자 대부분이 영유아의 구강관련 정보와 메뉴가 부족한 것에 대해 동일한 지적을 하였다. 이러한 결과를 토대로 유지보수단계에서 구강건강관련 게시판을 추가하였고 영유아의 구강건강에 관련된 정보를 게시하였다. 또한 선행연구[5]에서 전문가 평가를 통해 제시되었던 보안성관련 문제도 SSL(Secure Socket Layer) Lite 보안 프로토콜을 설치하여 개선하였다.
본 연구를 진행한 결과, ‘CAMBRA-kids’는 소아 우식관리를 위한 애플리케이션의 질과 사용성 및 효용성이 대체적으로 양호하게 나타나 애플리케이션에 대한 사용성이 입증되었으며 향후 영유아 치아우식관리 분야에서 유용하게 활용될 수 있을 것으로 기대된다. 그러나 연구에 참여한 대상자의 수가 상대적으로 적어 일반화시키기에 부족함이 있고, 콘텐츠가 단조로운 지적이 있었다. 이에 후속연구에서는 보다 다양한 콘텐츠를 제공할 수 있도록 정기적인 업데이트를 실시해야 하며, ‘CAMBRA-kids’ 애플리케이션을 실제로 구강관리프로그램에 적용하여 애플리케이션을 통한 영유아 우식관리 효과에 대한 평가가 이루어져야 할 것이다.
결론
본 연구는 CAMBRA 모델을 기반으로 소아 우식관리를 위해 개발된 ‘CAMBRA-kids’ 애플리케이션 내의 정보의 질이나 사용 중 발생하는 문제점을 평가하기 위해 사용자 평가를 하여 사용자의 의견과 애플리케이션이 유용한지에 대해 평가하였다.
연구를 통해 얻은 결론은 다음과 같다.
1. 사용자 평가 중 애플리케이션의 질과 효용성은 3점 이상으로 나타나 사용자 대부분이 앱의 질과 효용성을 높게 평가한 것으로 나타났다. 앱의 질에서 시스템의 질이 3.68점으로 가장 높았고 사용자의 실제 사용량이 3.10점으로 가장 낮았다. 앱의 효용성은 기술적 측면이 3.20점으로 가장 높았고 구강건강관련 정보와 연관된 콘텐츠가 3.10점으로 가장 낮았다.
2. 애플리케이션 사용자의 연령, 학력, 고용 형태, 자녀 수, 구강관련 앱 사용 경험, 하루평균 스마트폰 사용시간에 따라 애플리케이션의 질과 효용성은 통계적으로 유의한 차이가 없었다.
3. 우식 위험군에 따른 애플리케이션의 질과 효용성은 우식 위험군 간 통계적으로 유의한 차이가 나타났다(p<0.05). 모든 항목에서 초고위험군에 해당하는 보호자가 앱의 질과 효용성을 높게 평가하였고, 중위험군에 해당하는 보호자가 앱의 질과 효용성을 가장 낮게 평가하였다.
4. ‘CAMBRA-kids’ 애플리케이션의 uMARS 도구를 사용한 사용성 평가 점수는 5점 만점에 3.25점이었고 ‘참여’ 영역이 평균 2.82점(56.31%)로 가장 낮은 점수를 받았다. 가장 높은 점수를 받은 하위 영역은 기능성으로 평균 3.63점이었다.
본 연구에서 ‘CAMBRA-kids’ 애플리케이션의 평가결과를 종합해볼 때, 애플리케이션의 질, 효용성, 사용성이 전반적으로 준수한 수준을 보여 애플리케이션의 유용성과 사용성이 적합한 것으로 나타났다. 향후 소아의 체계적인 치아우식관리를 위해 ‘CAMBRA-kids’ 애플리케이션을 적극 활용한다면 우식 위험군에 따른 맞춤형 구강관리가 이루어질 것으로 보이며, 궁극적으로 소아의 구강건강증진에 기여할 수 있을 것이라 기대된다.
