Heuristics evaluation and development of the Caries Management by Risk Assessment (CAMBRA)-kids application for caries management of preschoolers

Original Article
강 유민  Kang Yu-Min  ,  이 수영  Lee Su-Young 

Abstract

Objectives: This study aimed to develop the CAMBRA-kids application for the systematic management of dental caries among preschoolers, activate the dental caries management system, and contribute to the dental caries management of preschoolers. Methods: The collected data were analyzed using R studio 1.2.1335 for Windows (RStudio Inc., Boston, MA, USA, 2018). Algorithm evaluation, heuristic evaluation and usability evaluation were analyzed using descriptive statistics. Results: Both expert evaluations of the application’s algorithms were calculated as 100%, for proficiency and efficiency. The application worked well with the designed algorithms, the risk group level of participants was categorized appropriately, and the risk management method was guided properly according to the risk group level. Of the five problems presented in the heuristic evaluation, 'the lack of security' and 'the lack of information on oral health care' received 'high severity' scores. The usability evaluation of the application produces an overall score of 3.27. In the subscales (participation, functionality, aesthetics, and information) of the Mobile App Rating Scale (MARS), the 'participation' domain received the lowest score of 2.56 and the 'functional' domain received the highest score of 3.70. Conclusions: The CAMBRA-kids application is expected to be applied and used in the field of preschoolers’ oral health care management, and to contribute to the prevention of dental caries of preschoolers by activating the dental caries management system using the application.

Keyword



서론

우리나라 만 5세 아동의 평균 유치우식유병율은 31.9%(2015)[1]로 나타났지만 미국은 만 2-5세 유치우식유병율이 17.7%(2015-2016)[2], 영국은 만 5세 아동의 유치우식유병율이 26%(2013)[3,4]로 나타나 우리나라는 다른 선진 국가에 비해 우식유병율이 높은 것으로 나타났다. 만 6세 미만 아동의 구강병 중 유아기 치아우식증(Early childhood caries, ECC)을 예방하기 위한 대안이 개발되고 있지만, 대부분 외과적으로 제거하고 수복하는 방식에서 벗어나지 못하고 있다[5,6]. 또한, 예방 진료는 불소를 이용한 처치와 칫솔질 교육 등으로 모든 환자에게 획일적으로 시행하고 있는 실정이다[5].

반면, 미국을 비롯한 선진 국가에서는 개인의 우식위험도를 평가하고, 위험 수준을 바탕으로 임상 가이드라인에 따라 체계적으로 치아우식을 관리하는 개념인 CAMBRA(Caries management by risk assessment)를 소개하고 임상에서 적극 활용할 것을 권장하고 있다[7]. 2003년 미국 캘리포니아 치과의사회에서 최초로 발표한 CAMBRA 모델은 우식위험평가(Caries risk assessment, CRA) 양식과 임상 가이드라인으로 구성되어 있고 연령은 만 0-5세와 만 6세-성인과 같이 두 집단으로 구분되어 있다[8,9]. CAMBRA 모델은 개인의 치아우식 위험도를 과학적인 근거에 따라 4가지 위험군(초고위험, 고위험, 중위험, 저위험)으로 분류하고 각 군에 적합한 맞춤형 치료법을 제공하는 환자 중심의 우식 관리 시스템이다[8]. CAMBRA 모델은 치아우식증에 이환될 위험이 높은 고위험군 및 초고위험군 아동에게 필수적인 방법으로 고려되고 있어, 국내에서도 이[10]가 소아치과에서 CAMBRA 모델을 간단하게 응용한 내용을 처음 소개한 이후 지난 10년간 전문가를 대상으로 한 교육의 필요성 및 치과 임상현장에서 CAMBRA 모델 적용에 대해 강조하고 있지만, 국내 치과계에서는 인식 부족과 교육의 부재 등의 이유로 널리 시행되지 못하고 있다[5,7]. 또한, 기존 CAMBRA 모델에서 만 5세 미만을 대상으로 하는 우식위험 평가도구는 부모 면담을 통한 설문을 진행하기 때문에 많은 인력과 시간이 소요되고 참여율과 설문 회수율이 떨어지는 단점이 있었다[11]. 선행연구에서 지면으로 시행되는 검진의 경우 많은 부모들이 검진표 수령과 내용 이해에 불편함을 느꼈다고 하였다[12]. 이러한 단점 때문에 최근에는 모바일 애플리케이션을 이용한 검진 도구 및 교육 매체 개발이 활발하게 이루어지고 있다. 우 등[13]의 연구에서 검진 애플리케이션을 개발하고 평가한 결과, 지면으로 검진을 시행했을 때보다 앱을 이용했을 때 검진 소요시간이 유의하게 감소하였고 구강검진기록이 편리하며 여러 구강관련 지표를 신속하게 산출할 수 있어 앱의 유용성이 입증되었다. 또한, 정 등[14]은 모바일 애플리케이션은 학습자들이 원하는 시간과 장소에서 활용할 수 있어 효과적인 학습 도구라고 하였고 김과 이[15]의 연구에서는 부모들이 영유아를 대상으로한 교육용 애플리케이션에 긍정적인 인식을 가지고 있으며 영유아의 구강 특성 및 연령에 적합한 스마트폰 애플리케이션 개발을 통해 영유아기에 올바른 구강건강 관리습관이 형성할 수 있도록 애플리케이션 개발에 대한 필요성을 제기하였다. 따라서 모바일 애플리케이션을 이용하면 시간적 여유가 없는 보호자에게 장소와 시간 제약 없이 정보를 제공할 수 있으며, 영유아 구강검진 및 관리에 대한 관심과 참여를 향상시킬 것으로 기대된다[15-17].

이러한 건강관련 애플리케이션은 실제로 사용성이 양호한지에 대해 적절한 평가가 이루어져야하는데, 미국 식품의약품 안전청에서는 건강관련 모바일 애플리케이션 개발을 장려하며 이에 따른 애플리케이션의 안전성과 사용성 및 효과에 대해 평가할 것을 권고하고 있다[18]. 장과 지[19]는 애플리케이션을 개발할 때, 전문가 평가를 시행하지 않고 개발했을 경우 사용성 및 사용자 만족도가 낮게 평가되었고 개발단계에서 전문가 평가를 시행한 후 사용자 평가를 하였을 때 사용성 및 만족도가 크게 향상되었다고 하였다. 따라서 개발단계부터 사용성 문제를 찾아낼 수 있는 휴리스틱 평가방법을 사용하도록 권고하였다[19]. 또한, Nielsen[20]에 의해 제안된 비용-효과적인 휴리스틱 방법은 한 사람의 전문가만으로도 빠르고 효율적으로 애플리케이션을 평가할 수 있다고 보고하였다. 그러나 현재 국내에서 영유아의 치아우식증과 직접적으로 관련된 앱도 4종으로 소수에 불과하며, 대부분 칫솔질 방법이나 타이머, 치아관련 동화, 충치치료 게임, 치아우식증의 정의 및 단순한 지식 전달에 대한 것으로 영유아를 위한 체계적인 치아우식관리 애플리케이션이 개발되지 않았다. 또한, 이와 관련된 애플리케이션의 기능이나 사용성에 대해 대부분 전문적인 평가를 받지 않고 무분별하게 개발하고 있는 실정이다.

이에 본 연구에서는 아동의 우식위험을 평가하고 체계적으로 치아우식을 관리할 수 있는 CAMBRA-kids 애플리케이션을 개발하고, 애플리케이션의 시스템적인 측면과 사용성을 검증하기 위해 전문가 평가를 실시하여 애플리케이션의 타당성을 확보하고 궁극적으로 CAMBRA-kids 애플리케이션을 통한 영유아 치아우식관리 시스템을 활성화하고자 한다.

연구방법

1. 연구대상

본 연구는 00대학교 연구윤리위원회의 심의를 거쳐 승인(NSU-201811-005)을 받은 후 2018년 11월부터 2019년 04월까지 진행하였다. 연구 대상자는 의료 정보학관련 전문가 1인, 컴퓨터 관련 학문 전공 전문가 2인, 치위생학 전공자 2인 등 총 5명의 전문가로 선정되었다. 의료정보학을 이수한 전문가 1인과 CAMBRA 프로그램에서 우식 위험도와 관리방법 등이 올바르게 매칭되는지 평가하기 위해 CAMBRA 프로그램에 대해 숙지하고 있는 경력 5년 이상의 석사학위를 소지한 치위생학 전공자 1인이 알고리즘 평가를 시행하였다. 휴리스틱 평가 및 사용성 평가는 의료정보학을 이수한 전문가 1인과 컴퓨터 관련 학문(응용 소프트웨어)전공 2인, 경력 5년 이상의 석사학위를 소지한 치위생학 전공자 1명과 치위생학과 교수 1명, 총 5인의 전문가를 대상으로 하였으며 선행연구에서 전문가 3~5명을 대상으로 한 것을 근거로 하였다[16,17].

2. 연구도구

1) 알고리즘 평가

알고리즘 평가는 알고리즘에 따라 우식 위험군이 적절하게 배정되는지 여부와 우식 위험군에 따라 본 연구에서 개발한 한국형 CAMBRA 프로그램의 관리방법과 모바일 앱에서 제공하는 관리방법과의 일치도를 비교·평가하였다[21].

CAMBRA-kids 애플리케이션의 알고리즘에서 사용자가 보고 실행할 수 있는 A 영역과 애플리케이션 상에서 우식 위험군과 관리방법이 배정되는 B 영역을 평가하였으며, 각 영역에서 화살표에 따라 설계된 알고리즘대로 명령이 이행되는지에 따라 +1점, 0점, -1점의 점수를 매겼다. 우식 위험군 배정과 관리방법은 전문가가 서면으로 안내된 우식 위험군 배정법에 따라 애플리케이션 상에서 테스트를 진행하였다. 성능도는 우식 위험군 배정이 올바르게 되며 위험도에 따른 관리방법이 모두 일치하는 경우 +1점, 두 항목 중 하나만 될 경우 0점, 우식 위험군 배정이 올바르게 되지 않고 위험도에 따른 관리방법이 일치하지 않을 경우 –1점을 부여하였다. 능률도의 경우 모두 일치하는 경우의 +1점만 합산하여 평가하였다. 성능도 점수와 능률도 점수는 <Fig. 1>과 같이 계산하였다[22].

http://dam.zipot.com:8080/sites/KSDH/images/N0220190403_image/Figure_KSDH_19_04_03_F1.jpg

Fig. 1. Equation of the proficiency and efficiency

2) 휴리스틱 평가

애플리케이션의 기술적 오류나 문제점을 평가하기 위해 한국어 버전의 모바일 휴리스틱 도구를 사용하였다[16,23,24]. 휴리스틱 평가도구는 기존의 10가지 원칙[20]을 8가지 원칙으로 수정한 도구를 사용하여 평가하였으며[24], 8가지 원칙은 애플리케이션의 가시성, 실제 세계에 대한 반영성, 일관성 및 연결성, 인체공학적인 디자인, 화면의 가독성과 입력 편이성, 사용자 설정의 유용성 및 효율성, 감성적인 측면과 오류 관리 등으로 구성되어있다[16,23,24].

본 연구에서 선정한 5인의 전문가들에게 모바일 휴리스틱 평가도구를 소개하고, CAMBRA-kids 모바일 애플리케이션을 설치하도록 안내하였다. 그 후 8개 원칙에 따라 휴리스틱 문제와 심각성 점수를 평가하였다. 2명 이상의 전문가가 같은 휴리스틱 문제를 제기하거나, 한 명의 전문가가 제시한 심각성 수준이 4점 이상인 경우 앱 수정에 반영하였다[16,23,24].

3) CAMBRA-kids 애플리케이션 사용성 평가

CAMBRA-kids 애플리케이션 사용성 평가는 Stoyanov 등[25]이 개발한 모바일 앱 등급 척도(Mobile app rating scale, MARS)를 변[17]이 번안한 도구를 이용하여 평가하였다. MARS는 뉴질랜드 보건복지부에서 건강관련 애플리케이션을 개발하고 평가할 때 사용하라고 권고하고 있다[26]. MARS는 애플리케이션의 사용성뿐만 아니라, 애플리케이션의 질을 측정할 수 있고 개발 과정 중 평가할 경우, 문제점을 발견하고 수정할 수 있도록 개발되었다. MARS는 참여 5문항, 기능성 4문항, 심미성 3문항, 정보 7문항, 주관적인 앱의 질 4문항으로 총 23문항이고 5점 리커트 척도로 구성되어 있다[17,25]. 각각의 하위 영역에서 평균 점수를 계산하여 애플리케이션의 사용성을 평가하였다. 하위 항목 중 애플리케이션의 장·단점 등을 기입하는 주관식 평가는 평균이나 도표로 산출하였다[17,25].

도구 개발시[25] MARS의 Cronbach's alpha 값은 참여 0.890, 기능성 0.800, 심미성 0.860, 정보 0.810, 주관적인 앱의 질 0.930이었으며 전체적인 도구의 신뢰도는 0.900이었고 급내 상관계수(Intraclass correlation coefficient, ICC)는 0.790이었다. 본 연구에서 Cronbach's alpha 값의 기준점은 0.700으로 하였고 세부항목별 신뢰도 값은 참여 0.790, 기능성 0.812, 심미성 0.782, 정보 0.810, 주관적인 앱의 질 0.902이었고 전체적인 도구의 신뢰도는 0.795이었으며, 급내 상관계수(ICC)는 0.733이었다.

3. 연구절차

1) CAMBRA-kids 애플리케이션 개발

본 연구의 애플리케이션 개발은 소프트웨어 개발 생명주기 방법론(System Development Life Cycle)의 폭포수 모델(Waterfall Model)을 사용하였다[27]. 폭포수 모델은 순차적으로 소프트웨어를 개발하는 전형적인 모델로 가장 많이 사용되고 있다[27]. 각 단계는 요구분석(Requirement)-설계(Design)-구현(Implementation)-평가(Evaluation)로 구성되어있다.

(1) 요구 분석

분석 단계는 CAMBRA-kids 애플리케이션 내용구성을 위해 영유아 구강관리용으로 개발된 애플리케이션 및 문헌 등을 검색하고 분석하는 과정이다. 문헌 분석에서는 국내˙외에서 출판된 논문이 적어 총 5편의 논문을 분석하였다. 학부모 구강보건교육 요구도 관련 문헌 1편[28], 구강관리 애플리케이션관련 국내˙외 문헌 3편[15,29,30]을 분석하였다.

영유아 보호자를 대상으로 구강보건교육 요구도를 조사한 선행연구[28]에서는 학부모의 70.2%가 구강보건교육이 매우 필요하다고 하였으며, 치아우식 위험도에 따른 체계적 관리의 필요성에 대해 대부분 ‘매우 그렇다’로 답변하였고 치아우식 예방에 대한 교육과 우식관리 내용에 대한 통보 방법은 ‘서면(37.7%)’과 ‘모바일 어플리케이션(33.5%)’, ‘1:1면담(16.3%)’의 순서로 요구하여, 애플리케이션에 대한 긍정적인 답변이 나타났다.

김과 이의 연구[15]에서도 영유아의 구강보건교육 매체로서 모바일 애플리케이션을 이용하는 것에 대해 긍정적인 인식이 많았으며, 영유아를 위한 구강보건교육용 모바일 애플리케이션 개발을 통해 영유아의 올바른 구강건강 관리습관 형성에 기여해야한다고 하였다.

Alqarni 등[29]의 연구에서는 유아의 구강건강 관리에 대한 지식을 제공하기 위해 만들어진 애플리케이션을 사용한 이후 대다수 보호자들이 구강건강 지식이 유의하게 향상되었고 연구에 참여한 보호자 중 75%가 유아의 구강건강을 관리하는 도구로서 모바일 애플리케이션을 선호한다고 하였다. Chinn 등[30]의 연구에서 취약계층의 영유아 어머니를 대상으로 치아우식관련 애플리케이션을 소개하고 사용성과 유용성을 평가하였는데, 대부분의 연구 대상자들이 구강관리에 도움이 되며 매우 유용하다고 보고하였다.

국내의 영유아 치아우식관련 애플리케이션 현황을 조사하고자 2018년 6월 기준으로 앱 마켓 ‘구글 플레이 스토어‘에서 애플리케이션을 검색하였다. 검색어는 ‘어린이 구강관리, ‘어린이 치아우식증’ 으로 검색하였으며, 구강건강관리 및 치아우식증과 관련되지 않은 애플리케이션들은 제외시켰다. 검색 결과 ‘어린이 구강관리’의 경우 총 248종 ‘어린이 치아우식증’의 경우 총 233종이 검색되었다. 이 중 중복된 애플리케이션, 영유아나 구강과 거리가 먼 애플리케이션을 제외하면 79종이 남았다. 이 중 ‘어린이 구강관리’ 및 ‘어린이 치아우식증’에 관한 국내 애플리케이션은 20개로 나타났으며, 치아우식증을 직접적으로 다루는 게임 앱은 4종으로 나타났다. 이외는 대부분 칫솔질 방법이나 타이머, 치아관련 동화, 구강건강관련 정보였고 그 외 나머지는 충치치료 게임, 치아우식증의 정의 및 단순한 지식 전달에 대한 것으로 나타났다.

(2) 설계

설계 단계에서는 CAMBRA-kids 애플리케이션을 개발하기 위해 다음과 같이 애플리케이션의 전체 구성도, 애플리케이션에서 활용되는 데이터, 애플리케이션이 동작하는 프로세스, 애플리케이션과 사용자의 상호작용을 위한 인터페이스(UI)를 설계하였다[16].

첫째, 모바일 애플리케이션의 전체 구성도 영역에서는 사용자의 스마트폰 내에서 동작하는 클라이언트 부분과 서버를 통하여 동작하는 부분을 나누어 설계하였다.

둘째, 프로세스 영역에서는 영유아의 치아우식 위험도 산출 및 관리방법을 제공하기 위한 규칙을 컴퓨터가 인식할 수 있는 알고리즘 형태로 설계하였다.

셋째, 사용자 인터페이스 영역에서는 대상자가 모바일 애플리케이션을 사용할 때 화면 간의 이동을 최소화하기 위해 애플리케이션의 메뉴 구성을 설계하였고 모바일 애플리케이션을 사용 시 집중도가 높아질 수 있도록 사용자의 편의에 맞게 화면을 디자인하였다.

(3) 구현

모바일 애플리케이션은 안드로이드 버전과 iOS 버전으로 구분하여 개발하였는데, 안드로이드 버전은 Eclipse Mars.2 ver.4.5.2(IBMCo., Armonk, NY, USA, 2016)과 Android Development Toolkit ver. 24.2.0.20160729(GoogleCo., CA, USA, 2018)를 사용하여 개발하였고, iOS 버전은 Xcode 10.2(AppleCo., CA, USA, 2018)를 이용하여 개발하였다. 서버는 Linux 기반으로 구현하였다. 데이터베이스는 개방 소스를 사용한 관계형 표준 데이터시스템인 MySQL 5.x를 이용하여 구조화 질의어인 SQL(Structured Query Lite)을 사용하였고 시스템 언어는 JAVA와 PHP를 이용하여 구현하였다. 또한, 모바일 애플리케이션에서 사용자의 정보를 안전하게 서버로 전달하기 위하여 ModSecurity 방화벽을 사용하였다.

CAMBRA-kids 애플리케이션은 본 연구자가 설계한 내용을 기반으로 개발업체(GodwebsCo., Cheonan, South Korea)의 도움을 받아 2018년 7월부터 2018년 10월까지 개발하였고 구글 플레이스토어에 ‘CAMBRA-kids’, ‘캠브라 키즈’로 등록하였다.

(4) CAMBRA-kids 애플리케이션 전문가 평가

애플리케이션 평가는 소수의 전문가가 애플리케이션의 시스템적인 오류나 그래픽에 대한 평가를 진행하는 휴리스틱 평가를 하였다. 또한, 애플리케이션 사용과정 중 애플리케이션이 효율적이고 정확하게 작동하는지와 학습 용이성을 알아보고 애플리케이션에 대한 주관적인 흥미나 느낌이 어떤지에 대해 알아보기 위해 사용성 평가를 하였다.

4. 분석 방법

수집된 자료는 R studio 1.2.1335 for Window(RStudio Inc., Boston, MA, USA, 2018)를 이용하여 분석하였다. 알고리즘 평가는 제시된 성능도와 능률도 수식을 이용하여 산출하였고, 휴리스틱 평가는 전문가별로 표에 심각성 점수를 나열하여 2명 이상의 전문가가 같은 휴리스틱 문제를 제기하거나, 한 명의 전문가가 제시한 심각성 수준이 4점 이상인 경우를 찾아내어 평가하였다. 사용성 평가는 기술통계 분석을 이용하여 각 영역별 평균과 표준편차를 산출하여 분석하였다.

연구결과

1. CAMBRA-kids 애플리케이션 구현

1) CAMBRA-kids 애플리케이션 화면

CAMBRA-kids 애플리케이션의 화면은 <Fig. 2>와 같이 구현하였다. 초기화면은 전체적으로 파스텔톤 색감을 사용하여 밝은 분위기 연출하였고 CAMBRA-kids에 관련된 간략한 소개를 메인에 노출함으로써 사용자의 프로그램 이해도를 높일 수 있도록 하였다. 우식위험도 검사는 사용방법-위험요인검사-보호요인 순으로 검사할 수 있도록 한 화면에 배치하였고 우식위험평가의 세부내용은 <Table 1>과 같다. 사용방법을 읽은 후 위험요인과 보호요인을 ‘예’, ‘아니오’ 버튼을 눌러 답할 수 있도록 하였고, 설문 내용 중 어려운 용어는 빨간색으로 설정하고 클릭시 팝업창으로 자세한 설명을 볼 수 있도록 하였다.

사용자가 설문을 완료한 다음, 전문가가 질병지표 입력을 마무리하면, 우식위험군배정 알고리즘에 따라 저, 중, 고, 초고위험군으로 자동으로 분류되고 우식위험도 결과를 볼 수 있게 하였다. 우식위험도를 시각적으로 표현하기 위해 색깔별 막대로 표현하였고, 하단에 위험도와 그와 관련된 간략한 설명을 기재하였다. 또한, 우식위험도 검사 결과 조회 후 관리방법을 볼 수 있게 ‘충치관리방법 바로가기’ 버튼을 삽입하였다. 위험도별 관리방법 화면은 위험도별로 구성하였고 상단에 치아 캐릭터를 넣어 시각적으로 아동의 위험도가 어떤 상태인지 쉽게 인식할 수 있도록 하였다. 관리방법 빨간색으로 설정하고 에 대한 설명은 개조식으로 구성하여 가독성을 높였다. ‘치아홈메우기’, ‘치약의 양’, ‘자일리톨 함유 음식’ 등은 글씨를 클릭시 팝업창으로 자세한 설명을 볼 수 있도록 하였다.

http://dam.zipot.com:8080/sites/KSDH/images/N0220190403_image/Figure_KSDH_19_04_03_F2.jpg

Fig. 2. Screens for the initial, examination and result page

Table 1. The Korean version of caries risk assessment form

http://dam.zipot.com:8080/sites/KSDH/images/N0220190403_image/Table_KSDH_19_04_03_T1.jpg

2. 애플리케이션 전문가 평가

1) 애플리케이션의 알고리즘 평가

CAMBRA-kids 애플리케이션의 알고리즘의 성능도와 능률도 점수를 계산한 결과, 전문가 A와 전문가 B는 각각 100% 점수를 주었다<Table 2>. 연구결과, 알고리즘은 설계된 대로 작동하였고 영유아의 위험군 수준도 알맞게 분류되었으며 위험군 수준에 따른 위험도별 관리방법이 알맞게 안내되는 것으로 나타났다.

Table 2. Evaluation of the algorithm

http://dam.zipot.com:8080/sites/KSDH/images/N0220190403_image/Table_KSDH_19_04_03_T2.jpg

2) 애플리케이션의 휴리스틱 평가

애플리케이션의 휴리스틱 평가 결과는 다음과 같다<Table 3>. 휴리스틱 문제는 평가자 2인 이상이 동일만 문제를 제기하거나 심각성 점수가 4점 이상인 것은 앱 수정 시 반영하기로 하였다. 휴리스틱 평가에서 발견된 휴리스틱 문제는 ‘가시성, 보안성, 추적가능성’ 항목에 해당하는 ‘보안 취약성’ 1개, ‘시스템과 실제세계 비교’ 항목에 해당하는 ‘용어의 어려움’ 1개, ‘인체공학적, 최소주의, 디자인’ 항목에 해당하는 ‘정보 부족’ 1개, ‘입력이 쉬움, 화면 가독성, 보기 쉬움’ 항목에 해당하는 ‘글자 보기 어려움’, ‘버튼이 잘 안보임’ 2개이었다. 제시된 총 5개의 문제를 심각성 수준이 높은 문제부터 나열한 결과, 총 2개의 휴리스틱 문제를 앱 수정시 반영해야하는 것으로 나타났다. 첫 번째 휴리스틱 문제는 ‘영유아의 구강건강관련 정보가 거의 없고 부족하여 일회성 이용으로 끝날 가능성이 크다.’이었고 두 번째 휴리스틱 문제는 ‘보안성이 취약하여 추가적인 보안 프로토콜 설치가 필요하다.’이었다.

Table 3. Heuristics problems with severity score of the CAMBRA-kids

http://dam.zipot.com:8080/sites/KSDH/images/N0220190403_image/Table_KSDH_19_04_03_T3.jpg

*that means the heuristic problems to apply when modifying the application

3) 애플리케이션의 사용성 평가

애플리케이션에 대한 사용성 평가인 MARS 결과, 가장 낮은 점수를 받은 문항은 ‘주관적 품질’ 영역에서 ‘돈을 지불하고 이 애플리케이션을 사용할 생각이 있나요?’로 총 1개 문항이 1.40점을 받았다. 그 외 8개의 문항에서 2.0-2.9 사이의 점수를 받았고, 10개의 문항에서 3.0 이상의 평가 점수를 받았다<Table 4>.

Table 4. MARS evaluation results: mean and standard deviation of each item

http://dam.zipot.com:8080/sites/KSDH/images/N0220190403_image/Table_KSDH_19_04_03_T4.jpg

4개의 하위 영역(참여, 기능성, 심미성, 정보)별 평균 점수를 살펴보면 ‘참여’ 영역이 평균 2.56점으로 가장 낮은 점수를 받았다. 가장 높은 점수를 받은 하위 영역은 ‘기능성’으로 평균 3.75점이었고, 최대 점수 5점에서 75.0%에 해당하는 점수를 받은 것으로 나타났다. 전체적으로 개발된 CAMBRA-kids 애플리케이션의 MARS 도구를 사용한 사용성 평가 점수는 5점 만점에 3.27점이었다<Table 5>. 전문가별 MARS 점수 및 앱에 대한 의견에서는 전반적으로 전문가들이 영유아의 구강관련 정보가 부족하여 추가적인 정보제공을 제언하였다<Table 6>.

Table 5. MARS evaluation results: mean and percentage by sub-category

http://dam.zipot.com:8080/sites/KSDH/images/N0220190403_image/Table_KSDH_19_04_03_T5.jpg

Table 6. MARS evaluation results by each expert

http://dam.zipot.com:8080/sites/KSDH/images/N0220190403_image/Table_KSDH_19_04_03_T6.jpg

총괄 및 고안

본 논문은 영유아의 체계적인 치아우식 관리를 위해 CAMBRA-kids 애플리케이션을 개발하고 애플리케이션의 기술적인 오류나 사용 중 발생하는 문제점을 평가하기 위해 전문가 평가인 알고리즘, 휴리스틱, 사용성을 평가하였다. 알고리즘을 평가한 결과, 성능도와 능률도가 100%로 높은 일치율을 보였는데 이는 Martins[21]의 연구에서 고혈압 환자에 대해 의사가 작성한 182건의 가이드라인과 시스템에서 권고해주는 가이드라인의 일치도를 비교한 결과 약 90%의 일치율을 보였고, 전[16]의 연구에서 당뇨병 환자를 대상으로 시스템에서 제공하는 권고 사항과 전문가가 선택한 권고 사항의 성능도와 능률도가 90-94%로 나타난 것과 비슷하게 높은 수준을 보였다. 다만, 선행연구의 경우 고혈압이 있는 환자가 기타 부작용과 다른 기저질환이 합해져 있는 경우가 많고 당뇨병의 경우에도 1형과 2형으로 분류되며 다른 복합적인 요소를 고려해야 하는 경우가 있어 안내되는 가이드라인의 수가 많아 8-10% 정도의 불일치율이 나타난 것과는 차이가 있었다. 본 연구의 경우, 알고리즘이 단순하고 CAMBRA 프로그램에서 우식 위험도별 가이드라인이 명확하게 정해져 있어 높은 일치율을 보인 것으로 사료된다.

휴리스틱 평가는 소수의 전문가로 애플리케이션의 시스템적인 오류나 그래픽에 대한 평가를 진행하는 것인데, 본 연구에서는 총 5명의 전문가가 애플리케이션에 대한 휴리스틱 평가를 시행하였다. 휴리스틱 평가에서 ‘가시성, 보안성, 추적가능성’ 항목에 해당하는 ‘보안 취약성’ 1개, ‘시스템과 실제세계 비교’ 항목에 해당하는 ‘용어의 어려움’ 1개, ‘인체공학적, 최소주의, 디자인’ 항목에 해당하는 ‘정보 부족’ 1개, ‘입력이 쉬움, 화면 가독성, 보기 쉬움’ 항목에 해당하는 ‘글자 보기 어려움’, ‘버튼이 잘 안임’ 등 총 5개의 문제가 제시되었는데, 이 중 보완이 필요한 심각성 수준이 높은 2문제는 ‘보안 취약성’과 ‘구강건강관련 정보가 부족하여 일회성 이용으로 끝날 가능성이 크다’ 문항이었다. 휴리스틱 평가의 경우 대부분의 연구에서 발견된 문제에 대하여 개선안을 제시하거나 실질적으로 앱을 개선하였다[16,31]. 전[16]의 연구에서는 혈당값을 입력하는 화면 디자인이나 버튼의 가시성, 보안성 등에 대한 수정을 요청받아 이를 애플리케이션에 반영하여 수정하였다. Reese 등[31]은 3개 학교의 도서관 앱에 대해 휴리스틱 평가를 진행한 후 인터페이스 디자인이나 화면 구성 등의 개선점을 도출하고 개선안을 제시하였고 Mohd 등[32]은 박물관 앱에 대한 휴리스틱 평가를 진행한 후 휴리스틱 원칙별로 문제점과 개선안을 제시하였다. 이 중 전[16]의 연구에서 애플리케이션의 보안에 대한 취약성을 제기한 것과 박 등[33]의 연구에서 다수의 전문가들이 정보 제공성에 대한 문제를 제기한 것은 본 연구에서 발견된 휴리스틱 문제와 동일하였다. 전[16]과 박 등[33]은 이 문제점들에 대해 보안성 강화와 화면 구성 등을 변경하여 애플리케이션을 개선하였고 이 후 사용자들을 대상으로 사용성 평가를 시행하여 사용자가 느끼는 불편사항과 정보 등을 파악하고 애플리케이션에 반영하였다. 본 연구에서 나타난 휴리스틱 문제인 ‘정보 부족’과 ‘보안 취약성’은 사용자가 이용하는데 있어 주요한 사안이므로 추후 애플리케이션 보수 시 반영해야 하는데, 현재 방화벽인 ModSecurity만으로 보안성을 유지하고 있으므로 모바일 애플리케이션에서 사용자의 정보를 안전하게 서버로 전달하기 위하여 SSL(Secure Socket Layer) Lite 보안 프로토콜을 설치하고 사용자 평가를 통해 사용자가 원하는 구강건강관련 정보를 파악하여 애플리케이션에 반영해야할 것으로 사료된다.

MARS 도구를 이용하여 애플리케이션 사용과정 중에 발생하는 문제점과 학습 용이성, 애플리케이션에 대한 주관적인 흥미나 느낌에 대해 알아보기 위해 사용성을 평가하였다. 사용성은 전체적으로 평균 3.27점을 받았다. 구강관련 앱을 대상으로 자세한 사용성을 평가한 연구가 없어 비교가 어렵지만, 본 논문의 연구도구와 동일한 도구를 사용한 선행연구[17,25]에서 3.67점, 3.63점을 받은 것과 비교하였을 때는 낮은 점수를 받았으나 선행연구[34]에서 혈압관리 앱을 평가한 결과 3.02점으로 나타나 본 연구보다 낮게 나타났다. 장 등[34]은 사용성 평가 점수 3.0점(보통)을 기준으로 3.0점 이상을 만족스럽다고 정의하여 앱의 사용성이 만족스러운 수준이라고 평가하였다. 이를 기준으로 CAMBRA-kids 애플리케이션을 평가하였을 때, 3.27점으로 3.0점보다 높은 점수를 받아 전반적으로 만족스러운 수준인 것으로 나타났다. MARS 도구의 하위 영역(참여, 기능성, 심미성, 정보)별 점수에서는 ‘참여’ 영역이 평균 2.56점으로 가장 낮은 점수를 받았고 ‘기능성’ 영역이 평균 3.75점으로 가장 높은 점수를 받았는데, 변[17]과 전[35]의 연구에서도 ‘기능성’ 영역이 가장 높은 점수를 받았고 ‘참여’ 영역이 가장 낮은 점수를 보여 동일한 결과를 보였다. Chinn[30]의 연구에서도 ‘기능성’ 영역이 높은 점수를 받았고 ‘참여’, ‘정보’ 영역이 낮은 점수를 받았는데, 전반적인 건강관리 애플리케이션이 기능성에 초점을 맞추고 있고 참여나 정보 부분에서는 상대적으로 부족하여 개선의 여지가 많다고 하였다. 또한, 김 등[36]의 연구에서는 앱이 상대적으로 단순하고 조작이 쉬워 처음에는 호기심에 하다가 이후에는 앱이 지루해지고 참여도가 떨어졌다고 하였다. 이는 본 연구의 MARS 도구 항목 중 애플리케이션에 대한 장·단점을 서술하는 항목에서 ‘정보가 빈약하고 일회성으로 끝날 가능성이 크다’는 의견과 일치하는 내용이다. CAMBRA-kids 애플리케이션도 선행연구의 문제점과 비슷한 양상을 보여 앱이 일회성으로 끝나지 않고 지속적으로 활용할 수 있도록 정보 부분에서 보완이 필요하고 후속 연구에서는 추가적인 사용자 평가를 통해 문제점을 발견하고 애플리케이션에 반영해야 할 것이다. 그럼에도 불구하고 본 연구에서 개발한 CAMBRA-kids 애플리케이션의 휴리스틱 평가결과와 사용성이 대체적으로 양호하게 나타났으며, 체계적으로 우식관리를 해주는 최초의 모바일 애플리케이션이라는 점에 의의가 있다. 추후 보완과정을 거쳐 애플리케이션을 활용한다면 사용자가 애플리케이션을 유용하게 사용할 수 있고 영유아 구강관리에 도움이 될 것이라 생각된다.

본 연구의 제한점과 제언은 다음과 같다. 연구 대상자 수가 상대적으로 적어 일반화시키기에 무리가 있어 후속 연구에서는 더 많은 수의 전문가와 사용자를 대상으로 연구해야 할 것이다. 또한, 전문가 평가만 진행하여 사용자에 대한 의견을 알 수 없었다. 후속 연구에서는 사용자에 대한 평가가 이루어져야 할 것이고 전문가 평가를 통해 나온 결론을 애플리케이션에 반영하고 보완해야 할 필요가 있다. 본 연구에서는 소프트웨어와 애플리케이션에 복합적으로 쓰이는 휴리스틱 원칙을 적용하여 평가하였는데 후속 연구에서는 모바일 애플리케이션 평가에 특화된 휴리스틱 원칙을 사용해야할 것으로 사료된다.

결론

본 연구는 영유아의 체계적인 치아우식 관리를 위해 CAMBRA-kids 애플리케이션을 개발하여 치아우식 관리시스템을 활성화하고 영유아의 치아우식 관리에 기여하고자 하였다. 연구를 통해 얻은 결론은 다음과 같다.

1. CAMBRA-kids 애플리케이션의 알고리즘의 성능도와 능률도를 계산한 결과, 평가자 A와 평가자 B 모두 각각 100%으로 나타났다. 애플리케이션이 설계된 알고리즘에 맞게 잘 작동하였고 영유아의 위험군 수준 또한 잘 분류하였으며 위험군 수준에 따라 위험도별 관리방법이 알맞게 안내되는 것으로 보고되었다.

2. 휴리스틱 평가에서 제시된 총 5개의 문제 중 심각성 수준이 높은 2문제는 ‘보안성이 취약하여 추가적인 보안 프로토콜 설치가 필요하다’와 ‘영유아의 구강건강관련 정보가 거의 없고 부족하여 일회성 이용으로 끝날 가능성이 크다’이었다.

3. 애플리케이션에 대한 사용성을 평가한 MARS 결과, 전체적인 점수는 5점 만점에 3.27점이었다. MARS 도구의 하위 영역(참여, 기능성, 심미성, 정보)별 점수에서는 ‘참여’ 영역이 평균 2.56점으로 가장 낮은 점수를 받았고 ‘기능성’ 영역이 평균 3.75점으로 가장 높은 점수를 받았다.

본 연구의 CAMBRA-kids 애플리케이션은 향후 영유아 우식관리 분야에서 응용되고 활용될 것으로 기대되며 애플리케이션을 활용하여 치아우식 관리시스템을 활성화시켜 영유아 치아우식증 예방에 기여할 것으로 기대된다.

Acknowledgements

본 논문은 한국연구재단의 연구비(과제번호: NRF- 2017R1C1B5077168)를 지원받아 수행하였음.

Conflicts of interest

The authors declared no conflict of interest.

References

1 Cho YS, Park DY, Choi YH, Lee BJ, Son CK. Korean children’s oral health survey(2015). Sejong: Ministry of health and welfare; 2016: 162. 

2 Fleming E, Afful J. Prevalence of total and untreated dental caries among youth: united states(2015–2016). NCHS Data Brief 2018;307:1-6. 

3 Frencken JE, Sharma P, Stenhouse L, Green D, Laverty D, Dietrich T. Global epidemiology of dental caries and severe periodontitis–a comprehensive review. J Clin Periodontol 2017;44(18):94-105. https://doi.org/10.1111/jcpe.12677 

4 Murray JJ, Vernazza CR, Holmes RD. Forty years of national surveys-an overview of children's dental health from 1973-2013. Br Dent J 2015;219(6):281-5. 

5 Cho YS. Clinical preventive dental and dental hygiene practice by caries management by risk assessment (CAMBRA). J Dent Hyg Sci 2012;12(6):545-57. 

6 Kim BI. Korean caries management by risk assessment(K-CAMBRA). Korean Dent Assoc 2014;52(8):456-63. 

7 Ramos-Gomez FJ, Kim YJ, Ng MW, Stephanie Y. New visions in pediatric dentistry keeping healthy teeth caries free-pediatric CAMBRA protocol. J Korean Acad Pediatr Dent 2013;40(1):73-80.  

8 Ramos-Gomez FJ, Crall J, Gansky SA, Slayton RL, Featherstone JD. Caries risk assessment appropriate for the age 1 visit(infants and toddlers). J Calif Dent Assoc 2007;35(10):687-702.  

9 Ramos-Gomez FJ, Crystal YO, Ng MW, Crall JJ, Featherstone JD. Pediatric dental care: prevention and management protocols based on caries risk assessment. J Calif Dent Assoc 2010;38(11):746-61. 

10 Lee JC. Caries management by risk assessment CAMBRA. J Korean Dent Assoc 2011;49(1):16-21. 

11 Koo SY, Lee SY. Caries management of high-risk children by caries risk assessment. J Dent Hyg Sci 2018;18(2):97-104. 

12 Lee SN, Lim SR. In-depth interview of parents experienced first infant oral examination. J Dent Hyg Sci 2017;17(6):543-51.  

13 Woo GJ, Kim EK, Kim KT, Song KB, Choi YH. Development of a smart oral examination system for tablet personal computers. J Korean Acad Oral Health 2013;37(2):89-94.  

14 Jeong SJ, Lim K, Ko YJ, Sim HA, Kim KY. The analysis of trends in smart phone applications for education and suggestions for improved educational use. J Digit Cont Soc 2010;11(2):203-16.  

15 Kim GH, Lee KH. Perception of smartphone applications for oral health care education in infants and toddlers. J Korean Soc Dent Hyg 2018;18(6):987-1001. 

16 Jeon EJ. Development and effectiveness evaluation of diabetes self-management mobile application based on imb model[Doctoral dissertation]. Seoul:Univ. of Seoul National, 2017. 

17 Byun AJ. Development and evaluation of smartphone app “healthy kids” for children’s weight control with their parents[Master's thesis]. Seoul:Univ. of Seoul National, 2018.  

18 U.S. Food and Drug Administration. Medical devices[Internet]. U.S. Food and Drug Administration;2014.[cited 2019 Mar 24]. Available from: https://www.fda.gov/regulatory-information/search-fda-guidance-documents/mobile-medical-applications 

19 Chang WS, Ji YG. Usability evaluation for smart phone augmented reality application user interface. J Soc e-Business Studies 2011;16(1):35-47. https://doi.org/10.7838/jsebs.2011.16.1.035  

20 Nielsen J. Heuristics evaluation. 1st ed. Newyork: John Wiley and Sons; 1994: 25-64. 

21 Martins SB, Lai S, Tu S, Shankar R, Hastings SN, Hoffman BB, et al. Offline testing of the athena hypertension decision support system knowledge base to improve the accuracy of recommendations. AMIA Annu Symp Proc 2006;2006(1):539-43. 

22 Choi J, Bakken S. Creation of a gold standard for validation of a computer-interpretable depression screening guideline. Stud Health Technol Inform 2006;122(1):95-9.  

23 Jeon EJ. Development smartphone application for clinical guideline based obesity management[Master's thesis]. Seoul:Univ. of Seoul National, 2013.  

24 Bertini E, Gabrielli S, Kimani S. Appropriating and assessing heuristics for mobile computing. In proceedings of the working conference on advanced visual interfaces. Assoc Comput Mach 2006;1(8):119-26. 

25 Stoyanov SR, Hides L, Kavanagh DJ, Zelenko O, Tjondronegoro D, Mani M. Mobile app rating scale: a new tool for assessing the quality of health mobile apps. JMIR mhealth uhealth 2015;3(1):27. [26] Ministry of health Manatū Hauor. Health applications assessment guidance[Internet]. Ministry of health Manatū Hauor;2017.[cited 2019 Jan 30]. Available from: .  

26 Ministry of health Manatū Hauor. Health applications assessment guidance[Internet]. Ministry of health Manatū Hauor;2017.[cited 2019 Jan 30]. Available from:https://www.health.govt.nz/our-work/ehealth/digital-health-sector-architecture-standards-and-governance/health-applications-assessment-guidance. 

27 Kang TD. A study on service-oriented mobile application development process[Doctoral dissertation]. Jeonju:Univ. of Jeonju, 2012.  

28 Kim JS, Kang YM, Lee SY. A needs analysis oral health education contents for teachers and parents using borich priority formula and the locus for focus model. J Dent Hyg Sci 2018;18(4):252-64. https://doi.org/10.17135/jdhs.2018.18.4.252 

29 Alqarni AA, Alfaifi HM, Aseeri NA, Gadah T, Togoo RA. Efficacy of a self-designed mobile application to improve child dental health knowledge among parents. J Int Soc Prev Community Dent 2018;8(5):424-30. https://doi.org/10.4103/jispcd.JISPCD_195_18 

30 Chinn CH, Levine J, Matos S, Findley S, Edelstein BL. An interprofessional collaborative approach in the development of a caries risk assessment mobile tablet application: my smile buddy. J Health Care Poor Underserved 2013;24(3):1010-20. https://doi.org/10.1353/hpu.2013.0114 

31 Reese HY, Dickson KW, Eddie HT, Kevin KW, Patrick Lo. Heuristic usability evaluation of university of hong kong libraries' mobile website. J Acad Librarianship 2016;42(5):581-94. https://doi.org/10.1016/j.acalib.2016.06.004 

32  Mohd KO, Muhd NS, Shaziti A. Heuristic evaluation: comparing generic and specific usability heuristics for identification of usability problems in a living museum mobile guide app. Advances in Human Computer Interaction 2018;2018(1518682):13. https://doi.org/10.1155/2018/1518682 

33 Park JH, Han SH, Park JH, Park WG, Kim HG, Hong SW. Comparison of usability evaluation methods for mobile application. Ergonomics Soc 2012;14(30):154-7.  

34 Zhang H, Gil TS, Kang EJ. A feasibility study of Korean mobile application rating scale(MARS) for evaluating the quality of blood pressure management apps. Korean J Health Educ Promot 2018;35(3):41-51. https://doi.org/10.14367/kjhep.2018.35.3.41 

35 Jeon JH. Development and evaluation of smartphone application for self-care performance of patients with chronic hepatitis B[Master’s thesis]. Seoul:Univ. of Jungang, 2015.  

36 Kim ML, Kim JE. Usability test of serious game robot app for hospitalized children. J Korea Academia Industrial Cooperation Soc 2019;20(2):228-34. https://doi.org/10.5762/KAIS.2019.20.2.228