Testing the validity and reliability of an assessment tool for dental hygienists’ consideration of patients with mild disabilities

한국치위생학회
김 예지  Ye-Ji Kim1노 희진  Hie-Jin Noh1*문 소정  So-Jung Mun1한 선영  Sun-Young Han1

Abstract

Objectives: The purpose of this study was to test the reliability and validity of an assessment tool for dental hygienists’ consideration of patients with mild disabilities. Methods: Thirty-seven preliminary questions were compiled through literature review, and thirty-two questions were selected through content validity testing by eight experts. Two hundred and three dental hygienists completed the assessment tool as an online survey. The construct validity, internal consistency, and test-retest reliability of the tool were investigated using the SPSS 26.0 program. The construct validity was assessed using exploratory factor analysis. The internal consistency was assessed using Cronbach’s alpha. The intraclass correlation coefficient (ICC) value with 95% confidence intervals was calculated for test-retest reliability. Results: Ten items and four factors were selected through exploratory factor analysis. The internal consistency reliability of the tool was found to be Cronbach’s alpha=0.658, and test-retest reliability was found to be ICC=0.812. Conclusions: An assessment tool of care for patients with mild disabilities by dental hygienists is a reliable and valid tool suitable for the job characteristics of dental hygienists. It can be used in clinical practice and research.

Keyword



서론

2021년 국내 등록 장애인은 264.5만 명으로 2015년 이후 지속적으로 증가하여 약 15만 명 이상 추가 등록되었다[1]. 이 중, 장애 정도가 심하지 않은 경증 장애인은 전체 등록 장애인 중 62.6%에 해당하며 2011년부터 2020년까지 약 10만 명 이상 증가하였다[2].

경증 장애임에도 불구하고 장애가 있으면 구강 질환 발생률이 높다. 2019년 경증 장애인 구강검진 수검 인원 중, 치아우식증 혹은 치주 질환자로 당장 치료가 필요한 경증 장애인은 43.6%였다. 치료가 필요한 경증 장애인 중, 전문가 치주 관리 혹은 치주 치료 필요자는 55.8%, 치아우식증 치료 필요자는 23.7%로 나타났다[3]. 따라서 경증 장애인은 주기적으로 치과 내원함으로써 세심한 구강 위생관리가 필요하다.

경증 장애인 내원 시 일반 치과 병·의원에서 진료가 가능할 정도로 아주 어려운 부분이 없다. 청각 장애나 시각 장애는 비장애인과 치과 치료 방식이 같으며, 스스로 이동할 수 있는 경증 뇌병변 장애와 지체 장애는 일반적인 치과 치료가 가능하다[4]. 장애인 187명을 대상으로 한 연구에서 일반 치과 병·의원 이용 경험자는 86.1%로 나타났다[5]. 또한 치과위생사 544명을 대상으로 한 연구에서 장애 유형과 관계없이 한 달간 치과 진료한 장애인 수를 조사한 결과 2명 이하 32.0%, 3-5명 24.3%, 6-9명 25.3%, 10명 이상 18.3%로 나타났다[6].

치과 병·의원에 장애인 내원 시, 경증 장애라도 치과위생사가 해당 장애에 대한 지식이 부족할 경우 치과 진료에 어려움이 있을 수 있다. 시각 장애나 청각 장애는 치과 전문 인력과 의사소통이 어렵기 때문에 환자가 불편함을 느낄 수 있으며, 뇌병변 장애와 지체 장애는 해당 장애의 의학적 상태에 따른 치과 진료 주의사항에 대해서 잘 알지 못하면 치과 진료 진행이 어려울 수 있다[4].

치과위생사는 장애가 있는 환자에게 알맞은 치과 진료 및 구강위생관리를 제공하고 환자와 보호자에게 구강보건교육을 제공함으로써 장애인의 구강건강증진에 기여해야 할 의무가 있으며[7], 양질의 치과 의료 서비스를 제공하기 위해 장애인 환자 진료에 대한 지식을 갖출 필요가 있다.

현재 국내·외의 대부분 연구[8,9]에서 장애 환자 치과 진료의 실태조사와 치위생(학)과 학생들의 장애인 진료 교육 평가[10,11]가 조사되었으나, 경증 장애 환자 진료에 대한 치과위생사의 지식을 측정할 수 있는 도구가 개발되지 않아 지식 측정에 한계가 있었다.

따라서 본 연구의 목적은 치과위생사의 직업적 특성에 맞는 경증 장애 환자 진료 고려사항에 대한 지식 측정 도구를 개발하여 타당도와 신뢰도를 검증하는 것이다.

연구방법

1. 연구설계

본 연구는 치과위생사의 경증 장애인 환자 진료 고려사항에 관련된 지식 측정 도구를 개발하기 위한 방법론적 연구이며, Devllis[12]의 도구 개발 지침에 근거하여 도구 개발과 검증을 시행하였다.

2. 연구도구 개발과정

1) 예비 문항 구성

국내외 장애인 치과 진료 고려사항 관련 문헌[4,7,13]을 고찰하여 하부요소를 도출하였다. 국제기능장애건강분류(ICF: International Classification of Functioning)[14]와 장애인복지법[15]에서 정의하는 장애 유형에 근거하여 경증 청각 장애 12문항, 경증 시각 장애 12문항, 경증 지체 장애 2문항, 경증 뇌병변 장애 4문항, 경증 장애 공통 7문항으로 총 37문항을 구성하였다[16].

2) 내용 타당도 검증

도구 문항의 내용 타당도 검증을 위해 전문가는 최소 3명에서 최대 10명이 적절하다는 근거[17]에 따라 치위생학과 교수 2명, 대학병원 10년 차 이상 치과위생사 2명, 네트워크 치과 의원 10년 차 이상 치과위생사 2명, 치과 의원 10년 차 이상 치과위생사 2명 등 총 8명을 대상으로 하였다.

각 문항은 4점 Likert 척도로 구성하였으며, 내용 타당도 지수(Content validity index)를 측정하여 0.80 이상인 문항은 적절하다고 판단하였다[17]. 그 결과, 1차 내용 타당도 검증을 통해 3개 요소와 33문항으로 축소하였고, 2차 내용 타당도 검증을 통해 32문항으로 구성하였다.

3) 예비 조사

전문가 검증을 통해 수정된 예비 문항의 이해도, 설문 구성 적절성, 응답시간, 보완사항을 파악하기 위해 치과 종합병원, 치과병원, 치과 의원에 근무 중인 1년 차 이상 치과위생사 15명을 대상으로 예비 조사를 시행하였다. 치과위생사 업무 범위 이탈로 판단된 1문항이 삭제되어 총 3개 요인, 31문항으로 도출하였으며 신뢰도 검증 결과, 내적 일관성(Cranbach’ alpha)이 0.710으로 나타났다.

3. 도구평가

1) 연구 대상

서울특별시, 경기도, 인천의 치과 의료기관에 근무하고 있는 1년 차 이상 임상 치과위생사를 대상으로 편의 표본 추출하였다. 대상자 수는 문항 수의 5-10배가 적절하다는 근거[18]와 탈락률 10%를 고려하여 보건의료빅데이터개방시스템의 2022년 1분기 지역별 종별 의료인력 현황[19]에 따라 210명(치과병원 이상급 21명, 치과 의원 189명)을 대상으로 하였다. 2022년 4월 6일부터 2022년 5월 6일까지 ‘모아폼(Moaform)’을 활용한 온라인 설문 조사를 진행하였다. 회수된 214부 중 불성실한 응답으로 11부를 제외하고 203부를 분석에 활용하였다. 본 연구는 연세대학교 생명윤리심의위원회 심의를 거쳐 승인받은 후 진행하였다(IRB No. 1041849-202203-BM-065-02).

2) 자료 분석

수집된 자료의 통계분석을 위해 IBM SPSS program (ver 26.0; IBM Corp., Armonk, NY, USA)을 이용하였다. 대상자의 일반적 특성을 파악하기 위해 기술통계(빈도, 백분율, 평균, 표준편차, 사분위수)를 시행하였다. 구성 타당도를 검증하기 위해 탐색적 요인 분석(KMO와 Bartlett 구형성 검정, Varimax 직교 회전, 주성분 분석)을 시행하였다. 내적 일관성 신뢰도를 검증하기 위하여 Cronbach’ alpha 계수를 활용하였다. 반복 측정 신뢰도를 검증하기 위해 기억효과를 고려하여 본 조사 2주 뒤에 대상자 중 문항 수의 1배[20]인 36명을 대상으로 급내상관관계(ICC)를 산출하였고, 통계적 유의수준은 0.05를 기준으로 하였다.

연구결과

1. 연구대상자 일반적 특성

연구대상자 중 여성이 94.1%였으며, 학력은 4년제 이상이 52.7%로 나타났다. 근무 기관 유형 중 상급종합병원, 종합병원, 치과병원에 해당하는 치과병원 이상급 기관이 23.2%, 치과 의원이 76.8% 였다. 장애인 치과 진료 교육 관련 특성 중 경험이 없는 경우가 65.5%로 가장 높았다<Table 1>.

Table 1. General characteristics

http://dam.zipot.com:8080/sites/KSDH/images/N0220230106_image/Table_KSDH_23_01_06_T1.png

2. 타당도 검증

요인적재값이 0.4 미만[21]인 5문항 제외 후 총 26개 문항으로 요인분석을 시행하였다. 모형 적합도 측정 결과 Kaiser-Meyer-Olkin (KMO) 측도는 0.709, Bartlett의 구형성 검정 카이제곱값은 953.995 (p<0.001)로 탐색적 요인분석 조건에 부합하였다[22]. 고유값 1.0 이상이며, 전체 분산의 누적설명력이 50% 이상[23]으로 58.456%인 요인 9개가 추출되었다. 추출된 모든 문항의 요인적재값과 공통성이 0.4 이상[21]으로 삭제되는 문항은 없었다<Table 2>.

Table 2. Primary exploratory factor analysis

http://dam.zipot.com:8080/sites/KSDH/images/N0220230106_image/Table_KSDH_23_01_06_T2.png

Table 3. Secondary exploratory factor analysis

http://dam.zipot.com:8080/sites/KSDH/images/N0220230106_image/Table_KSDH_23_01_06_T3.png

낮은 신뢰도를 보인 요인 3, 요인 4, 요인 6, 요인 9를 제외하여 총 16개 문항으로 탐색적 요인분석을 시행한 결과 Kaiser-Meyer-Olkin (KMO) 측도는 0.708, Bartlett의 구형성 검정 카이제곱값은 473.905 (p<0.001)로 탐색적 요인분석 조건에 부합하였다[22]. 고유값 1.0이상이며, 전체 분산의 누적설명력이 59.410%인 요인 6개가 추출되었다<Table 3>.

단독으로 추출된 1문항, 공통성이 0.4 미만인 2문항 삭제 후 신뢰도 Cronbach’ alpha 값이 0.459로 나온 3문항(Q1, Q11, Q13)을 삭제하여 총 10문항으로 탐색적 요인분석을 시행하였다.

Kaiser-Meyer-Olkin (KMO) 측도는 0.647, Bartlett의 구형성 카이제곱값은 259.116(p<0.001)로 탐색적 요인분석 요건을 만족하였다[22]. 고유값 1.0 이상[23]으로 누적 설명력이 61.543%인 4개 요인이 추출되었다. 추출된 모든 문항의 요인적재값과 공통성이 0.4 이상[21]으로 삭제되는 문항은 없었다<Table 4>.

Table 4. Tertiary exploratory factor analysis

http://dam.zipot.com:8080/sites/KSDH/images/N0220230106_image/Table_KSDH_23_01_06_T4.png

3. 신뢰도 검증

내적 일관성 신뢰도 분석 결과 4개 요인 모두 Cronbach’ alpha 값 0.5 이상[24]으로 적당한 신뢰도를 보였으며 전체 Cronbach’ alpha 값은 0.658였다. 반복 측정 신뢰도 분석 결과 4개 요인 모두 급내상관계수 0.5 이상[25]으로 적당한 신뢰도로 나타났으며 전체 급내 상관계수는 0.812였다<Table 5>.

Table 5. Internal consistency and test-retest reliability

http://dam.zipot.com:8080/sites/KSDH/images/N0220230106_image/Table_KSDH_23_01_06_T5.png

*p<0.05, **p<0.01, ICC: Intraclass correlation coefficient

4. 최종 도구

도구 검증 후 최종 도구는 4개 요인과 10문항으로 구성하였다. 요인 1은 장애 유형별 안내 방법과 구강위생교육 등으로 ‘환자 안내’라고 명명하였다. 요인 2는 청각 장애 환자와 의사소통을 통한 상호작용 방법 등으로 ‘상호작용’이라고 명명하였다. 요인 3은 청각 장애 환자와의 의사소통 방법으로 ‘의사소통’이라고 명명하였다. 요인 4는 휠체어를 사용하거나 보행이 불편한 장애 환자의 보조 방법 등으로 ‘보행 보조’라고 명명하였다<Table 6>.

Table 6. Final items

http://dam.zipot.com:8080/sites/KSDH/images/N0220230106_image/Table_KSDH_23_01_06_T6.png

총괄 및 고안

본 연구는 도구 개발 절차에 따른 타당도와 신뢰도 검증을 통해 치과위생사의 경증 장애인 진료 고려사항에 대한 지식 측정 도구를 개발하였다.

내용 타당도는 측정하려는 구성개념과 문항의 관련성을 평가[26]하는 것으로, 전문가 검증을 통해 이해도가 적절하지 않거나 구성개념이 명확하지 않은 문항은 삭제해야 한다[27]. 전문가 의견에 따라 내용 타당도가 낮은 경증 시각 장애 1문항과 기타 경증 장애 1문항은 삭제하였다. 이는 치과위생사의 업무 범위를 이탈하여 구성개념과 관련성이 낮거나 측정 개념이 중복되었기 때문이다.

요인구성 타당도는 문항 간의 상호관계를 분석하여 상관관계가 높은 문항들의 군집을 확인하는 방법[26]으로 높은 적재값을 갖는 변수들의 공통적인 의미를 파악하여 요인을 규명하고 명칭을 부여해야 한다[28]. 본 연구는 전문가 내용 타당도 검증을 통해 구성된 31개의 문항을 바탕으로 탐색적 요인분석 시행 결과, 21개의 문항이 삭제되어 총 10문항, 4개 요인이 추출되었다. 삭제된 문항은 하위요인 간 상관관계가 낮거나 구성개념이 혼재하여 적재값이 낮은 것으로 판단할 수 있다.

도구를 통한 측정값의 일관성을 평가하기 위해 신뢰도 검증을 시행하였다. 내적 일관성 신뢰도는 각 문항이 도구의 구성개념을 일관적으로 측정하는지 평가하는 것으로[29], 문항 간 상관관계 평균값이 높으면 신뢰도도 높아진다고 하였다[24]. 문항이 적절하지 않거나, 문항 수가 적거나, 대상자의 태도가 일관적이지 않았을 때 신뢰도가 저하된다고 하였다[29]. 본 도구의 전체 문항에 대한 Cronbach’ alpha 값은 0.658이며, 선정된 요인의 Cronbach’ alpha 값이 0.514-0.611로 나타났다. 전체 문항은 10문항이며 요인당 2-3문항이므로 추후 연구에서 각 요인에 대한 문항을 추가할 필요가 있다.

반복 측정 신뢰도는 동일한 도구를 통해 반복 측정 시 결과값의 일관성을 평가함으로써 측정 도구 안정성을 검증하는 방법[27]으로 반복 측정 신뢰도의 지표인 급내상관관계(ICC) 신뢰도를 검증하였다. 본 도구의 급내상관관계(ICC)는 0.812로 높은 신뢰도를 보였으며, 도구의 안정성이 적절하다는 것을 확인할 수 있다.

기존 예비 문항은 장애인 치과 진료와 관련된 문헌 고찰을 통해 경증 장애 유형별로 분류하였으나 추출된 요인은 경증 장애인 치과 진료 세부 항목이라고 판단할 수 있다. 미국 치위생 교육 프로그램에 따르면 특별한 요구가 필요한 환자의 치과 진료 시 환자 안내, 의사소통, 보호자 및 간병인과의 상호작용, 휠체어 이송 등을 교육한다고 하였다[10]. 이에 따라 요인명을 환자 안내, 의사소통, 상호작용, 보행 보조로 명명하였다.

본 연구는 일부 한정된 지역에서 단순 편의 추출법으로 대상자를 선정하여 결과 해석 시 일반화의 한계가 있다. 추후 연구에서 치과위생사 모집단을 대표할 수 있는 표집 방법에 대해 고려할 것을 제안한다. 또한 경증 장애인 치과 진료 지식 측정 도구와 관련된 선행연구가 없어 문항 구성에 어려움이 있었다. 예비문항 개발 시 경증 장애 유형별로 구성하였으나 요인분석 결과 장애인 치과 진료 항목에 따라 구성되었으며, 다른 연구에 비해 내적일관성 신뢰도가 낮은 경향으로 나타났다. 그러나 타당도와 신뢰도 검증을 통해 치과위생사의 직업적 특성에 맞는 경증 장애 치과 진료 고려사항에 대한 이론적 기틀을 마련했다는 점에서 의의가 있다. 추후 연구에서 세부 항목의 구성개념에 근거한 추가 문항 구성이 필요하다.

본 연구는 경증 장애인 환자의 치과 진료 시 고려사항에 대한 도구를 개발함으로써 경증 장애 환자 안내, 의사소통, 상호작용, 보행 보조에 대한 구성개념 개발에 기여하였다. 타당도와 신뢰도 검증을 통해 개발된 도구로 치과위생사의 경증 장애인 환자 진료 고려사항과 관련된 지식을 측정하고 임상 지침과 경증 장애 치과 진료 프로그램 개발 시 이론적 기반으로 활용될 수 있다.

결론

본 연구는 치과위생사의 경증 장애인 환자 치과 진료 시 고려사항에 대한 지식 측정 도구를 개발하고자 하였다. 도구의 타당도와 신뢰도를 평가하기 위해 임상 경력 1년 이상 치과위생사 210명을 대상으로 온라인 설문조사를 시행하였으며, 최종 203부를 활용한 분석 결과는 다음과 같다.

1. 구성타당도 검증을 위한 요인분석 결과 4개 요인, 10문항으로 추출되었으며 환자 안내 3문항, 상호작용 2문항, 의사소통 3문항, 보행 보조 2문항으로 구성되었다.

2. 신뢰도 검증을 위한 내적일관성 신뢰도 분석 결과 전체 문항의 내적일관성 계수(Cronbach’ alpha)는 0.658, 반복측정 분산분석의 신뢰도 분석 결과 급내상관계수(ICC)는 0.812로 나타났다.

이상으로 경증 장애인 환자 치과 진료 시 치과위생사의 직업적 특성에 맞는 임상적 고려사항에 대한 이론적 구성요소를 입증하였다. 본 도구를 활용하여 치과위생사의 경증 장애 환자 진료 고려사항에 대한 지식 정도를 파악할 수 있으며, 향후 치과 임상 지침과 경증 장애 관련 치과 진료 프로그램 개발 시 이론적 기반으로 활용되기를 기대한다.

Conflicts of Interest

The authors declared no conflicts of interest.

Authorship

Conceptualization: YJ Kim, HJ Noh, SJ Mun, SY Han; Data collection: YJ Kim; Formal analysis: YJ Kim, HJ Noh, SJ Mun, SY Han; Writing-original draft: YJ Kim, HJ Noh; Writing-review&editing: YJ Kim, HJ Noh, SJ Mun, SY Han

References

1 1. Statistics Korea. Status of the disabled [Internet]. KOSIS; 2021[cited 2022 Oct 16]. Available from: https://kosis.kr/statHtml/statHtml.do?orgId=117&tblId=DT_11761_N001&conn_path=I2.  

2 2. Kwon DC, Lee SY, Kim YM. 2020 Announcement of statistics for registered persons with disabilities. Sejong: Ministry of health and Welfare; 2021: 1-6.  

3 3. Kim WH. 2019 Health statistics for the disabled. Sejong: Ministry of Health and Welfare National Rehabilitation Center; 2021: 273-96.  

4 4. The compilation committee of Journal of Korean Academy of Oral Health. Physical disability. In: Textbook of special care of dentistry. 1st ed. The compilation committee of Journal of Korean Academy of Oral Health: Seoul; DeahanNarae Publishers. 2019: 28-65.  

5 5. Cho HL, Kim YJ, Yoon TY. A study on the satisfaction factors of the disabled when using dental care services. Journal of Korean Association for Disability and Oral Health 2014;10(1):9-21. https://doi.org/10.12655/KADH.2014.10.1.9  

6 6. Kim YS. A survey of the realities of dental health care for the disabled by dental hygienists in Korea. JKCA 2002;3(1):29-44.  

7 7. Faizan K. Disability and Healthcare. In: Darby and Walsh dental hygiene theory and practice. 5th ed. Edited by Jennifer A, Denise M: Maryland; Elsevier health sciences. 2020: 929-42.  

8 8. Lin PY, Wang KW, Tu YK, Chen HM, Chi LY, Lin CP. Dental service use among patients with specific disabilities: a nationwide population-based study. J Formos Med Assoc 2016;115(10):867-75. https://doi.org/10.1016/j.jfma.2015.09.007  

9 9. Huh JS, Lee HG, Cheong JE, Lee BR, Jung HI. The current status and the future directions of dental services for disabled people. J Korean Acad Adv Gen Dent 2020;9(3):71-6. https://doi.org/10.23034/jkaagd.2020.9.3.71  

10 10. Dehaitem MJ, Ridley K, Kerschbaum WE, Inglehart MR. Dental hygiene education about patients with special needs: a survey of U.S. programs. J Dent Educ 2008;72(9):1010-9. https://doi.org/10.1002/j.0022-0337.2008.72.9.tb04575.x  

11 11. Hwang HJ, Kim AH, Kim JH, Seo BR, Lee DH, Hwang SJ. Clinical competency of dental hygiene students to manage disabled patients in some areas. J Dent Hyg Sci 2018;18(6):349-56. https://doi.org/10.17135/jdhs.2018.18.6.349  

12 12. DeVellis RF. Scale development: Theory and applications. 4th ed. Thousand Oaks: Sage Publication; 2016: 1-280.  

13 13. Kathryn R. The patient with a disability. In: Clinical practice of the dental hygienist. 11th edition. Edited by Esther M: New York; Lippincott Williams&Wilkins. 2015: 851-72.  

14 14. WHO. International classification of functioning, disability and health: ICF. 1st ed. Geneva1: WHO; 2001: 1-311.  

15 15. Korean law information center. Welfare of Disabled Persons Act [Internet]. Korean law information center[cited 2022 Oct 30]. Available from: https://www.law.go.kr/%EB%B2%95%EB%A0%B9/%EC%9E%A5%EC%95%A0%EC%9D%B8%EB%B3%B5%EC%A7%80%EB%B2%95.  

16 16. Kim YJ. Development of assessment tools for dental hygienists’ considerations for patients with mild disabilities[Master’s thesis]. Wonju: Yonsei University, 2022.  

17 17. Lynn MR. Determination and quantification of content validity. Nurs Res 1986;35(6):382-5. https://doi.org/10.1097/00006199-198611000-00017  

18 18. Floyd FJ, Widman KF. Factor analysis in the development and refinement of clinical assessment instruments. Psychol Assess 1995;7(3):286-99. https://doi.org/10.1037/1040-3590.7.3.286  

19 19. Healthcare Bigdata Hub. Status of workers [Internet]. Healthcare Bigdata Hub[cited 2022 Oct 30]. Available from: https://opendata.hira.or.kr/op/opc/olapHumanResourceStatInfo.do.  

20 20. Park MS, Kang KJ, Jang SJ, Lee JY, Chang SJ. Evaluating test-retest reliability in patient-reported outcome measures for older people: a systematic review. Int J Nurs Stud 2018;79:58-69. https://doi.org/10.1016/j.ijnurstu.2017.11.003  

21 21. Hidden JG. SPSS Statistical analysis practice. In: SPSS method of result tables and interpretation. 1st ed. Edited by Hidden JG: Seoul; HANBIT academy. 2018: 122-414.  

22 22. Kaiser HF. An index of factorial simplicity. Psychometrika 1974;39(1):31-6. https://doi.org/10.1007/BF02291575  

23 23. Hair Jr JF, Black WC, Babin BJ, Anderson RE. Exploratory factor analysis. In: Multivariate data analysis. 7th ed. Edited by Hair Jr JF, Black WC, Babin BJ, Anderson RE: Upper Saddle River New Jersey; Pearson. 2010: 91-150.  

24 24. U.S. Department of education. Reinterview studies: Reliability and validity. In: Measurement error studies at the National Center for Education Statistics. 1st ed. Edited by Sameena S, Elizabeth W, Valerie C, Steven F, Mehrdad S: Washington DC; National Data Resource Center. 1997: 346-78.  

25 25. Landis JR, Koch GG. The measurement of observer agreement for categorical data. Biometrics 1977;33(1):159-74. https://doi.org/10.2307/2529310  

26 26. Lee HJ, Song RY, Lee EH, Ahn SH. Tool development and verification. In: Research methods and critical appraisal. 2nd ed. Edited by Lee HJ, Song RY, Lee EH, Ahn SH: Gyeonggi-do; Koonja Publishing. 2017: 294-313.  

27 27. Lee EH. Psychometric properties of an instrument 2: structural validity, internal consistency, and cross-cultural validity/measurement invariance. Korean J Women Health Nurs 2021;27(2):69-74. https://doi.org/10.4069/kjwhn.2021.05.18  

28 28. Kang HC. A guide on the use of factor analysis in the assessment of construct validity. J Korean Acad Nurs 2013;43(5):587-94. https://doi.org/10.4040/jkan.2013.43.5.587  

29 29. Kim SH, Kim JS, Min HH, Shin SH, Cho YS, Kang HG, et al. Measurement. In: Dental hygiene reaserch method. 1st ed. Edited by Kim SH, Kim JS, Min HH, Shin SH, Cho YS, Kang HG, et al: Seoul; DeahanNarae Publishers. 2011: 69-86.