임상판단 평가도구의 신뢰도 및 타당도 검증

The Reliability and Validity of the Lasater Clinical Judgement Rubric in Korean Nursing Students

Article information

Child Health Nurs Res. 2015;21(2):160-167
Publication date (electronic) : 2015 April 30
doi : https://doi.org/10.4094/chnr.2015.21.2.160
1East-West Nursing Research Institute, Kyung Hee University, Seoul, Korea
2College of Nursing Science, Kyung Hee University, Seoul, Korea
심가가1, 신현숙,2
1경희대학교 동서간호학연구소
2경희대학교 간호과학대학
Corresponding author Hyunsook Shin College of Nursing Science/East-West Nursing Research Institute, Kyung Hee University, 26 Kyunghee-daero, Dongdaemungu, Seoul 130-701, Korea TEL +82-2-961-9141 FAX +82-2-961-0838 E-MAIL hsshin@khu.ac.kr
*이 논문은 제1저자 심가가의 석사 학위논문을 수정하여 작성한 것임.
*This article is a revision of the first author's master's thesis from Kyung Hee University.
*본 논문은 교신 저자 신현숙의 2011년도 한국연구재단 장비지원연구과제 지원으로 수행되었음.
*This research was supported by the Basic Science Research Program through the National Research Foundation of Korea, funded by the Min-istry of Science, Information/Communication Technology, and Future Planning (KRF 2011-0014034).
Received 2015 February 17; Revised 2015 April 6; Accepted 2015 April 14.

Trans Abstract

Purpose:

This study was done to evaluate the Lasater Clinical Judgement Rubric for use with Korean nursing students.

Methods:

A methodological study was used to validate the rubric developed by Lasater to assess clinical judgment during nursing simulation. Participants were 34 nursing students at K University in Seoul. Between February and May, 2012, analysis was done of 91 video clips recording performance during simulation.

Results:

Findings showed reliability and validity of the rubric. For internal consistency, Cronbach’s α score was .884 and intraclass correlation coefficient was .839, which established reliability. The rubric was validated using the exploratory factor analysis and content validity. The content validity score was 83%, establishing the appropriateness and readiness of the tool. Factor analysis showed that noticing, responding, and reflecting domains had Eigen values of 2.669, 1.991, and 2.912, respectively and were bound, but unlike the original tool in which four factors noticing, interpretation, responding, and reflecting domains were bound.

Conclusion:

Results of the study indicate that the rubric shows acceptable reliability and validity in Korean nursing students. This evaluation tool for nursing simulation allows nursing faculty to objectively evaluate students’ clinical judgment as well as students to reflect on their clinical judgment process during simulation.

서 론

연구의 필요성

전문직 간호사를 양성하기 위한 임상 실습은 문제 해결능력을 증진시키는 전인적이고 총체적인 접근으로(Kim, 2006), 간호지식을 현장에서 적용하여 살아있는 지식으로 창조해 낼 수 있도록 돕기 때문에 간호교육의 핵심적인 요소로 여겨지고 있다(Seo, Ahn, & Park, 2009). 이렇듯 간호학 교육에서 임상실무능력을 키우는 실습교육은 유능한 간호사를 키워내기 위한 필수불가결한 과정이나, 간호 대상자들이 학생들의 실습대상이 되는 것에 대한 거부감이 크고, 환자안전이 무엇보다 강조되고 있는 최근의 의료현실에서 학생의 임상실습의 여러 어려움들이 보고되고 있다(Kwon, 2002).

최근 이러한 문제점으로 인해 간호 시뮬레이션 교육의 도입은 환자 안전에 기여하고 임상 실습을 보완할 수 있는 유용한 방안으로 추천되고 있다(McCaughey & Traynor, 2010). 시뮬레이션 실습 교육은 학습 증진과 임상판단능력 향상 및 동료 학생들과의 디브리핑(debriefing)과정을 통하여 자신의 경험을 반영하고 새로운 인지적 학습을 통합하는 교육방법으로, 학습 만족도와 자신감을 향상시키고(Shin, Shim, & Lee, 2010), 학생의 지식(Nehring & Lashley, 2004) 및 비판적 사고 향상(Kim, Nam, & Kim, 2014; Lasater, 2007), 문제해결능력 향상(Rauen, 2004)과 임상수행능력(Haskvitz & Koop, 2004)을 향상시키는 교수법으로 보고되고 있다. 이러한 시뮬레이션 교수 방법이 실습역량 증진을 위한 새로운 교수법으로 적용되고 있음에도 불구하고, 시뮬레이션을 적용하였을 때 학생의 임상판단능력에 대한 평가방법에 대해서는 구체적인 연구가 제한적이어서 적합한 평가방법에 대한 모색이 필요하다(Cannon-Diehl, 2009; Nehring & Lashley, 2004).

임상적 판단(Clinical judgment)이란 무엇을 사정해야 하는지, 어떤 자료를 제안하고, 우선적으로 무엇을 해야 할지, 누가 해야 하는지에 대한 의사결정으로 비판적 사고와 타당한 결과를 이끌어내는 추론을 이용하여 적절한 행위를 하는 것을 말한다(Rhodes & Curran, 2005). 간호학실습에서 학생의 임상판단능력을 훈련하고 평가하는 방법으로는 일반적으로 사례연구를 이용하고 있는데, 사례연구가 학생의 행동양상을 직접 관찰할 수 없는 반면에 시뮬레이션 교육은 직접적인 문제행동을 관찰하고 즉각적인 피드백이 가능하다는 측면이 있다. 특히 디브리핑(debriefing) 시간동안에는 구성주의를 토대로 한 학생 스스로의 통찰, 통합 및 분석능력 등을 기대할 수 있는 측면(Jeffries, 2005)도 있으며, 시뮬레이션 과정동안 학생의 임상판단능력을 훈련하고 확인 및 평가 할 수 있다. 따라서 이러한 부분에 대한 구체적인 연구가 향후 간호학실습에서의 평가방법 개선에 발전적인 전략이 될 수 있을 것이다.

Tanner (2006)의 임상적 판단 모델(Clinical Judgement Model)의 4단계(Noticing, Interpreting, Responding, Reflecting)를 기초로 개발된 Lasater (2007)의 임상 판단 평가 도구(Lasater Clinical Judgment Rubric, LCJR)는 시뮬레이션을 활용한 교육에서의 임상판단 능력을 평가하기 위한 도구이다. LCJR은 4가지 영역의 11가지 하부 문항으로, 초보(beginning, 1점)에서 숙련(exemplary, 4점)인 4개의 척도(4 point likert scale)로 구성된다. 실제 LCJR 은 임상적 판단 능력의 개발, 자기평가를 위한 기회 제공, 비판적 사고능력을 평가하기 위한 도구로써 활용되고 있으며(Lasater, 2011), 여러 대상자를 포함시켜 신뢰도와 타당도 평가를 진행해 왔다(Adamson, Gubrud, Sideras, & Lasater, 2012; Shin, Park, & Shim, 2015). 현재까지 개발된 각종 시뮬레이션 평가도구를 체계적으로 고찰한 Davis와 Kimble (2011)은 LCJR이 현재까지의 시뮬레이션 평가도구 중 간호학 교육의 핵심역량을 포괄적으로 다루고 있다고 보고하였다. 또한, 간호학에서 교육성과 평가에서 인지적, 정서적, 기술적 측면을 균형 있게 평가하는 것이 필요하다고 강조한 Kardong-Edgren과 Fitzgerald (2010)도 LCJR이 인지적, 정서적, 기술적 측면의 요소를 균형있게 포함하고 있음을 평가 도구 분석연구에서 보고 하였다.

간호학 실습교육은 간호 교육의 목적에 맞게 학생들의 경험을 중심으로 이루어져야 하며 간호 실무에 있어 필수적으로 활용 되어지는 정서적·인지적·기술적 영역을 모두 아우르는 교육을 제공하여야 한다(Jeffries, 2005). 환자시뮬레이터(High-fidelity Patient Simulator, HPS)를 활용한 간호 교육은 이러한 세 가지 필수 요소를 모두 포함하며 실제 임상과 유사한 환경을 제공하고 있다(Jeffries, 2005). 하지만, 시뮬레이션 실습 교육에 대한 평가는 환경적인 요인, 이론과 임상실습의 연계성 부족, 시뮬레이션 실습 교육 담당 인력 부족 등의 이유로 아직까지 효과적으로 이루어지지 못하고 있다. 현재 간호 시뮬레이션의 평가도구는 도입기 단계로 국외의 도구들을 그대로 사용하고 있으며, 학습 성과를 측정하기 위한 신뢰도와 타당도 있는 도구가 부족하여 간호교육에 있어 시뮬레이션의 적용과 발전을 저해하는 요인으로 지적되고 있다(Suzie & Cynthia, 2010). 국내 시뮬레이션 교육 평가 관련 선행 연구를 살펴보면, 시뮬레이션 교육 후 학생 만족도, 적극적인 학습 참여 유도, 자존감 및 자신감 증진 등의 정서적 측면에 편중하여 평가되고 있다(Lee, Kim, Yeo, Cho, & Kim, 2009). 간호의 필수 영역인 정서적 영역 외에 인지적, 기술적 영역에도 영향을 미치고 있으나 관련된 연구가 부족하여 시뮬레이션 실습에서 나타나는 학생들의 인지적 영역, 즉 임상판단능력을 평가할 수 있는 타당하고 신뢰성 있는 도구를 확보하기 위한 연구를 진행할 필요가 있다. 이와 같은 맥락에서 최근 간호학실습교육에 시뮬레이션 교수법을 도입하기 시작한 한국의 간호학실습에서의 학생의 임상판단평가에 LCJR을 신뢰성 있고 타당성 있는 도구로 사용할 수 있을지에 대해 본 연구를 통해 확인하고자 한다.

연구목적

본 연구의 목적은 간호시뮬레이션에서 나타나는 임상적 판단을 평가하는 도구인 LCJR을 한국어로 번안하고, 이의 신뢰도와 타당도를 검증함으로써 향후 간호시뮬레이션 실습의 평가도구로 활용될 수 있도록 하는 것이다.

연구 방법

연구 설계

본 연구는 간호 시뮬레이션실습에서의 간호학생들이 보이는 임상판단능력을 평가하기 위하여 개발된 LCJR의 한국어판 도구의 신뢰도와 타당도를 수립하기 위한 방법론적 연구이다.

연구 분석 대상

본 연구의 분석 대상은 간호학과 4학년 학생의 아동간호 시뮬레이션실습 수행을 녹화한 91개의 비디오클립이다. 본 연구에서 사용된 비디오클립은 서울 소재 K대학교 간호학과의 교과과정 중 2012년 아동간호학실습에 참여하는 4학년 학생 중 시뮬레이션 실습을 수행한 34명이 총 3회에 걸쳐 시뮬레이션 실습을 수행하는 것을 녹화한 것이다. 아동간호학실습에서 시뮬레이션 실습은 영아 활력징후 측정과 발열 환아 간호, 신생아 응급관리의 총 3회로 구성된다. 도구의 타당도를 확인하기 위한 탐색적 요인분석을 위해서 필요한 분석 대상 수는 LCJR이 11개 문항으로 구성되었기 때문에 문항수의 약 8배(Costello & Osborne, 2005)에 해당하는 91개의 시뮬레이션 수행 비디오클립을 분석 대상으로 포함하였다.

연구 도구

본 연구에서는 간호시뮬레이션 실습 시 학생들의 수행을 평가하는 LCJR 도구가 사용되었다. Lasater Clinical Judgement Rubric (LCJR)은 시뮬레이션을 활용한 교육에서 임상판단 능력을 평가하기 위해 루브릭 형태로 Lasater (2007)에 의해 개발된 도구이다. 본 도구는 Tanner (2006)의 임상적 판단 모델(Clinical Judgement Model)의 4단계(Noticing, Interpreting, Responding, Reflecting)를 기초로 11가지 하부 문항으로 구성되었고, 초보(beginning, 1점)에서 숙련(exemplary, 4점)인 4개의 척도(4 point likert scale)로 배점 처리되며 총점의 범위는 11-44점으로 점수가 높을수록 임상적 판단 능력이 높음을 의미한다. 각 영역은 ‘매우미흡’ 1점, ‘미흡’ 2점, ‘잘함’ 3점, ‘매우 잘함’ 4점으로 4점 Likert 척도에 의해 측정되었으며 측정 점수가 높을수록 임상판단능력이 높음을 의미한다. 국외의 선행연구에서 보고된 LCJR 의 신뢰도와 타당도를 보면 대상자에 따라 Cronbach’s α값은 .80-.97이었다(Adamson, 2011; Mariani et al., 2012). 본 연구에서 사용된 한국어판 LCJR을 Korean Lasater Clinical Judgment Rubric (K-LCJR)로 명명하였다. 도구의 사용에 대해서는 개발자로부터 이메일을 통해 사용허락을 받았다.

자료수집

본 연구에서 학생들이 경험하는 아동간호학실습은 소아과 병동과 신생아 집중치료실 실습으로 구성되고 이 중 시뮬레이션 실습은 총 3회가 제공되는데 1회는 초기 활력징후 측정 훈련, 2회는 소아병동 4일 째에 발열 환아 간호 4시간, 3회는 신생아 중환자실 실습 4일 째에 무호흡 신생아 응급간호 시나리오로 진행되었다. 시뮬레이션 실습 시 시청각 녹화시스템이 갖추어진 실습실에서 1인의 시뮬레이션 운영자와 코디네이터에 의해 실습이 진행되는 상황을 녹화 할뿐만 아니라 LCJR를 사용하여 학생들의 수행을 평가하였다. 미비한 부분에 대해서는 추후 녹화된 내용을 재확인하여 평가를 보완하였다.

윤리적 고려

연구 대상자의 윤리적 측면을 고려하여 연구 진행은 K 대학교 기관 생명윤리 심의위원회의 심의를 거쳐 심의면제 허가(KHU IRB 2011-016)를 받은 후 진행 하였으며, 실습 학생에게 연구의 목적, 방법 및 비디오 녹화과정을 설명 하였고 연구 참여 및 비디오 녹화에 대한 동의를 받은 후 시행하였다.

번역 역번역

본 도구는 번역에 앞서 LCJR 의 개발자에게 사용 허가를 이메일을 통해 얻은 후 원 저자가 제시한 절차에 따라 영어로 되어 있는 측정 도구를 간호학 석사과정생 1인에 의한 1차 번역을 하였다. 역 번역은 영어를 모국어로 사용하면서 한국어를 병용할 수 있는 동시 통역사에 의해 실시하였으며 간호학 교수 1인과 재검토 후 평가 도구의 문장 및 단어를 수정 하였다. 번역된 도구를 연구자와 번역자가 검토하는 과정에서 ‘Noticing, Interpreting, Responding, Reflecting’ 등의 단어를 명확하고, 쉽게 이해하도록 ‘인지’, ‘해석’, ‘반응’, ‘반영’ 등의 단어로 수정하였다. 완성된 번역본은 원문을 보지 못한 영문학 전공 교수 1인에게 역번역을 의뢰하였으며 연구자와 번역자가 도구의 차이점을 확인한 후 표현과 어휘의 선택, 번역의 명확성 등을 논의 하고 원본과 대조 검토하는 과정을 거쳐 완성하였다.

신뢰도와 타당도 확인

본 도구의 신뢰도를 확인하기 위해 내적 일관성과 평가자 간 신뢰도(ICC)를 사용하고, 타당도는 내용 타당도와 구성타당도를 확인하였다. 내용 타당도는 간호학 각 영역을 대표하는 간호학 교수 7인의(성인간호학, 아동간호학, 기본간호학, 모성간호학, 간호관리학)의 CVI (Index of Content Validity)를 구하였다. 구성 타당도는 실제 학생들을 대상으로 LCJR을 사용하여 평가한 자료를 탐색적 요인 분석을 시행하였다.

연구원 선발 및 훈련

본 연구에서 LCJR을 이용한 간호학과 대학생의 임상판단능력을 평가하기 위해 대학병원에서 근무 경력 3년 이상인 대학원 박사 과정생 1인을 선정 하여 교육과 훈련을 실시하였다. 1단계로 LCJR의 각 항목별 배점의 근거를 각자 작성 하여 분석하고 이를 근거로 기준을 제시하였다. 평가자 훈련과정은 LCJR을 활용한 평가를 위해 연구의 목적, 내용, 대상자 및 개발 과정과 개념적 기틀을 포함하여 기준을 논의하여 측정방법의 표준화를 기하여 자료의 신뢰도를 높였다.

자료 분석

본 연구의 자료는 실습 학생들을 관찰하여 LCJR를 이용하여 평가한 점수로 IBM statistics 20.0 통계프로그램을 이용하여 다음과 같이 분석하였다. 연구대상 학생들의 일반적 특성은 빈도, 백분율, 평균, 표준편차로 분석하였다. 도구의 신뢰도는 내적일관성을 검증하기 위한 Cronbach’s α로 분석하였고, 평가자간 신뢰도는 Intraclass-Correlation Coefficient (ICC)를 통하여 검정하였다. 도구의 타당도 검증은 내용 타당도를 분석하였고 구성타당도를 분석하기 위해 요인분석(Factor Analysis)을 사용하였다. 요인분석은 주성분분석(Principle Component Analysis)을 하였으며 Varimax Rotation을 적용하였다.

연구 결과

대상자의 일반적 특성

대상자의 연령범위는 20세에서 29세로 평균 연령은 21.7세이며 성별은 남자 4명(11.8%), 여자 30명(88.2%)이다. 간호학과 입학 결정은 본인 결정이 26명(76.5%), 타인 권유는 8명(23.5%)으로 대답하였다. 시뮬레이션 이전 실무 경험에서는 인턴간호사의 경험이 6명(17.6%)이었고, 28명(82.4%)은 실무 경험이 없었다. 시뮬레이션 관련 수업 경험은 1회가 17명(50%), 2회가 11명(32.4%), 3회 이상이 6명(17.65)이었다.

신뢰도

LCJR의 신뢰도 평가 결과는 Table 1과 같다. 내적 일관성을 확인한 Cronbach’s α 값은 .884였다. 각 문항의 Cronbach’s α 값의 범위는 .668 -.825로 나타났다. 신뢰도 값이 가장 높게 나타난 영역은 반응이었고 그 다음으로 인지, 해석, 반영 순이었다. 개별 항목에서는 ‘개선의지 여부’가 가장 높은 신뢰도를 보였고 가장 낮은 신뢰도 점수를 보인 항목은 ‘분명한 의사소통’이었다(Table 1).

Reliability of K-LCJR

평가자 간 신뢰도

LCJR 도구의 평가자 간 신뢰도를 검증하기 위하여 연구자와 훈련받은 박사과정생 1인이 시뮬레이션 실습 에피소드 13개를 관찰 후 분석하였다. 본 연구에서는 .83 (95% CI)으로 측정되었다.

타당도

내용 타당도

본 도구의 간호학 실습 평가 도구로서의 타당성을 측정하고자 전문가 집단을 이용해 내용 타당도(content validity)를 검증하였다(Table 2). 전문가 집단은 간호학 교수 7인(성인간호학, 아동간호학, 기본간호학, 간호관리학)의 CVI를 구한 합의율은 83% (CVI = 0.75)였다. CVI 합의율이 가장 높은 영역은 ‘반영’(98%), ‘반응’(96.9%), ‘인지’(96%) 순이며, 가장 낮은 영역은‘해석’(91.5%)이었다. LCJR의 종합적인 의견을 4점 척도(1점: 강하게 동의하지 않음, 2점: 동의하지 않음, 3점: 동의함, 4점: 강하게 동의함)로 전문가의 의견을 수렴하였고, 용이성, 적합성, 이해도 부분에서는 만점 4점에서 모두 3점(±-.63) 이상으로 보고되었다. 전체적으로 도구의 내용이 길고 복잡하여 문항의 단계별 어휘를 부드럽게 이해하도록 수정과 보완이 필요 하다는 것과 1점에서 4점 단계별 세부 사항을 구체적으로 제시 되어야 한다는 지적이 있었다. 구체적인 내용을 살펴보면 다음과 같다.

Factor Analysis of K-LCJR

인지영역은 4점(매우 잘함)에서 ‘적절하게 집중적인 관찰’은 ‘초점을 맞춘 관찰’로 수정하였고, 4점 기준에서 ‘미세한 양상과 기대되는 양상과의 차이를 구분’은 ‘자료에서 기대양상과 다른 미묘한 양상을 인지’로 수정하였다. ‘정보 추구’ 4점에서 ‘환자 가족과 상호작용’은 ‘환자를 관찰하고 환자 및 가족과 상호작용하면서’로 수정하였다. 해석영역은 학습자가 행동 하는 용어로 수정할 필요가 있다는 의견으로 ‘자료의 우선순위’는 ‘자료의 우선순위 선정’으로 ‘자료의 타당성 판별’은 ‘자료 이해’로 변경하였다. 반응영역은 ‘차분하고 자신감 있는 태도’4점에서 ‘책임업무를 알고, 팀 내에서의 업무를 분배함’을 ‘책임감이 있어 팀원에게 업무를 분배할 줄 알며’로 수정하였고, 2점에서는 ‘전반적으로 환자와 가족을 안심시킴’을 ‘환자 및 가족을 안심시키는 역할을 수행함’으로 변경하였다. ‘잘 계획된 중재/융통성’의 1점에서 ‘중재만 수행하는데 중점을 두고, 가능한 해결책만 사용함’을 ‘모호하고 혼돈스러우며 불완전함. 가끔 모니터링을 하기도 함’으로 변경하였다. 반영 영역은 ‘개선 의지 여부’ 1점에서 ‘비판력이 없거나’를 ‘무비판적이거나’로 수정하였다.

구성타당도 검증

본 연구 도구의 타당도를 검증하기 위하여 서울의 K 대학의 간호학과 학생을 대상으로 LCJR을 사용하여 평가한 것을 요인분석하였다. 요인분석에서 사용된 표본의 적합도를 검정하기 위하여 Kaiser-Meyerlkin (KMO) 검정과 Bartlett 검정을 실시하였다. 본 연구에서 KMO 측정치는 종합자료의 경우에 .838로 .5 이상으로 나타났으며, Bartlett의 구형성 검증 결과 모두 그 값이 .000으로 유의 수준 p < .05 보다 작아 단위행렬이 아닌 것이 확인되었다.

다음으로 요인 추출하기 위해서 11개의 문항을 이용하여 요인분석을 수행 하였다. 요인을 추출하기 위한 모형은 정보의 손실을 최소화하면서 보다 적은 수의 요인을 구하고자 할 때 이용되는 주성분분석(Principle Component Analysis, PCA)을 이용하였으며, 요인 회전은 Varimax 방법을 이용하였으며, 고유값(eigen value)이 1.0 이상인 3개의 요인으로 추출되었다. 도구의 첫 번째 요인은 총 분산의 47.3%를 설명하였으며 나머지 2개 요인이 총 분산의 21.5%를 설명하여 전체 요인은 68.8%를 설명하였다. 본 도구는 모든 문항들이 0.50 이상의 요인 적재량을 보였고, 요인분석을 통해 3개의 하부영역으로 묶여짐을 확인했다. 요인 1은 세 가지 항목이 적재되었는데 이는 모두 ‘반응’ 영역의 항목이었다. 두 번째 요인으로 적재된 항목은 ‘인지’ 영역의 세 가지 항목들이었다. 세 번째 적재 요인은 ‘반영’ 영역의 두 항목과 ‘해석’ 영역의 한 항목으로 구성되었다. 해석영역의 두 항목인 ‘자료의 우선순위 선정’과 ‘자료이해’는 각각 ‘자료의 우선순위 선정’은 요인 2에서 .592로 높은 적재량을 보여 ‘인지영역’에 묶이고, ‘자료이해’ 는 요인 3에서 적재량 값( .477)이 높음으로 ‘반영’ 영역으로 묶여서 처리되었다.

논 의

간호학 임상 실습에서 임상적 판단능력을 평가하는 한 방법인 LCJR의 국내에서의 신뢰도와 타당도를 검증하기 위해 실시된 본 연구에서 결론적으로 사용된 도구의 한국어판 임상판단 평가도구(Korea Lasater Clinical Judgement Rubric) 신뢰도와 타당도가 지지되었다. 그러나 요인 분석을 통한 하부 영역의 분류에서 원 도구와 차이를 보였는데 이는 국내 실정에 맞도록 각 항목 간의 의미를 명료하게 하는 기준이 보다 명확하게 제시되거나 이를 보완할 수 있는 방법에 대한 모색이 지속되어야 할 것으로 판단된다.

신뢰도 검증을 위한 내적 일관성 Cronbach’s α 값은 .88로 높은 신뢰성을 지닌 도구임을 나타낸다. 선행 연구에서 Adamson (2011)이 29명의 간호사들을 대상으로 6주 동안 LCJR을 평가한 내적 일관성은 Cronbach’s α 값이 .97이었고, 간호학과 4학년 86명에게 내/외과 간호과정을 LCJR로 평가 한 Mariani, Cantrell, Meakim, Prieto와 Dreifuerst(2012)의 연구에서 내적 일관성 Cronbach’s α값은 .80-.97으로 본 연구의 신뢰도 값과 비슷한 결과였다. LCJR의 영역별 신뢰도는 Cronbach’s α 값이 .66-.87로 각 영역별 신뢰도가 가장 높은 항목은 ‘반응’ 영역이었고 가장 낮은 항목은 ‘반영’ 영역이었다. Mariani 등(2012)의 연구에서도 반응 영역이 Cronbach’s α 값이 .90으로 가장 높게 보고되었던 것은 간호학과 4학년 학생을 대상으로 한 본 연구와 비슷한 결과이다. 이는 반응 영역이 다른 영역에 비해 기준이 명확하고 단계별 점수의 근거가 구체적으로 제시되었기 때문이라고 판단된다.

평가자간 신뢰도 검증은 본 연구자와 박사과정생 1인이 평가한 점수를 분석한 결과로 Cronbach’s α 값이 .83로 나타났다. 측정 자료의 신뢰도가 받아들여지기 위해서는 Intraclass Correlation Coefficient (ICC) 값이 .80이거나 일치율이 80% 이상이어야 한다는 것(Nuannally & Bernstein, 1994)에 근거할 때 본 연구에서의 평가자 간 신뢰도는 확보되었다고 판단된다. 이 결과는 같은 도구를 사용한 Adamson 등(2012) 연구에서 평가자 간 신뢰도 Cronbach α 값이 .88 (95% CI)이었던 것과 비교해서 본 연구에서의 평가자 간 신뢰도 값이 유사한 것은 평가자를 선발하고 훈련하는 과정과 도구의 이해도가 높았던 것으로 사료된다.

내용 타당도를 통해 전문가들은 번역된 도구가 간호학생의 임상판단과정을 평가하기에 적절한 표현으로 서술되었고 임상판단능력을 측정할 수 있는 항목들을 포괄적으로 다루었다는데 합의하였다. 전문가 7인의 내용타당도 지수(CVI)에서 가장 높게 평가된 영역은 ‘반영’ 영역이었고 가장 낮은 영역은 ‘해석’ 영역으로 나타났다. 반영 영역은 ‘평가/ 자기분석’과 ‘개선의지 여부’의 2개 문항으로 구성되어 있다. 이 영역은 학습자가 비디오를 시청하면서 직접 간호수행한 부분에 대해서 평가하고 분석하는 과정으로 실시간 평가에서 놓친 부분을 충분한 시간을 갖고 평가할 수 있는 기준이 구체화되어 있어 전문가의 합의율이 높았다고 사료된다. 전문가의 합의율이 가장 낮게 도출된 것은 해석 영역으로 이는 단계별 점수 근거가 모호하고 기준 설정의 어려움이 있어 전문가간 합의도가 낮았던 것으로 판단된다. Lee와 Choi (2011)가 간호학생을 대상으로 임상 수행능력을 평가한 결과에서도 가장 낮았던 영역이 해석과 계획이었는데, 이는 관찰평가의 특성상 각 학생의 인지과정을 타인이 관찰하는 형태에서 이를 추측하고 생각의 연결고리를 발견한다는 것이 용이하지 않다는 것을 의미한다. 따라서 임상 판단을 평가하기 전 과목의 특성과 해석 영역의 각 항목 간의 의미를 명료히하여 평가자 간의 기준을 제시 한다면 문제점을 보완할 수 있을 것이라 생각된다.

LCJR의 용이성과 적합성, 이해도 측면에 대해서는 전문가들이 4점 만점에서 모두 3점 이상으로 평가하였다. 용이성 및 적합성 측면에서 긍정적인 평가를 받은 것은 루브릭(rubric) 형식이 갖는 장점 때문으로 판단된다. 이는 학습자의 평가 결과에 대한 기대 수준을 구체적으로 설명하여 학습자가 평가 결과를 이해하도록 하고 이후의 과제 수행에 있어 피드백을 제공해 주는 역할을 한다. 이에 실습 평가에서 항상 제기되는 평가 결과의 주관성 문제를 해결해 주고 채점이 일관성 있게 이루어 질 수 있다는 장점이 있다(Moskal, & Leydens, 2000). 대부분의 실습평가는 일방적으로 교수자가 학습 목표를 구성하지만, 루브릭을 적용한 평가를 시행할 경우 시뮬레이션 실습 전에 학생들에게 루브릭의 단계를 설명하여야 한다. 이는 교수자가 학생들에 대해 가지고 있었던 평가 권한을 학생들과 공유하여 더 효과적이고 실제적인 학습을 이끌어 내는 것이다. 본 연구에서 사용된 LCJR은 11개 문항에 4가지 수준별 해당 되는 수행 내용에 대해 상세하게 기술하여 평가자를 용이하게 하고 학생의 자기 주도 학습을 향상 시킬 수 있다고 판단된다. 이러한 상세한 기준을 통하여 다양한 영역에서 평가 도구로 사용할 수 있지만 과목별 특성과 시나리오 구성에 따른 수정 보완 작업이 필요하다. 또한, 임상 판단 과정을 향상 시키고자 하는 학습 목표와 시뮬레이션 상황에 대한 근거를 구체적으로 설정하는 작업이 우선시 될 필요가 있다고 생각된다.

구성타당도를 검증하기 위해 요인분석을 시행한 결과 전체 11문항이 총 3개의 하부요인으로 구분되었다. 이는 원 도구에서 4개의 영역으로 분류된 것과는 차이가 있는데 여기에서 요인으로 묶이지 않은 문항은 ‘해석’ 영역으로 이는 신뢰도 평가와 내용 타당도 평가 과정에서도 가장 낮게 평가되었던 부분이었다. 학생들이 정보를 수집하고 인지하는 단계(Noticing)와 반응(Responding)하는 단계를 관찰을 통해 평가하는 데는 어려움이 없지만, 해석 단계는 현재 수집된 자료를 이해(Making sense of data)하고 우선순위(Prioritizing data)를 결정한 것인지 아니면 사전 학습을 통해 알고 있는 것을 중재로 제공한 것인지를 평가자가 관찰을 통해 평가하는 것이 모호했던 것으로 사료된다. Sideras (2007)의 구성타당도 검증 연구에서도 해석(Interpreting) 단계의 점수가 가장 낮은 것으로 분석되어 이 부분은 LCJR 뿐만 아니라 인지적 영역을 평가하는데 있어서 이용되는 대부분의 도구가 가질 수 있는 제한점이라고 판단된다. 학습 성과를 측정할 때 학생의 인지과정을 학습자의 인지적 회로를 사후 지식으로 점수화하거나 과정을 관찰로 평가 한다는 것 모두에 기본적으로 어려움이 있음을 알 수 있다. 이 때문에 간호대학생의 임상판단과정을 평가하고자 하는 Lasater 평가 도구조차도 이 부분에 대해서는 취약점이 있음을 알 수 있다. 따라서 해석(Interpreting)영역을 보완하는 추후연구와 인지적 영역을 용이하게 평가하는 지속적인 도구 개발이 필요하며, Lasater 도구가 보인 제한점을 보완하기 위해 시뮬레이션 활동 직후에 간단하게 생각의 흐름을 기술하게 하여 이를 해석과정을 평가하는데 활용할 수도 있을 것이다. 임상판단을 포함한 인지과정을 훈련하고 평가하는데 있어서의 어려움을 해결하기 위해 보조적으로 활용될 수 있는 전략으로 비판적 사고 향상을 위한 성찰일지 작성이나, 임상추론망이나 개념지도를 활용하거나, 디브리핑 동안의 구조화된 토론이나 발표 등(Shin & Kim, 2014)을 다양하게 활용하는 것이 보완책이 될 수 있을 것이다. 이들 전략이 임상판단역량에 미치는 효과에 대해서도 지속적인 비교연구가 필요하다고 사료된다. 최근 LCJR을 기반으로 개발한 Shin, Shim, Lee와 Quinn (2014)의 연구에서도 간호대학생의 임상판단을 3개 영역으로 구성하여 구조모형을 이용해 검증하였을 때 높은 타당성을 보였다.

본 연구에서 간호대학생의 시뮬레이션 실습과정에서 보이는 임상판단을 평가하는 도구로 K-LCJR의 신뢰도와 타당도를 확인하였을 때 내적일관성과 문항에 대한 전문가간 높은 합의율을 보였다. 또한 요인분석을 통한 구성타당도에서는 기존 도구에서 제시하고 있는 네 가지 주요 영역 중 인지, 반응, 반영의 세 가지 요인으로 구성되었다. K-LCJR의 표준화된 사용을 위해 향후 반영과 해석영역의 두 가지 영역에 대한 명확한 개념 정립이 필요함을 알 수 있었다. 본 연구는 일개 간호대학 학생들을 대상으로 시행되어 향후 보다 타당성 있는 도구검증을 위해 다양한 대상자를 확보하여 추후 연구를 진행할 필요가 있다.

결 론

이상의 연구 결과를 통해 K-LCJR이 한국 간호 학생의 시뮬레이션 실습을 평가하는데 있어 신뢰성과 타당성 있는 도구임을 알 수 있었다. 간호 시뮬레이션을 위한 이 평가 도구는 실습과정 뿐만 아니라 간호학교육에서 강조되고 있는 학습 성과로서의 임상판단을 평가할 수 있는 객관적인 지표로 사용될 수 있을 것이다. 또한 최근 학습 성과를 강조하는 방향으로 간호교육이 변화하고 있는데 본 연구를 통해 신뢰도와 타당도가 확인된 임상판단 평가도구가 간호학 교육과정을 통해 학생들의 핵심역량이 특히 의사결정능력의 변화를 확인할 수 있는 방법으로 제시될 수 있을 것이다.

본 연구과정에서 임상판단도구의 제한점으로 나타난 해석과 반영의 명확한 개념정립을 할 필요성이 있고, K-LCJR의 수렴타당도 검증 등의 보완을 통해 보다 유용성 있는 시뮬레이션 평가도구가 제시된다면 간호대학생의 임상판단을 효과적으로 촉진할 수 있을 것으로 기대된다.

Notes

Conflict of Interest

No potential conflict of interest relevant to this article was reported.

Acknowledgements

This work was supported by the Basic Science Research Program through the National Research Foundation of Korea, funded by the Ministry of Science, Information/Communication Technology, and Future Planning (KRF 2011-0014034).

References

Adamson K. A.. 2011. Assessing the reliability of simulation evaluation instruments used in nursing education: A test of concept study. Unpublished doctoral dissertation. Washington State University; Washington, USA:
Adamson K. A., Gubrud P., Sideras S., Lasater K.. 2012;Assessing the reliability, validity, and use of the Lasater clinical judgment rubric: Three approaches. Journal of Nursing Education 51(2):66–73. http://dx.doi.org/10.3928/01484834-20111130-03.
Cannon-Diehl M. R.. 2009;Simulation in healthcare and nursing: State of the science. Critical Care Nursing Quarterly 32(2):128–136. http://dx.doi.org/10.1097/CNQ.0b013e3181a27e0f.
Costello A. B., Osborne J. W.. 2005;Best practices in exploratory factor analysis: Four recommendations for getting the most from your analysis. Practical Assessment. Research & Evaluation 10(7):1–9.
Davis A. H., Kimble L. P.. 2011;Human patient simulation evaluation rubrics for nursing education: Measuring the essentials of baccalaureate education for professional nursing practice. Journal of Nursing Education 50(11):605–611. http://dx.doi.org/10.3928/01484834-20110715-01.
Haskvitz L. M., Koop E. C.. 2004;Students struggling in clinical? A new role for the patient simulator. Journal of Nursing Education 43(4):181–184.
Jeffries P. R.. 2005. Simulation in nursing education New York, NY: National League for Nursing.
Kardong-Edgren S., Adamson K. A., Fitzgerald C.. 2010;A review of currently published evaluation instruments for human patient simulation. Clinical Simulation in Nursing 6(1):25–35. http://dx.doi.org/10.1016/j.ecns.2009.08.004.
Kim M. W.. 2006;Development of Objectives in Nursing Clinical Education based on the Nursing Core Competencies. Journal of Korean Academy of Nursing 36(2):389–402.
Kim S. H., Nam H. A., Kim M. O.. 2014;Critical thinking disposition, problem solving process, and simulation-based assessment of clinical competence of nursing students in pediatric nursing. Child Health Nursing Research 20(4):294–303. http://dx.doi.org/10.4094/chnr.2014.20.4.294.
Kwon I. S.. 2002;An analysis on clinical education of pediatric nursing. Korean Journal of Child Health Nursing 8(3):344–356.
Lasater K.. 2007;Clinical judgment development: Using simulation to create an assessment rubric. Journal of Nursing Education 46(11):496–503.
Lasater K.. 2011;Clinical judgment: The last frontier for evaluation. Nurse Education in Practice 11(2):86–92.
Lee J. H., Choi M. N.. 2011;Evaluation of effects of a clinical reasoning course among undergraduate nursing students. Korean Journal of Adult Nursing 23(1):1–9.
Lee J. H., Kim S. S., Yeo K. S., Cho S. J., Kim H. L.. 2009;Experiences among undergraduate nursing students on high-fidelity simulation education: A focus group study. Korean Academy Society of Nursing Education 15(2):183–193. http://dx.doi.org/10.5977/JKASNE.2009.15.2.183.
Mariani B., Cantrell M. A., Meakim C., Dreifuerst K. T.. 2012;Structured debriefing and students’ clinical judgment abilities in simulation. Clinical Simulation in Nursing 9(5):e147–e155. http://dx.doi.org/10.1016/j.ecns.2011.11.009.
McCaughey C. S., Traynor M. K.. 2010;The role of simulation in nurse education. Nurse Education Today 30(8):827–832. http://dx.doi.org/10.1016/j.nedt.2010.03.005.
Moskal B. M., Leydens J. A.. 2000;Scoring rubric development: Validity and reliability. Practical Assessment. Research & Evaluation 7(10):71–81.
Nehring W. M., Lashley F. R.. 2004;Current use and opinions regarding human patient simulators in nursing education: An international survey. Nursing Education Perspectives 25(5):244–248.
Nunnally J. C., Bernstein I. H.. 1994. Psychometric Theory 3rd edth ed. New York, NY: McGraw-Hill.
Rauen C. A.. 2004;Simulation as a teaching strategy for nursing education and orientation in cardiac surgery. Critical Care Nurse 24(3):46–51.
Rhodes M. L., Curran C.. 2005;Use of the human patient simulator to teach clinical judgment skills in a baccalaureate nursing program. Computers, Informatics. Nursing 23(5):256–262.
Seo Y. O., Ahn Y. H., Park K. S.. 2009;Content analysis of experience of nursing students in clinical judgment during nursing practicum. Korean Journal of Adult Nursing 21(2):245–256.
Shin H., Kim M. J.. 2014;Evaluation of an integrated simulation courseware in pediatric nursing practicum. Journal of Nursing Education 53(10):589–594. http://dx.doi.org/10.3928/01484834-20140922-05.
Shin H., Park C. G., Shim K.. 2015;The Korean version of the Lasater clinical judgment rubric: A validation study. Nurse Education Today 35(1):68–72. http://dx.doi.org/10.1016/j.nedt.2014.06.009.
Shin H., Shim K., Lee Y. N.. 2010;Nursing activities identified through pediatric nursing simulation. Journal of Korean Academy of Child Health Nursing 19(2):111–119. DOI: http://dx.doi.org/10.4094/chnr.2013.19.2.111.
Shin H., Shim K., Lee Y. N., Quinn L.. 2014;Validation of a new assessment tool for a pediatric nursing simulation module. Journal of Nursing Education 53(11):623–629. http://dx.doi.org/10.3928/01484834-20141023-04.
Sideras S.. 2007. An Examination of the Construct Validity of a Clinical Judgment Evaluation Tool in the Setting of High-Fidelity Simulation. Unpublished doctoral dissertation. Oregon Health & Science University; Portland, OR:
Suzie K. E., Cynthia F.. 2010;A review of currently published evaluation instruments for human patient simulation. Clinical Simulation in Nursing 6(1):25–35. http://dx.doi.org/10.1016/j.ecns.2009.08.004.
Tanner C.. 2006;Thinking like a nurse: A research-based model of clinical judgment in nursing. Journal of Nursing Education 45(6):204–211.

Article information Continued

Table 1.

Reliability of K-LCJR

Item Cronbach’s α if item deleted Cronbach’s α
Noticing 1  Focused observation .869 .825
2  Recognizing deviations from expected patterns .871
3  Information seeking .877
Interpretation 4  Prioritizing data .874 .75
5  Making sense of data .880
Responding 6  Calm, confident manner .871 .877
7  Clear communication .864
8  Well-planned intervention/flexibility .866
9  Being skillful .872
Reflecting 10  Evaluation/self-analysis .881 .668
11  Commitment to improvement .889
Total .884

K-LCJR = Korean version of the Lasater clinical judgment rubric.

Table 2.

Factor Analysis of K-LCJR

Factor Item Factor Loading Eigen values Accumulative variance (%)
Factor1 (Responding) 9. Being skillful 2.912 5.204 47.3
6. Calm, confident manner 1.351
7. Clear communication 1.017
8. Well-planned intervention/flexibility 0.866
Factor2 (Noticing) 2. Recognizing deviations from expected patterns 2.669 0.576 12.2
1. Focused observation 0.492
3. Information seeking 0.452
4. Prioritizing data* 0.349
Factor3 (Reflecting) 11. Commitment to improvement 1.991 0.282 9.24
10. Evaluation/self-analysis 0.218
5. Making sense of data* 0.193
*

Interpreting.

K-LCJR=Korean version of the Lasater clinical judgment rubric.