하이브리드 애플리케이션을 이용한 초등학생 성폭력 예방 프로그램 개발

Development of a Sexual Abuse Prevention Education Program for Elementary School Students Using a Hybrid Application

Article information

Child Health Nurs Res. 2018;24(1):109-118
Publication date (electronic) : 2018 January 31
doi : https://doi.org/10.4094/chnr.2018.24.1.109
1Division of Nursing · Research Institute of Nursing Science, Hallym University, Chuncheon, Korea
2Graduate School of Nursing, Ewha Womans University, Seoul, Korea
3Graduate School of Nursing, University of North Carolina at Greensboro, USA
김신정1, 강소라,2orcid_icon, 이정민3
1한림대학교 간호학부 · 간호학연구소
2이화여자대학교 일반대학원 간호학과
3노스캐롤라이나대학교 간호대학원
Corresponding author So-Ra Kang https://orcid.org/0000-0003-3783-8854 Graduate School of Nursing, Ewha Womans University, 52 Ewhayeodae-gil, Seodaemun-gu, Seoul 03760, Korea TEL +82-2-3277-2875 FAX +82-2-3277-2850 E-MAIL solarsolar@nate.com
*이 논문은 2015년도 정부(교육부)의 재원으로 한국연구재단 기초연구사업 (NRF-2015R1D1A1A01060257)의 지원을 받아 수행된 연구임.
*This research was supported by Basic Science Research Program through the National Research Foundation of Korea(NRF) funded by the Ministry of Education(NRF-2015R1D1A1A01060257).
Received 2018 January 4; Revised 2018 January 19; Accepted 2018 January 19.

Trans Abstract

Purpose

The purpose of this study was to develop a sexual abuse prevention education program for elementary school students.

Methods

Orem’s Self-Care Theory (1995) and Seels & Richey’s ADDIE model (1994) for developing learning materials were applied to develop this program.

Results

The development progress of the program consisted of 5 distinct phases: analysis, design, development, implementation, and evaluation. The contents was classified into 6 categories: the definition of sexual abuse, how to deal with sexual abuse, the situational reaction, areas with a high risk for sexual abuse, related organizations, and a wrap-up quiz. The app was easily accessible for elementary school students.

Conclusion

A sexual abuse prevention program using a hybrid app may be an effective way to reach elementary students, and further research for children of various ages is required.

서론

1. 연구의 필요성

현재 우리나라에서 아동 대상의 성범죄는 계속해서 발생하고 있으며, 이는 심각한 사회적 문제로 대두되고 있다. 사회의 관심과 정부의 대책 수립에도 불구하고, 지난 10년간 아동을 대상으로 한 성범죄의 발생은 2004년 11,105건에서 2014년 29,863건으로, 2.7배에 해당하는 매우 빠른 증가 속도로 추산된다[1]. 이러한 성범죄 중, 아동 대상의 성폭력은 잔혹하고 위험한 수준에 이르는 매우 심각한 정도로, 기존의 예방 정책의 효과가 미약함을 알 수 있다[2]. 더욱이 아동 대상의 성폭력이 근절되지 않고 오히려 다양한 형태로 증가하고 있으므로 아동 성폭력 예방을 위한 효율적인 방안이 모색되어야 할 시점에 있다.

13세 이하에 해당하는 아동의 성폭력 실태 조사에 의하면, 아동의 발달연령 중 학령기 아동이 45.6%로 매우 높은 비율을 차지하고 있다[1]. 학령기에 해당하는 초등학생은 학령전기의 아동에 비하여 사회생활의 범위가 증가하여 외부 환경의 영향을 받게 되지만 부모의 감독과 보호를 상대적으로 덜 받게 되므로 위험에 처할 수 있는데 이에 대한 대처 능력이 부족하여 사고를 당할 가능성이 성인에 비해 높다[3-5]. 반면, 구체적 조작기의 발달 특성상 지식을 획득하고 규칙을 학습할 수 있는 능력도 높아 교육을 통한 뚜렷한 효과를 기대할 수 있는 시기이다[6]. 또한 최근 사춘기 연령이 점점 낮아져 초등학생이 성적으로 조숙한 추세로 초등학교 아동은 사춘기를 지나며 성에 대한 태도를 형성하게 되는데, 이 시기의 성폭력 상황 발생으로 인한 신체적 손상이나 외상 후 스트레스 등의 심리적 문제가 청소년기와 성인기까지 지속적인 영향을 주게 되므로 성과 관련된 문제와 성폭력의 예방 등에 대해 자세히 교육받아야 할 시기에 있다[7]. 따라서 초등학생을 대상으로 성폭력 예방을 위한 프로그램을 실시하는 것은 필수 불가결한 것이라고 판단된다.

아동의 성폭력을 예방하기 위하여 국가에서는 교육법 내에서 학교별 여건과 수준을 고려하여 연간 15시간씩의 성교육을 실시하도록 권고하고 있다[8]. 또한 성폭력 사건이 발생할 때마다 대책 방안 마련을 위해 고심하며 각종 성폭력 예방을 위한 방안을 제시하고 있으나 현실적으로 그 실효성은 적은 편이다. 법적인 강화 방안에도 불구하고 아동의 연령을 고려한 교육 프로그램은 여전히 부족하고, 전문상담교사 등의 부재 등 지지적 기반이 형성되어 있지 못하며, 학교의 상황에 따라서는 이러한 교육이 부수적인 것으로 간주되어 체계적인 교육과정이 진행되지 못하는 등의 한계점을 가지고 있다[9]. 따라서 초등학생의 성폭력 예방을 위하여 현실적인 여건과 환경을 바탕으로 효율적으로 교육할 수 있는 방안이 모색되어야 할 시점이다.

최근 세계는 스마트폰의 확산으로 모바일 기반의 웹 미디어 시대가 열렸으며, 우리나라의 스마트폰 보급률은 2016년 91%로, 전세계적으로 볼 때 매우 높은 수치이다[10]. 스마트폰은 이미 국민의 생활과 밀접하게 관련되어 있으며 실제로 최근에는 스마트폰의 하이브리드 애플리케이션을 통해 제공되는 많은 정보가 실생활에서 유용하게 사용되고 있는데, 특히 초등학생 이상의 연령에서는 스마트폰에서 제공되는 각종 정보에 매우 민감하다[11].

하이브리드 애플리케이션은 최근 주목받는 애플리케이션 개발 기술로 융합이라는 의미를 가지고 있으며, 네이티브 애플리케이션과 모바일 웹 애플리케이션의 장점을 모아 구현한 것으로, 모바일 웹(mobile web)과 애플리케이션(application, app)의 장점을 이용하여 앱(app)으로 웹(web)을 만들고 앱(app)과 웹의 호환이 용이한 형태라고 할 수 있다[12]. 초등학생의 스마트폰 보급률도 저학년 25.5%, 고학년의 경우 59.3%로 지속적으로 증가하는 추세이므로[13], 성폭력 예방을 위해서 성폭력 예방 콘텐츠와 하이브리드 앱이라는 기술적 기능을 통합하여 실질적으로 활용된다면 모바일과 웹을 이용한 접근성의 증가로 교육의 효율성이 향상될 것으로 사료된다.

국내에서 이루어진 아동 성폭력과 관련된 연구를 살펴보면, 성과 관련된 조사연구나 강의 위주 또는 시청각 교재 등으로 개별성을 고려한 성교육 프로그램을 개발 및 검증[14-18]하는 등의 연구가 있었다. 그러나 효과적인 교육을 위해서는 시대와 상황의 변화에 따라 그 내용과 전달 방법이 달라져야 함에도, 이를 반영하여 초등학생을 위한 성폭력 예방교육 프로그램을 개발한 연구는 아직 부족한 실정이다. 또한, 아동 성폭력 교육에 앱을 활용한 연구[19]가 있었으나, 하이브리드 앱을 통해 다각적인 접근성을 높이지는 않았음을 알 수 있었다.

따라서 본 연구에서는 하이브리드 앱을 이용하여 앱과 모바일 웹, 그리고 웹에서의 접근성을 높힌 초등학생 대상 성폭력 예방교육 프로그램을 개발하여 현장에서 실제적으로 적용할 수 있는 지침이 되는 자료를 제공하며, 초등학생에게 성폭력에 대한 올바른 인식을 심어주고 다양한 성폭력 상황에서의 예방행동을 숙지하도록 함으로써 초등학생의 안전을 도모하여 궁극적으로는 아동 건강증진의 목표를 달성하고자 한다.

2. 연구 목적

본 연구의 목적은 하이브리드 앱을 이용한 초등학생 대상의 성폭력 예방교육 프로그램을 개발하여 실제 현장에서 교사나 보건교사가 활용할 수 있도록 성폭력 예방을 위한 지침의 기초자료를 제공하는 것이다.

3. 이론적 기틀

본 연구는 Orem의 자가간호이론[20]을 이론적 기틀로 적용하였다. 자가간호란 개인이 개인의 생명, 건강, 그리고 안녕을 유지하기 위하여 일상생활에서 수행하는 활동의 실제를 말하는 것이다[20]. Orem의 이론에서는 자가간호 요구와 자가간호 능력이 자가간호 수행의 결정적 요인으로, 자가간호 요구보다 자가간호 능력이 부족 할 때 자가간호 결핍이 나타나게 되며, 자가간호 능력이 자가간호 요구 이상으로 크다면 자가간호가 가능하게 된다. 자가간호 능력의 향상을 위한 효과적인 방법으로 간호중재방법 중 하나인 간호교육을 수행할 수 있다. 본 연구에서는 연구대상자인 초등학생을 자신을 보호하고 안전한 행동을 하고자하는 자가간호 요구를 가진 존재로 규정하고 아동의 발달 수준에 적합성이 고려된 방법으로 구성된 성폭력 예방 프로그램을 개발하여 적용함으로써 초등학생의 자가간호 능력을 최대한 발휘하도록 돕고자 하였다. 즉, 초등학생이 자가간호 행위자로서 성폭력 예방 프로그램을 통해 자가간호 능력이 향상되어 스스로 자가간호를 달성하도록 돕는 것이다(Figure 1).

Figure 1.

Framework of this study applying self-care theory.

연구 방법

1. 연구 설계

본 연구는 하이브리드 앱을 이용하여 초등학생의 성폭력 예방교육 프로그램을 개발하여 현장지침의 기초자료를 제공하기 위한 방법론적 연구이다.

2. 연구 도구

1) 교수설계 모형

본 연구의 프로그램을 개발하는 과정은 Seels와 Richey의 ADDIE 모형[21]을 기틀로 사용하였는데, 이는 현재까지도 널리 활용되고 있는 교수설계 모형으로 교수의 과정을 하나의 체계(system)로 보고 학습자, 교사, 수업 자료, 학습 환경 등이 학습이라는 목적을 위해 유기적으로 상호 작용하는 것으로 보았다[21]. ADDIE 모형이 본 연구에 가장 적합한 이유는, 목적을 설정하고 기존 문헌을 분석하며 학생과 교사의 교육 요구도를 분석하여 프로그램을 개발하고 이를 현장 전문가 집단을 통한 평가와 피드백 후 재반영하도록 진행되어 각 단계가 상호적이고 정교하기 때문이다. 따라서 프로그램은 분석(Analysis), 설계(Design), 개발(Development), 실행(Implementation), 평가(Evaluation)의 과정을 거쳐 개발되었다.

2) 교육전략

교육 프로그램에 대한 전략으로는 ARCS 이론[22]의 교수 전략인 주의(Attention), 관련성(Relevance), 자신감(Confidence), 만족감(Satisfaction)의 요소를 사용하였다. 설계 시 동기 유발로 각 카테고리에 대한 주의를 집중시키고자 하였으며, 흥미를 유발하여 교육의 효과를 높이기 위해 콘텐츠 자체가 재미가 있으며 자신의 실제적 경험과 관련성이 있는 내용으로 구성하였고, 교육 후에도 실천으로 이어질 수 있도록 자신감 향상을 위해 격려하며, 학습 후 평가 단계에서 학생들이 쉽게 풀 수 있는 문제를 제공하여 확인해 보도록 함으로써 잘 할 수 있다는 만족감을 느끼도록 하였다. 이는 교육의 효과를 극대화 하고 교육내용이 실질적 실천으로 이어지게 하는 데 중점을 두기 위함이었다. 따라서 ARCS 이론을 적용함으로써 성폭력 예방 프로그램의 효과를 극대화 하고 교육 후 실천 효과를 높이고자 하였다. 또한, 이렇게 ADDIE 모형[21]과 ARCS 이론을 서로 보완적, 병행적으로 사용한 방법은 ADDIE 모형과 ARCS 이론이 서로 상호작용하여 교육의 효율성을 높여준 선행연구에 근거하였다[23].

3) 수행 절차 및 윤리적 고려

본 연구는 연구의 목적, 내용, 범위, 방법, 내용 선정에 대한 연구계획서를 제출한 H대학교의 IRB 승인을 받아 이루어졌으며(HIRB-2017-123), 연구 진행 절차 전반에 윤리적 고려를 하였다. 특히 초등학생의 참여를 위해 C시 소재 초등학교의 학교장, 담임교사, 보건교사에게 본 연구의 목적과 절차에 대해 설명한 후 허락을 받았다. 이후 1~3학년 초등학생 10명에게 보건교사가 직접 연구목적과 진행 절차에 대해 충분히 설명하였다. 또한 익명이 보장되고 본인의 의사에 따라 언제든지 참여 철회가 가능하며, 조사된 자료는 연구 외의 다른 목적으로 절대 사용되지 않을 것임을 설명한 후 자발적으로 동의하는 대상자로부터 동의서에 서명을 받았다. 하이브리드 앱을 이용한 초등학생 성폭력 예방 프로그램 개발은 2017년 10월에서 2017년 12월까지 연구방법에 제시한 절차에 따라 이루어졌다.

연구 결과

1. 분석(Analysis)

교육 요구도, 학습자, 환경과 과제를 분석하기 위하여 성폭력 예방교육 프로그램과 관련된 문헌 고찰을 수행하였으며 초등학교 교사 4명, 보건교사 2명, 간호학과 교수 3명을 포함한 전문가 집단이 2시간씩, 4회에 걸친 심층적인 토의를 진행하였다. 이에 따라 초등학생 성폭력 예방 프로그램에 필요한 내용 구성으로는 ‘아동 성폭력의 개념’, ‘아동 성폭력 대처’, ‘상황별 대처법’(영상), ‘우범지대’, ‘관련기관’, ‘확인학습’의 요소가 정리되었다.

선행연구[8]를 통해서 초등학생과 교사의 성폭력 예방에 대한 교육 요구도를 파악하였다. 초등학생과 교사의 요구도에서는 기존의 성폭력 예방교육에 대한 만족도가 낮게 나타났는데, 이는 초등학생이 직접적이고 구체적인 내용을 원하지만 실제 교육의 내용은 초등학생이 원하는 수준에 미치지 못하기 때문임을 알 수 있었다. 따라서 구체적인 내용을 포함하여 해당 연령에서의 필요성과 요구도에 부합하고자 하였다. 또한 초등학생과 교사의 요구도가 높은 주제는 성폭력 대처 방법과 ‘인간존중 의식’, ‘성폭력 상황의 인지’, ‘성 가치관’ 등으로 나타나 해당 내용을 포함하여 구성하였다. 초등학생의 지식 정도에서 ‘성에 대해 말하는 것은 부끄러운 것이다’, ‘여성이 강하게 저항하면 성폭행을 예방할 수 있다’는 등의 문항에 오답률이 높아 잘못된 지식을 가지고 있는 부분이 나타났는데, 이에 따라 초등학생의 발달연령을 고려하여 이들의 지식 정도에 적절한 내용을 다루고자 하였다. 또한 현재까지 초등학생을 대상으로 한 성폭력 예방교육은 주로 보건교사가 도서, 녹음자료, 동영상을 활용한 시청각 교육법 또는 강의식 방법을 이용한 교육으로 이루어지는 것으로 나타났는데, 초등학생의 발달 특성상 배우고자 하는 의욕이 강하고 학습에 적극적인 태도를 보이며 학습효과가 다른 발달 단계의 아동에 비해 좋은 특성[6]이 고려되어야 하므로 일방적인 전달 방법이 아닌 역할극, 인형극 등의 적극적인 방식을 활용하고자 하였다.

2. 설계(Design)

초등학생이 이해하기 쉽고 실제 상황 대처에 도움이 되는 실용적인 교육을 개발하여 아동 성폭력을 예방하고 궁극적으로 초등학생의 건강 증진을 이루도록 하는 것을 목표로 하여 프로그램을 설계하였다.

본 연구의 교육 프로그램은 「아동 성폭력의 개념」, 「아동 성폭력 대처」, 「상황별 대처법」, 「우범지대」, 「 관련기관」, 그리고 「확인학습」의 6개의 영역으로 구성하였으며, 해당 내용은 모두 모바일 웹과 인터넷 홈페이지로 연결되어 동일한 구성을 이루고 있다. 앱에서 테이블 뷰 각각의 메뉴를 터치하면 해당 영역으로 입장할 수 있다(Table 1).

Content of the Sexual Abuse Prevention Program Using a Hybrid App

「아동 성폭력의 개념」에서는 아동 성폭력의 정의, 예, 원인, 빈도, 가해자의 유형 등 초등학생에게 아동 성폭력 관련 지식에 대한 이해도를 높일 수 있도록 구성하였다.

「아동 성폭력 대처」에서는 좋은 느낌과 싫은 느낌에 대한 이해, 다양한 상황에 대한 대처 및 호루라기 소지 등의 예방법을 초등학생이 이해하기 좋은 그림으로 표현하여 이해를 도왔으며, 총 10개의 그림과 설명으로 구성하였다.

「상황별 대처법」에서는 아동에게 발생 가능한 상황을 5가지로 제시하여 이를 인형극을 통한 동영상으로 구동할 수 있도록 하였다. ‘놀이터에서 놀고 있을 때 낯선 사람이 다가와 내 몸을 만지려 할 때’, ‘등하교 길에 낯선 사람이 맛있는 것을 사준다고 같이 가자고 할 때’, ‘집에 혼자 있을 때 낯선 아저씨가 문을 열어 달라고 할 때’, ‘친구를 기다리는 공원에서 모르는 사람이 길을 알려 달라고 할 때’, ‘엘리베이터 안에서 갑자기 뒤에 서 있던 아저씨가 강제로 안거나 만지려 할 때’ 등의 구체적인 상황을 인형극으로 꾸며 주인공이 단호한 대답과 대처를 하는 영상을 구현하였으며, 인형극의 끝 부분에서는 상황에 대한 설명과 대처 방법에 대해 읽을 수 있도록 화면에 선명한 글씨로 나열하고 이해도를 높일 수 있도록 내레이션 하였다.

「우범지대」에서는 ‘성범죄자알림e’와 링크를 연계하여 성범죄자들의 거주 상태를 파악할 수 있도록 하였다.

「관련기관」에서는 도움이 될 만한 상담을 요청할 수 있는 청소년 보호 전화번호와 아동센터의 주소를 링크하여 필요시 바로 해당 홈페이지로 이동 가능하도록 하였다.

「확인학습」에서는 16문항의 간단하고도 초등학생이 풀기 쉬운 “Yes” 또는 “No”로 답하는 단답식 퀴즈를 제공하여 학습한 내용을 적용해 보도록 하였다. 문제가 제공되고 학생이 “Yes”나 “No” 아이콘을 클릭하면 정답과 오답 여부가 화면에 나타난 후 다음 문제로 이동하도록 설계되었다.

교육 프로그램에 대한 전략으로 ARCS 이론[22]의 각 요소가 적용되어 메인 화면에서 입장하기를 직접 누르도록 하고, 선명한 색채로 주의(Attention)를 집중하도록 하였으며, 실생활과 관련된 예시를 상황별 대처 인형극에서 다루어 관련성(Relevance)을 증진시켰고, 구체적 상황에 어떻게 대처해야 할지를 명시함으로써 상황의 대처에 대한 자신감(Confidence)을 가질 수 있도록 하였으며, 마지막으로 확인학습에서도 “Yes” 또는 “No”의 버튼으로 주의를 집중시키며 쉬운 문항으로 정답을 맞혔을 때의 학습자의 만족감(Satisfaction)이 상승하여 학습에 대한 동기를 격려하도록 설계하였다.

3. 개발(Development)

개발은 스마트폰의 범용 운영체제(Operating System, OS)인 Android를 기반으로 Google play console에 등록하여 이루어졌다. 화면은 Photoshop CS4 program을 이용하여 초등학생이 이해하기 쉽고 주목할 수 있는 뚜렷한 색상과 서체 및 글자 크기를 사용하여 제작되었다. 글 내용은 초등학생의 문장 독해력을 감안하여 핵심을 간결하고 쉬운 단어로 전달하였다. 그리고 각 내용들은 터치로 넘겨서 쉽게 확인할 수 있도록 개발하였다. 또한 초등학생이 이해하기 용이하도록 실제적인 인형극을 제작하여 동영상으로 플레이 할 수 있도록 하였고, 확인학습은 게임과 같은 퀴즈 형식으로 “Yes” 또는 “No”를 선택하고 정답을 알 수 있도록 시각적으로 처리하여 기억에 남도록 개발하였으며, 정답과 오답 시 다른 반응이 나와 정답 유무를 바로 알고 기억하도록 설계하였다. 하이브리드 앱으로써 앱에서 모바일 웹으로도 접속이 가능하며 컴퓨터 인터넷 상의 홈페이지에서도 접속이 가능하도록 개발되었다. 홈페이지의 주소는 다음과 같다(https://svprevention.modoo.at/).

4. 실행(Implementation)

본 교육 프로그램을 개발한 후 전문가 집단을 활용하여 내용의 타당도를 검증하고 이를 지속적으로 수정하는 단계를 거쳤다. 설계된 교육 프로그램의 평가를 위한 도구로서 전문가용 타당도 설문지는 Questionnaire User Interaction Satisfaction (QUIS)[24]을 앱 평가에 적절하도록 보완하여 구성하였다. 하이브리드 앱 교육 프로그램의 타당도를 평가하는데, 이는 전반적 만족도(방법, 영향력, 흥미성, 난이도), 화면 구동(캐릭터, 배열순서), 시스템 정보와 능력(용어의 사용과 기술, 속도, 위치), 학습(학습자의 요구 반영, 확인학습의 유용성)에 대한 18개 문항으로 구성되어 10점 척도로 평가하였다. 초등학생을 위한 평가 도구는 총괄 평가지로 시행하였고, 총괄 평가지는 교육차시 구성의 적절성, 횟수와 양의 충분성, 목표의 명시, 학생 수준의 적합성, 교육내용의 흥미, 교육내용의 효율성, 교육 방법의 효과성, 교육시간의 적절성, 전반적인 만족도를 포함한 8개 문항의 4점 척도로 구성되었다. 보완된 평가도구는 초등학교 교사 4명, 보건교사 2명, 간호학과 교수 3명을 포함한 전문가 집단의 내용 타당도 조사에서 Content Validity Index (CVI)점수가 모든 항목에서 80% 이상으로 나타나 타당한 것으로 검증되었으며[25], 개발된 앱의 평가에 적절한 도구들로 밝혀졌다.

또한 교육 프로그램으로서의 적절성 여부와 절차상의 문제점 등을 알아보기 위해, 초등학생 10명을 대상으로 성폭력 예방교육 프로그램을 실시하여 교육내용의 중요성, 이해도, 흥미 등을 파악하였다. 예비 교육 프로그램의 결과를 토대로 교육 프로그램의 내용이나 활동 등을 수정 및 보완하여 최종적인 하이브리드 앱을 이용한 교육 프로그램을 완성하였다.

5. 평가(Evaluation)

본 프로그램의 개발과 실행 후 전문가 집단의 평가에서 총 만족도는 10점 만점에 9.76±0.18점으로 높게 나타났다. 전반적인 만족도(9.78±0.33)에서 이용의 흥미(10.00±0.00)와 이용방법의 용이성(9.80±0.42)이 가장 높게 나타났으며, 활성화(9.80±0.42), 욕구 만족(9.70±0.48), 영향력(9.60±0.51) 순으로 높게 나타났다. 화면 구동(9.68±0.26)은 캐릭터의 사용(9.80±0.42), 중요한 부분의 요약과 강조(9.70±0.48), 정보 구성(9.50±0.71), 화면 배열(9.70±0.48)을 평가하였고, 용어와 시스템 정보(9.68±0.31)에서의 만족도는 용어 사용의 기술(9.90±0.32), 메시지의 위치(9.70±0.48), 진행 속도(9.30±0.82), 사용자의 요구 반영(9.80±0.42)이 평가되었다. 학습의 만족도(9.88±0.14)는 학습의 용이성(10.00±0.00), 학습자가 알기 쉬움(9.90±0.32), 학습자의 요구 반영(9.80±0.42), 간결성(9.70±0.48), 확인학습의 유용성(10.00±0.00)을 평가하였다. 이러한 평가 결과, 학습의 용이성과 학습자가 알기 쉬움, 확인학습의 유용성에서 가장 높은 점수를 나타내었다(Table 2).

Experts' Satisfaction with the App (N=10)

화면 구동에 있어 중요한 부분의 요약과 강조, 정보 구성, 화면 배열에 있어서 전문가의 코멘트를 받아 큰 글자 크기를 사용하고 내용을 요약적 구성하여 강조하였으며, 눈에 잘 띄도록 화면 배열을 한 페이지 씩 구분하여 배열하였다. 용어와 시스템 정보와 능력 면에서 진행 속도의 향상을 위해 불필요한 화면 구동을 제거하였다.

학교 현장에서는 우선적으로 10명의 1~3학년 초등학생을 대상으로 예비조사를 실시하여 초등학생이 직접 실행 후 평가하도록 하였다. 예비조사에서는 총 8문항 중 이해도(3.90±0.32), 흥미성(3.90±0.32), 전반적 만족도(3.90±0.32), 교내 교육 희망(3.90±0.32) 항목이 가장 높은 점수를 나타냈으며, 교육 요구도 반영(3.70±0.48) 항목이 가장 낮게 평가되었다. 예비조사 결과 전반적으로 높게 측정되어 전체 평균은 3.84±0.28점이었다. 흥미에 있어 동영상을 통한 인형극은 이해하기 좋다는 평가를 받았으며, 사용된 단어가 어렵다는 평가를 받아 어려운 단어를 쉬운 단어로 수정하였다(Table 3). 다음은 최종 완성된 프로그램 중 주요 화면의 일부와 웹페이지의 화면이다(Figure 2).

Elementary Student's Satisfaction with the App (N=10)

Figure 2.

Screenshot of the smartphone-based app, web app and web.

논의

본 연구는 아동 대상 성폭력 관련 범죄가 급증하고 있는 현실을 고려하여, 아동 성폭력 피해자 중 가장 많은 비율을 차지하고 있는 초등학생을 대상으로 초등학생이 직접 사용할 수도 있고, 초등학생을 대상으로 교육할 때에는 교육하는 교사에게 도움이 되어 직접적으로 일선 현장에서 실제 활용할 수 있는 성폭력 예방 프로그램을 개발하고자 노력하였다.

본 연구의 프로그램 내용 구성은 성폭력 예방을 위해 필요한 개념과 지식, 상황별 대처 등의 내용을 다각적으로 충분히 전달하기 위해 아동 성폭력 예방을 위한 문헌고찰 및 요구도 분석을 시행하고 이에 대한 전문가의 자문을 참조하였다. 기존의 아동 성교육 프로그램과 관련된 연구에서는 성폭력 예방이 주로 성교육이라는 커다란 영역의 일부로서 다루어지고 있었다. 즉, 성교육에서 다루어지는 성개념, 성차별, 이성 교제, 신체발달, 성심리 발달 등과 같이 다양한 주제 중 한 가지로 성폭력이 포함되어 있었다[16,17]. 초등학생 대상 성폭력 예방교육 앱 프로그램을 개발한 국내연구[19]에서는 내용 구성에 있어 제한적이기는 하나 실내외에서의 성폭력 상황 설명과 대처, 퀴즈를 포함하여 성폭력 예방 교육에 중점을 둔 본 연구와 일치하였으며, 프로그램 중재 후 결과에서 성폭력 인지와 성폭력 상황 대처 기술이 증가하였다. 따라서 성폭력 예방 교육 프로그램을 주 내용으로 하여 다양한 정보를 포함한 본 연구의 성폭력 예방 프로그램 하이브리드 앱을 활용하면 성폭력 예방 교육의 효율성이 증가할 것으로 생각된다.

본 연구에서는 다양한 방법을 적용하여 학습 효과를 극대화할 수 있도록 하였다. 교육 전략으로 Keller [22]의 ARCS 이론을 사용하여 학습자가 과거의 경험과 관련하여 배우고자하는 최적의 심리적 상태로 준비되도록 도왔다. 학습자의 주의집중(Attention)을 위하여 초등학생의 정서에 적합한 뚜렷하고 선명한 색채와 글자체 및 글자 크기를 사용하였으며 인형극 동영상을 활용하였다. 관련성(Relevance)을 확립하기 위해 일상생활에서 발생 가능한 실제 사례를 제시하였는데, 이러한 실제적인 사례를 적용하는 것은 초등학생에게 실제로 일어날 수 있는 일이라는 현실감을 주고 자각할 수 있는 계기가 될 것으로 생각된다. 또한, 자신감(Confidence)을 향상시키기 위해서 실제 대응 방법을 따라해 볼 수 있도록 제시하였다. 또한 앱의 다양한 컨텐츠를 통해 배운 내용을 쉽고 유익한 확인학습을 통해 스스로 문제를 풀고 정답을 맞추어 볼 수 있도록 함으로써 만족감(Satisfaction)의 기회를 제공하였는데, 이러한 만족감 부여를 통한 학습 방법은 초등학생의 행동의 변화에 매우 효과적이라고 보여진다. 초등학생에게 수업으로 성교육을 진행한 국내 연구[18]에서도 교육전략으로 ARCS가 사용되었는데, 그 결과 성지식과 성태도가 향상되었다고 보고하였다. 그리고 앱을 이용하여 초등학생에게 성폭력 예방 교육을 시행한 또 다른 국내 연구[19]에서는 교재 학습보다 애니메이션 등의 사용으로 학습자의 집중과 자신감, 만족도가 증가하였다고 보고하였다. 따라서 초등학생 성폭력 예방을 위해 본 연구와 같이 다양한 교육 방법을 개발하고 검증을 통해 적절한 방법을 찾는 것은 그 의의가 크다고 생각된다.

본 연구와 기존의 연구의 차이점을 살펴보면, 본 연구에서는 Orem의 자가간호 이론[20]을 이론적 기틀로써 적용한 점이다. 아동은 성장을 하는 과정에서 자가간호에 대한 책임감을 가지면서 자가간호를 수행할 수 있게 되므로[20], 주입식 교육이 아닌 자기주도적인 과정을 통해 자가간호를 수행하도록 돕는 것이 교육의 효과를 높일 수 있다고 생각한다. 그러나 기존의 연구에서는 자가간호의 달성보다는 강의나 시청각 교재를 단편적으로 학습하는 경우가 많았다[16-18]. 초등학생을 대상으로 한 건강교육과 관련된 연구[26,27]에서는 자가간호 관련 지식을 전달하는 교육 프로그램의 필요성을 확인한 바 있어, 자가간호 능력을 증가시켜 자가간호를 달성하는 것은 유용한 접근법임을 시사한다. 따라서 본 초등학생 성폭력 예방교육을 통해서 성폭력 예방 지식이 증가할 뿐만 아니라 자가간호 능력 또한 향상될 수 있음을 추측해 볼 수 있다.

본 성폭력 예방 프로그램은 하이브리드 앱으로 개발되었는데, 하이브리드 앱은 최근 앱을 개발하는데 많이 시도되어지고 있는 방식으로 앱 다운 후 앱 실행을 통해서, 또한 모바일 인터넷 내에서의 모바일 웹 실행, 또는 컴퓨터 기반 홈페이지 실행을 통해서와 같이 다방면으로 접근이 가능하다는 장점이 있다[12]. 이는 기존의 스마트폰 앱의 접근성에 더욱 편의성을 증가시키고 확대한 경우이다. 따라서 초등학생은 스마트폰이 있는 경우 앱과 모바일 웹에서, 또는 스마트폰이 없거나 접근이 불가능한 경우에는 인터넷 홈페이지를 통해 학습을 진행할 수 있다. 초등학생을 대상으로 실험군에게는 앱, 두 개의 대조군에게는 각각 홈페이지와 교재를 이용하여 성폭력 예방교육 프로그램의 효과를 검증한 연구[19]를 보면 모든 집단에서 성폭력에 대한 인지와 대처 기술이 향상되었으나, 실험군과 대조군 간의 차이는 유의하지 않은 것으로 나타났다. 따라서, 앱과 웹의 접근성을 모두 갖춘 하이브리드 앱을 이용한 본 교육 프로그램을 적용한다면 자기 주도적으로 반복 학습이 가능한 기회의 증가로 인해 교육의 효율성을 높일 수 있을 것으로 사료된다.

본 연구의 프로그램 평가는 ADDIE [21]의 과정평가에 해당된다. 과정평가는 분석, 설계, 개발 과정에서 개발된 교육 자료의 효과성, 효율성을 종합적으로 점검하고 문제점을 발견하여 수정하는 평가로 프로그램의 질을 개선할 수 있으며, 총괄평가는 프로그램이 개발되어 모두 실행된 후 프로그램의 가치를 판단하기 위해 효과성, 효율성을 종합적으로 평가하는 것이다. 대부분의 아동 성교육과 관련된 프로그램 개발 연구에서는 만족도를 객관적으로 측정하는 과정이 생략되고, 전체 프로그램에 대한 총괄평가만이 진행되었다[16-18]. 본 연구에서는 평가단계에서 도구를 이용하여 전문가와 초등학생의 만족도를 객관적으로 측정하였으며 그 결과, 대체로 만족하는 수준으로 나타났다. 또한, 수정 요구 사항을 프로그램에 반영하여 프로그램의 질을 높이고자 노력하였다. 따라서 교육의 수혜자인 초등학생의 만족도를 조사하고 이를 바탕으로 요구 사항을 적극 반영한 본 연구의 프로그램은 추후 중재 연구 실행을 위한 안정성을 확보한 것으로 볼 수 있다.

본 연구에서 개발한 프로그램은 아동의 성폭력 사고 예방에 실질적인 도움이 될 것으로 생각되므로 대상자들이 사용할 수 있도록 이를 알리고, 학교 현장에서도 이를 보급하는 노력이 이루어지길 바란다. 본 연구는 초등학생을 대상으로 하였으나 추후 본 연구를 기반으로 다양한 발달단계에 있는 아동을 대상으로 한 성폭력 예방 프로그램 개발이 진행되기를 기대한다. 또한 성폭력 예방 내용과 방법 등은 시대와 사회의 요구에 따라 변화하므로, 초등학생의 흥미와 관심을 끌 수 있는 교육 자료를 지속적으로 개발하고 개발된 자료를 보급하기 위한 노력도 계속되어야 한다고 생각한다. 부가적으로 사회 · 국가적으로도 충분한 시간 이상의 성폭력 예방교육 확보나 통합된 교육 방법의 모색 등 법적, 제도적 지원이 뒷받침 된다면 성폭력 예방교육은 더욱 실효를 거둘 것으로 사료된다.

본 연구는 간호연구 측면에서 초등학생인 학령기 아동의 건강증진을 위해 넓은 관점을 제시한 것으로 생각된다. 본 연구를 통해 초등학생의 성폭력 예방을 위한 전반적인 내용을 파악하고 이를 통해 학령기 아동의 건강 증진에 기여할 수 있을 것이다. 또한 본 연구는 간호실무적 측면에서 하이브리드 앱을 이용한 성폭력 예방 프로그램을 개발하고 이를 평가함으로써 초등학교에서 보건교사나 일반교사가 아동의 성폭력 예방을 위한 상담이나 정보를 제공할 때 이를 효과적으로 활용할 수 있는 자원을 제공하였다고 본다. 본 연구에서 개발한 하이브리드 앱은 성폭력 예방 프로그램을 교육적 측면과 기술적 기능을 접목시켜 개발함으로써, 그 유용성이 향상되었고 초등학생 교육 시 실제적으로 수업현장에서 활용될 수 있어 성폭력 발생 예방에 직접적으로 기여하며 아동 건강에 이바지 할 수 있을 것으로 기대된다. 본 연구에서 개발한 하이브리드 앱은 간호교육 측면에서 앱에 포함된 초등학생 성폭력 예방내용의 구성이 단편적이거나 일률적인 아닌, 포괄적이고 대상자 중심적인 방식으로 구성되어 효율적인 체계성에 그 의의가 있다.

간호사가 성폭력 예방 교육 프로그램을 개발하고 제공하는 것은 바람직한 일이라고 할 수 있는데, 실제로 외국의 아동 청소년 대상의 연구[28]에서 전문 의료진의 성교육 프로그램에 참가자를 모집하였을 때 해당 학교의 아동 중 98%가 자발적으로 등록하여 의료진 교육에 대한 신뢰감을 확인할 수 있었으며, 전문 의료진이 시행한 정확한 교육은 지식과 태도에서 유의한 결과를 나타내었다. 따라서 국내에서도 아동의 성과 발달에 대한 전문적인 의료지식을 가진 간호사가 성폭력 예방 프로그램 개발에 적극적으로 참여함으로써 그 효과를 높일 수 있을 것으로 본다.

본 연구가 아동 성폭력 예방 교육 프로그램의 새로운 관점을 제시하였지만, 소수 인원의 단일 초등학교 학생을 대상으로 평가가 이루어졌으므로 일반화시키기에는 한계가 있다. 따라서 다양한 지역의 다수의 초등학생들을 대상으로 지속적인 중재 연구를 통해 효과의 검증을 제언한다. 이후 성별의 차이에 따른 차별화된 교육, 또는 다양한 발달 단계의 아동을 위한 하이브리드앱 기반 아동 성폭력 예방 프로그램 개발 및 확대가 필요하다고 생각한다.

결론

본 연구는 초등학생 대상의 성폭력 예방 프로그램을 하이브리드 앱으로 개발하여 초등학교 성교육의 기초 지침이 되는 자원을 제공하며, 이는 초등학생의 성폭력을 예방함으로써 궁극적으로는 초등학생의 건강 증진을 도모하기 위하여 실시되었다. 연구의 이론적 기틀로써 Orem의 자가간호이론[20]을 적용하고, 연구방법으로는 Seels와 Richey의 ADDIE 교수 모형[21]을 근거로 하여 Keller의 ARCS 이론[22]을 교육 전략으로 활용하였다.

해당 단계에 따라, 분석 단계에서는 문헌 고찰에 근거한 전문가 집단의 심층 분석과 학습자의 요구도 및 환경을 확인하였으며, 설계 단계에서는 분석 단계의 결과를 근거로 「아동 성폭력의 개념」, 「아동 성폭력 대처」, 「상황별 대처법」, 「우범지대」, 「관련기관」, 그리고 「확인학습」에 해당하는 세부 내용을 설계하였다. 개발 단계에서는 범용 OS인 Android에서 Google play console을 통해 앱을 업로드하였으며 하이브리드 앱으로써 모바일 웹과 인터넷 홈페이지에 연결되도록 프로그램화 하였다. 그리고 실행 단계에서는 전문가 집단과 초등학생 집단의 평가를 받아 피드백을 받고 반영을 하였으며, 이를 통해 초등학교 성폭력 예방교육에 효율적으로 사용될 수 있다는 평가를 받았다.

이러한 단계를 거쳐 개발된 본 하이브리드 앱 기반 초등학교 성폭력 예방 프로그램은 우리나라의 초등학교 어느 곳이든지 사용할 수 있도록 구성되어 초등학교 현장에서 유용하다고 판단된다. 또한 하이브리드 앱을 이용하여 앱과 모바일웹 그리고 홈페이지로 볼 수 있어 접근 가능성이 높으며 연구 단계에 따라 전문가 집단으로부터의 평가를 통해 신뢰성과 타당성이 입증되었다고 생각된다. 추후에는 본 연구에서 개발된 성폭력 예방교육 프로그램의 신뢰성과 타당성을 보편화하기 위하여 하이브리드 앱을 이용한 성폭력 예방 프로그램 앱에 대한 효과를 측정하는 연구가 수행되어야 할 필요가 있다. 또한 이후 다양한 아동들을 대상으로 한 성폭력 예방 프로그램의 개발 및 확대를 제언한다.

Conflict of Interest

No potential or any existing conflict of interest relevant to this article was reported.

References

1. Ministry of the Gender Equality and Family. 2015 Analysis of sex crime trends for children and adolescents -Focusing on the persons who registered information-. Research Report Seoul: Ministry of the Gender Equality and Family; 2015. December. Report No.: 11-1383000-000563-01.
2. Lim CH. A study on the prevention countermeasures of sexual violence against children and juveniles in community. The Korean Society of Private Security 2013;12(1):184–216.
3. Kim HG. The effect of perceived parental abuse and neglect and peer attachment on school life adjustment according to children's gender. Family and Environment Research 2014;52(1):11–19. https://doi.org/10.6115/fer.2014.52.1.11.
4. Yoon SH, Kim SJ. A study on the relativeness between safety knowledge and safety behavior of elementary school children. Journal of the Korean Society of School Health 2012;25(1):39–50.
5. Cho YR, Kim JE, Park KM. Differences in the characteristics of sexual abuse victimization between low-and-high grade elementary school children and correlations among the characteristics. Journal of Korean Academy Community Health Nursing 2015;26(2):119–127. https://doi.org/10.12799/jkachn.2015.26.2.119.
6. Kim SJ, Lee JE, Kang KA, Kim SH. Elementary school students' coping ability in emergency situations. Journal of Korean Academy Community Health Nursing 2010;16(4):268–276. https://doi.org/10.4094/jkachn.2010.16.4.268.
7. Kim JE, Kim HJ, Hong HS. Relationship between characteristic in abuse, self-blame and post-traumatic stress symptoms in sexually abused children. Journal of Korean Society of Maternal and Child Health 2015;19(2):243–254. https://doi.org/10.21896/jksmch.2015.19.2.243.
8. Min HY. Comparison of needs about sexual abuse prevention education between elementary school students and teachers. Child Health Nursing Research 2016;22(3):215–226. https://doi.org/10.4094/chnr.2016.22.3.215.
9. Kim SJ, Park SJ, Kim SH, Kang KA. Contents analysis of sexual abuse recognized by elementary school students. The Journal of Korean Academic Society Nursing Education 2013;19(4):518–530. https://doi.org/10.5977/jkasne.2013.19.4.518.
10. Korea telecom management and economic research institute. Mobile Trend in 2016 year [Internet] Seoul: Korea telecom management and economic research institute; 2016. [cited 2017 November, 7]. Available from: http://www.digieco.co.kr/KTFront/board/board_view.action?board_id=issue_trend&sort_order=&kind=&list_page=1&list_gubun=title&list_gubun2=&searchtext=%EB%AA%A8%EB%B0%94%EC%9D%BC+%ED%8A%B8%EB%A0%8C%EB%93%9C&board_seq=11047&etc1=384&etc2=.
11. Lee YJ, Lee SI, Lee AR, Bahn GH, Chio TY, Kim JY, et al. Attitudes of psychiatrists towards smartphone usage of children and adolescents. Journal of Korean Neuropsychiatric Association 2015;54(4):556–563. https://doi.org/10.4306/jknpa.2015.54.4.556.
12. Im SJ, Hwang HJ. Development of smart health client based on real-time health information sharing framework. The Journal of the Institute of Internet, Broadcasting and Communication 2014;14(3):131–137. https://doi.org/10.7236/JIIBC.2014.14.3.131.
13. Kim YH. Mobile phone distribution and usage patterns of child and adolescent. KISDI STAT Report Chungbuk: Korea Information Society Development Institute; 2015. December. Report No.: ISSN 2384-2672.
14. Lee SH, Park WJ. Development of standard education contents and methods for the prevention of sexual violence in late school-age children using delphi technique. Korean Journal of Scientific Criminal Investigation 2013;7(4):287–296.
15. Koh MS, Suk JW. Differences in sexual knowledge, attitudes and perspectives of sexual value of female students as related to sexual characteristics. Journal of Korean Academy of Child Health Nursing 2011;17(3):153–160. https://doi.org/10.4094/jkachn.2011.17.3.153.
16. Lee EM, Kweon YR. Effects of a maternal sexuality education program for mothers of preschoolers. Journal of Korean Academy of Nursing 2013;43(3):370–378. https://doi.org/10.4040/jkan.2013.43.3.370.
17. Im YL, Park KM. Effects of sexuality education coaching program on sex-related knowledge and attitude among elementary school students. Journal of Korean Academy of Nursing 2014;44(1):31–40. https://doi.org/10.4040/jkan.2014.44.1.31.
18. Kim SJ, Lee JE, Kim SH, Kang KA. The effect of sexual education on sex knowledge & attitude in elementary school students. Journal of Korean Public Health Nursing 2012;26(3):389–403. https://doi.org/10.5932/JKPHN.2012.26.3.389.
19. Moon KJ, Park KM, Sung Y. Sexual abuse prevention mobile application (SAP_MobAPP) for primary school children in Korea. Journal of Child Sexual Abuse 2017;26(5):573–589. https://doi.org/10.1080/10538712.2017.1313350.
20. Orem D. Nursing: Concepts of practice 5th edth ed. Missouri: St. Louis, Mosby; 1995. p. 1–478.
21. Seels BB, Richey RC. Instructional technology: The definition and domains of the field 1st Edth ed. Bloomington IN: Association for Educational Communications and Technology; 1994. p. 1–186.
22. Keller JM. Motivational design for learning and performance: The ARCS model approach 1st edth ed. New York: Springer; 2010. p. 1–353.
23. Yeom GJ, Kim IO. Development and effects of supplementary material about electronic fetal monitoring for nursing students. Korean Journal of Women Health Nursing 2016;22(1):21–29. https://doi.org/10.4069/kjwhn.2016.22.1.21.
24. Chin JP, Diehl VA, Norman KL. Development of an instrument measuring user satisfaction of the human-computer interface. In : CHI '88 Proceedings of the SIGCHI Conference on Human Factors in Computing Systems; 1988 May 15-19; Washington, D.C, USA. Association for Computing Machinery. 1988. p. 213–218.
25. Waltz CF, Bausell RB. Nursing: Design, statistics and computer analysis 1st edth ed. Philadelphia, NY: F.A. Davis Co; 1981. p. 1–362.
26. Kim SS, Kwon IS. Knowledge and practice in self-management on asthma of school-aged children with asthma. Child Health Nursing Research 2016;22(2):87–96. https://doi.org/10.4094/chnr.2016.22.2.87.
27. Lee YH. Development and effects of nocturnal emission and menstruation education program using CAI for Korean elementary school children [dissertation] Seoul: Ewha Womans University; 2010. 1–118.
28. Sulak PJ, Herbelin SJ, Fix DD, Kuehl TJ. Impact of an adolescent sex education program that was implemented by an academic medical center. American Journal of Obstetrics and Gynecology 2006;195(1):78–84. https://doi.org/10.1016/j.ajog.2005.12.011.

Article information Continued

Figure 1.

Framework of this study applying self-care theory.

Figure 2.

Screenshot of the smartphone-based app, web app and web.

Table 1.

Content of the Sexual Abuse Prevention Program Using a Hybrid App

Steps Content
1. Knowing what sexual abuse is • Provide information about sexual abuse
• Understanding the importance of sexual abuse prevention education
2. How to prevent sexual abuse in daily life • Knowing the situations in which sexual abuse occurs
• Distinguishing between good and bad behavior
3. How to deal with sexual abuse in specific situations • Knowing how to protect one's body from a stranger
• Learning to express refusal through role play
4. Information about areas with a high risk of sexual abuse • Provide link to sex offender notification site
5. How to acquire sex offender information • Provide information about the youth protection homepage and phone numbers of child care centers
6. Wrap-up • Overall summary quiz about preventing sexual abuse

Table 2.

Experts' Satisfaction with the App (N=10)

Category of satisfaction M±SD
Overall reaction to the app 9.78±0.33
 Level of enjoyment 10.00±0.00
 Level of ease of use 9.80±0.42
 Level of satisfaction 9.70±0.48
 Level of power 9.60±0.51
 Level of stimulation 9.80±0.42
Screen 9.68±0.26
 Characters on the computer screen 9.80±0.42
 Highlighting simplifies task 9.70±0.48
 Organization of information 9.50±0.71
 Sequence of order on the screen 9.70±0.48
Terminology and system information 9.68±0.31
 Use of terms 9.90±0.32
 Positioning of messages 9.70±0.48
 Operation speed of the menu 9.30±0.82
 Reflecting the needs of the user 9.80±0.42
Learning 9.88 ± 0.14
 Learning to operate the system 10.00±0.00
 Remembering names and use of commands 9.90 ± 0.32
 User's needs are taken into consideration 9.80 ± 0.42
 Clarity 9.70 ± 0.48
 Supplemental content for learning 10.00±0.00
Total 9.76±0.18

Table 3.

Elementary Student's Satisfaction with the App (N=10)

Questions of satisfaction M±SD
Is this educational material important? 3.80 ± 0.42
Is it easy to understand? 3.90 ± 0.32
Is it something you want to know? 3.70 ± 0.48
Is the material interesting? 3.90 ± 0.32
Was it helpful for you? 3.80 ± 0.42
Do you think this educational app will help prevent child sexual abuse? 3.80 ± 0.42
Are you satisfied with the overall content of this app? 3.90 ± 0.32
Would you like to be educated using this app at school? 3.90 ± 0.32
Total 3.84±0.28