본문 바로가기

전체 글31

관찰자 일치도의 선택, 계산, 보고 시 고려 사항 다음에 이어지는 가이드라인과 권고사항은 행동 측정의 질을 평가하기 위해 관찰자 일치도 사용 시 고려해야 할 질문들이다. 관찰자 일치도는 얼마나 자주, 그리고 언제 구해야 하는가?관찰자 일치도는 연구의 각 조건과 단계별로 측정되어야 하며, 일주일 중 요일, 하루 중 시간, 상황, 그리고 관찰자 간에 고르게 측정되어야 한다. 이렇게 측정하면 결과가 연구에서 얻어진 모든 자료에 타당한 정보를 제공할 수 있게 된다. 현행 치료와 행동 연구 방 법론 교재의 저자들은 적어도 연구의 총 회기 중 20%에서, 가능하다면 회기의 25~33% 정도 관찰자 일치도를 구하는 것이 좋다고 제안한다(Kennedy, 2005;Poling et al, 1995). 일반적으로 실시간 측정에 의해 얻어진 자료를 사용하는 연구에서는 영속.. 2025. 4. 11.
관찰자 일치도를 계산하는 방법 관찰자 일치도를 계산하는 방법은 매우 많은데, 각각은 관찰자의 일치도와 불일치의 정도와 특성에 대해 약간 다른 관점을 가진다(예: Hartmann, 1977; Hawkins & Dotson, 1975; Page & Iwata, 1986; Poling, Methot & LeSage, 1995; Repp, Dietz, Boles, Dietz, & Repp, 1976). 다음에서는 제4장에서 설명된 세 가지의 행동 측정 방법(사건 기록법, 시간 재기/계시(uming), 동간 기록법 혹은 시간 표집법)에 대한 여러 가지 관찰자 일치도 계산법을 소개한다. 응용행동분석에서 여러 통계치가 사용되지만, 관찰자 일치도를 보고하는데 관찰자 일치도에 대한 백분율이 가장 보편적으로 사용된다. 아래에서는 관찰자 일치도의 백분율.. 2025. 4. 11.
행동 측정을 평가하기 위해 관찰자 일치도 사용하기 관찰자 일치도는 응용행동분석에서 측정의 질 평가에서 가장 보편적으로 사용되는 지표이다. 관찰자 일치도(interobserver agreement : 1OA)는 둘 혹은 그 이상의 독립적인 관찰자가 같은 사건을 측정한 후 동일한 관찰 값을 보고하는 정도를 지칭한다. 관찰자 일치도를 계산하는 기법은 매우 다양하며, 각각은 관찰자의 일치와 불일치의 범위와 특징을 다르게 규정하고 있다. 관찰자 일치도의 이점과 사용 관찰자 일치도를 구하고 보고하는 것에는 네 가지 목적이 있다. 첫째, 새 관찰자의 능력을 평가하기 위해 일정 수준의 관찰자 일치도를 사용할 수 있다. 앞서 언급한 바와 같이 새로 훈련받은 관찰자와 숙련된 관찰자 간의 높은 일치도는 새로운 관찰자가 숙련된 관찰자와 같은 방식으로 행동을 측정하는 정도를 .. 2025. 4. 11.
행동 측정의 정확도와 신뢰도 평가하기 목표 행동의 타당하고 대표적인 자료를 얻을 수 있는 측정 체계를 고안하고, 정확하고 신뢰하는 자료를 산출할 수 있게 관찰자를 훈련시킨 다음에는, 자료가 실제로 얼마나 정확하고 신뢰하는지를 평가한다. 행동 자료의 정확도와 신뢰도를 평가하는 모든 절차에는 어떤 형태로든 측정 체계를 평가하는 절차가 필수적으로 포함되어야 한다. 측정의 정확도 평가하기측정은 사건의 관찰 값(사건을 측정하여 얻어진 숫자) 과 참값이 일치할 때 정확하다. 자료의 정확도를 평가하는 이유는 명백하다. 누구도 문제가 있는 자료에 근거하여 연구 결과나 치료 결정을 내리고 싶어 하지 않는다. 구체적인 정확도 평가는 서로 연관된 네 가지 목적을 충족시킨다. 첫째로, 이는 분석 초기에 자료가 실험 혹은 치료 결정을 내리기에 충분한지 결정하는데 .. 2025. 4. 10.
측정의 정확도와 신뢰도를 위협하는 요인 응용행동분석에서 자료의 정확도와 신뢰도를 가장 크게 위협하는 요소는 사람들의 실수이다. 기계에 의해 자동적으로 수행이 측정되는 실험 분석과 달리, 대부분 응용행동분석에는 관찰자가 행동을 측정한다. 관찰자에 의한 측정 오류에 기여하는 요소들은 잘못 고안된 측정 체계, 불충분한 관찰자 훈련, 그리고 의도하지 않은 관찰자 영향 등이 있다. 잘못 고안된 측정 체계불필요하게 번거롭고 사용하기에 어려운 측정 체계는 정확도와 신뢰도를 떨어뜨린다. 행동 자료를 현장에서 수집하는 것은 주의, 날카로운 판단과 인내를 필요로 한다. 측정 체계가 사용하기에 힘들고 어려울수록 관찰자는 일관되게 목표 행동의 모든 사례를 관찰하고 기록할 수 없다. 측정 체계를 가능한 한 간소화하는 것이 측정 오류를 최소화할 수 있다.측정의 복잡성.. 2025. 4. 10.
측정 타당도에 대한 위협 행동 측정의 타당도는 측정이 간접적일 때, 잘못된 범주의 목표 행동이 측정될 때, 또는 산출된 자료가 실제 사건이 아니라 사건의 인위적 산물일 때 위협받는다.  간접 측정직접 측정(direct measurement)은 '실험의 초점이 되는 현상이 측정하고 있는 현상과 정확히 동일할 때'를 말한다. 반대로 간접 측정(indirect reasurement)은 실제 측정하고 있는 것이 관심이 되는 목표 행동과 다소 다를 때를 지칭한다. 행동의 직접 측정은 간접 측정에 비해 좀 더 타당한 자료를 산출한다. 간접 측정은 2차적, 혹은 '걸러진 (filtered)' 자료를 제공하여 연구자 혹은 임상가가 측정한 사건과 실제 관심이 되는 행동 간의 관계를 유추해야 하기 때문이다(Komaki, 1998).간접 측정은 연.. 2025. 4. 10.
반응형

티스토리툴바