관찰자 일치도를 계산하는 방법은 매우 많은데, 각각은 관찰자의 일치도와 불일치의 정도와 특성에 대해 약간 다른 관점을 가진다(예: Hartmann, 1977; Hawkins & Dotson, 1975; Page & Iwata, 1986; Poling, Methot & LeSage, 1995; Repp, Dietz, Boles, Dietz, & Repp, 1976). 다음에서는 제4장에서 설명된 세 가지의 행동 측정 방법(사건 기록법, 시간 재기/계시(uming), 동간 기록법 혹은 시간 표집법)에 대한 여러 가지 관찰자 일치도 계산법을 소개한다. 응용행동분석에서 여러 통계치가 사용되지만, 관찰자 일치도를 보고하는데 관찰자 일치도에 대한 백분율이 가장 보편적으로 사용된다. 아래에서는 관찰자 일치도의 백분율을 계산하는 여러 공식을 소개한다.
사건 기록법에서 얻은 자료의 관찰자 일치도
사건 기록법으로 얻은 자료의 관찰자 일치도를 계산하는 방법은 (a) 관찰 기간당 각 관찰자가 기록한 총횟수, (b) 각 관찰자가 관찰 기간 내 짧은 간격 동안 행동이 발생했다고 기록한 수, 또는 (c) 각 관찰자가 시도 대 시도에 기록한 1 또는 0의 횟수를 비교하는 것이 있다.
총횟수 관찰자 일치도.
가장 간단한 사건 기록법 자료의 관찰자 일치도 지표는 관찰 기간당 각 관찰자가 기록한 총횟수를 비교한다. 총횟수 관찰자 일치도는 2명의 관찰자에 의해 기록된 반응의 총숫자 간의 일치도를 백분율로서 표현한 것이며, 큰 횟수를 작은 횟수로 나눈 후 100을 곱한 것으로 다음의 공식으로 나타낼 수 있다.
작은 횟수/큰 횟수 X100= 총횟수 관찰자 일치도 %
예를 들어, 첫 번째 관찰자는 30분의 관찰 기간 동안 9세의 미첼이 10번 상스러운 말을 사용했다고 기록했고, 두 번째 관찰자는 미첼이 같은 기간 동안 9번 했다고 기록하였다고 가정해 보자. 관찰 기간 동안 총횟수 관찰자 일치도는 90%가 될 것이다(9/10X 100=90%)
총횟수 관찰자 일치도를 해석할 때는 매우 주의해야 하는데, 높은 일치도가 두 관찰자가 같은 행동을 기록했다는 것을 보장할 수 없기 때문이다. 다음은 두 관찰자가 미첼의 상스러운 언어 사용을 측정할 경우, 일치도가 90%가 될 수 없는 한 예를 보여 주고 있다.
첫 번째 관찰자는 30분 관찰 기간의 첫 15분 동안 기록 용지에 10번 상스러운 언어가 발생하였다고 기록하였을 수 있는데, 두 번째 관찰자는 첫 15분 동안 4번 발생하였고, 이후 15분 동안 5번 했다고 기록했을 수 있다.
평균 간격 횟수 관찰자 일치도.
관찰자 간의 일치도가 같은 사건 측정의 결과임을 확신하기 위해서는 다음의 방법을 사용한다-(a) 총 관찰 기간을 일련의 짧은 간격으로 나누기, (b) 관찰자가 각 간격 내의 행동 발생 횟수를 기록하게 하기, (c) 각 간격당 발생한 횟수 간의 일치도 계산하기, (d) 간격 일치도를 총 관찰 기간 관찰자 일치도 계산에 사용하기. 예를 들어 30분의 관찰 기간 동안 2명의 관찰자는 독립적으로 각각의 6개의 5분 간격 동안 발 생한 목표 행동의 횟수를 셌다. 두 관찰자가 똑같이 30분 관찰 기간 동안 총 15회의 반응을 기록해도 이들의 기록은 관찰 기간 동안 불일치할 수 있다. 전체 관찰기간 동안 이들의 총횟수 관찰자 일치도는 100%이며, 각 5분 간격 내에서 나타난 두 관찰자 간의 평균 간격당 횟수 관찰자 일치도는 65.3%이다.
평균 간격당 횟수 관찰자 일치도는 다음 공식으로 계산한다.
간격 1 관찰자 일치도+ 간격 2 관찰자 일치도 +간격 n 관찰자 일치도 /n 간격 수 = 평균 간격당 횟수 관찰자 일치도%
정확한 간격당 횟수 관찰자 일치도.
사건 기록법에서 얻어지는 자료의 관찰자 일치도를 구하는 가장 엄격한 방법은 정확한 간격당 횟수를 계산하는 것인데, 이는 두 관찰자가 같은 횟수를 기록한 전체 간격의 백분율을 구하는 것이다. 예를 들어 두 관찰자가 6개의 간격 중 단 2개에서 같은 반응 숫자를 보고 하였기에, 정확한 간격당 횟수 관찰자 일치도는 33%이다.
다음의 공식이 정확한 간격당 횟수 관찰자 일치도를 구하기 위해 사용되었다.
100% 관찰자 일치도인 간격 숫자 종 간격 숫자 / 총 간격 숫자 X 100 = 정확한 간격당 횟수 관찰자 일치도%
시도 대 시도 관찰자 일치도.
각 시도 혹은 반응 기회의 횟수가 0 혹은 1로만 나타나는 개별 시도 행동의 발생 및 비발생을 측정한 두 관찰자의 일치도는 관찰자의 총횟수를 비교하거나 시행당 반응의 횟수를 비교하여 계산할 수 있다. 개별 시도 자료의 총횟수 관찰자 일치도를 계산하는 것은 총횟수 관찰자 일치도와 같은 공식을 사용한다. 관찰자가 보고한 두 횟수 중 작은 수를 큰 수로 나눈 후에 100을 곱하는데, 이 경우 각 관찰자가 행동이 발생하였다고 기록한 시행의 숫자를 사용하는 것이다. 예를 들어 연구자와 두 번째 관찰자가 독립적으로 아동에게 웃긴 그림을 보여 주었을 때 20개 시도에서 아이의 웃는 행동이 나타났는지를 측정하였다고 가정해 보자. 두 관찰자는 회기가 끝난 후에 기록 용지를 비교하여 각각 20개 중 14, 15개에서 웃음을 관찰하였다. 회기의 총횟수 관찰자 일치도는 이 경우 93%(14/15 X100=93.3%)로 나타나는데, 이 경우 경험 없는 연구자는 목표 행동이 잘 정의되었으며 2명의 관찰자에 의해 일관되게 잘 측정되었다고 결론을 내릴 수 있다. 그러나 이런 결론은 섣부르다.
개별 시도 자료의 총횟수 관찰자 일치도는 총횟수 관찰자 일치도와 동일한 한계점을 갖는다. 이는 실제 일치도를 과대 추정하는 경향성이 있으며, 얼마나 많은 반응이 나타났는지, 혹은 어떠한 반응, 시도, 혹은 물건이 일치했는지를 나타내 주지 않는다. 두 관찰자 가 구한 14개, 그리고 15개 시도의 웃음 횟수를 비교하면, 20개 회기 중 오직 한 시도에서만 관찰이 일치하지 않았음을 나타낸다. 그러나 1번 관찰자가 '웃음 없음'으로 기록한 6개의 시도 중 어떤 것은 2번 관찰 자에 의해 '웃음'으로 기록되었을 수 있으며, 2번 관찰 자가 웃음 없음'으로 기록한 5개의 시도 동안 1번 관 찰자는 이를 웃음'으로 기록하였을 수 있다. 그러므로 93%의 총횟수 관찰자 일치도는 실제 두 관찰자가 회기 동안 측정한 아이의 행동에 대한 일관성을 과대 추정할 수 있다.
개별 시도 자료에 대한 보다 엄격한 지표로 시도 대 시도 관찰자 일치도는 다음 공식에 따라 계산된다.
일치를 보인 시도의 숫자 / 총 시도의 숫자 × 100 = 시도당 관찰자 일치도%
1번 관찰자가 '웃음 없음'으로 본 6개의 시도를 2번 관찰자가 모두 '웃음'으로 보고, 2번 관찰자가 모두 '웃음 없음'으로 본 5개의 시도를 1번 관찰자가 '웃음'으로 보았다면, 두 관찰자의 웃음 자료의 시행당 관찰자 일치도는 45%가 될 것이다(즉 일치한 9개의 시행을 20개 횟수로 나눈 후 100을 곱함).
시간 측정에서 얻은 자료의 관찰자 일치도
지속시간, 반응 지연시간, 혹은 반응 간 시간(IRT)을 측정하여 얻은 자료의 관찰자 일치도는 기본적으로 사건 기록법 자료에서 얻은 방식과 동일한 방식으로 계산된다. 두 관찰자는 독립적으로 목표 행동의 지속시간, 반응 지연시간, 혹은 반응 간 시간을 측정하며, 관 찰자 일치도는 회기에서 각 관찰자가 얻은 총시간, 행동발생당(지속시간 측정치), 또는 반응당(반응 지연시간 혹은 반응 간 시간 측정치) 각 관찰자가 기록한 시간을 비교하여 구한다.
총 지속시간 관찰자 일치도.
총 지속시간 관찰자 일치도는 관찰자가 보고한 두 지속시간 중 짧은 지속시간을 긴 지속시간으로 나눈 후에 100을 곱하여 계산한다.
짧은 지속시간 / 긴 지속시간 X 100 = 총 지속시간 관찰자 일치도%
사건 기록법 자료의 총횟수 관찰자 일치도와 마찬가지로 총 지속시간 관찰자 일치도가 높다는 것이 관찰자가 같은 행동의 발생에서 같은 지속시간을 기록하였다는 것을 보증하지 못한다. 이는 개별 반응들에 대한 관찰자 간 불일치 정도가 합계에서 상쇄될 수 있기 때문이다. 예를 들어 두 관찰자가 행동이 5번 발생하는 지속시간의 초를 다음과 같이 기록하였다고 가정해 보자.
반응 1 반응 2 반응3 반응4 반응 5
관찰자 1 :
(총 지속시간=90초) 35 15 9 14 17
관찰자 2 :
(총 지속시간=85초) 29 21 7 14 14
이 자료의 총 지속시간 관찰자 일치도는 94%(85/ 90x 100=94.4%)로 괜찮은 수치로 보일 것이다. 그러나 두 관찰자가 같은 지속시간을 얻은 것은 5개의 반응 중 한 반응뿐이며, 이들이 특정한 반응의 시간을 잰 것은 크게는 6초까지 차이가 난다. 이러한 총 지속 시간의 한계점을 인식하고, 총 지속시간이 종속변인으로 기록되고 분석했다면 총 지속시간 관찰자 일치도를 보고하는 것은 적절하다. 가능하다면 총 지속시간 관찰자 일치도는 다음에 소개되는 평균 발생당 지속시간 관찰자 일치도에 의해 보충되어야 할 것이다.
평균 발생당 지속시간 관찰자 일치도.
평균 발생당 지속시간 관찰자 일치도는 발생당 지속시간 자료에 의해서 계산되며, 이는 총 지속시간 자료의 관찰자 일치도를 평가하는 좀 더 엄격한 방법이다. 평균 발생당 지속시간 관찰자 일치도를 계산하는 공식은 평균 간격당 횟수 관찰자 일치도를 구하는 것과 유사하다.
반응 1 지속시간 관찰자 일치도 + 반응 2 지속시간 관찰자 일치도 + 반응 N / 지속시간 관찰자 일치도 지속시간 + 관찰자 일치도의 반응 숫자 x 100 = 평균 발생당 지속시간 관찰자 일치도%
이 공식을 이용해 앞서 보여준 두 관찰자의 5개 반 응에 대한 평균 발생당 지속시간을 구하면 다음과 같다.
1. 각 반응의 반응당 지속시간 관찰자 일치도를 계 산한다: 반응 1, 29÷ 29÷35=.83, 반응 2, 15÷21 = 71, 반응 3, 7÷ 9=.78, 반응 4, 14÷14=1.05, 반응 5, 14÷ 17=.82
2. 각 반응당 개별의 관찰자 일치도 백분율을 더한다: 83+. .83+.71+.78+1.00+ 82=4.14
3. 각각의 발생당 지속시간 관찰자 일치도 합계를 두 관찰자가 측정한 지속시간의 반응 횟수로 나누어라: 4.14÷ 5=.828
4. 100을 곱해서 반올림하여 정수로 만들어라 : 82.8*100=83%
이 기본 공식은 또한 평균 반응당 반응 지연시간 관찰 자 일치도 혹은 평균 반응당 반응간 시간 관찰자 일치도를 계산하는 데에도 사용된다. 관찰자가 회기 내 측정한 반응 지연시간과 반응 간 시간은 절대 더해서는 안되며 반응 지연시간과 반응 간 시간 측정치의 관찰자 일치도를 계산하기 위해서 총 시간을 다른 관찰자가 구한 총 시간과 비교한다.
시간 측정 자료의 관찰자 일치도 평가를 위해 발생 당 평균 일치도를 보고하는 것뿐만 아니라 관찰 시간과 2명의 관찰자에 의해 얻은 반응의 백분율의 오류 범위에 대한 정보를 보고하는 것이 바람직하다. 예 : 순응도에 대한 평균 발생당 지속시간 관찰자 일치도는 87%(반응간에 63-100%의 범위로 나타남)이며, 두 번째 관찰자에 얻은 자료의 96%는 1차 관찰자의 측정 치와 ±2 범위 내에 있다.
동간 기록법/시간 표집법에서 얻은 자료의 관찰자 일치도
응용행동분석에서 간격 자료의 관찰자 일치도를 위해 사용되는 세 가지 기법은 간격 대 간격 관찰자 일치도, 발생-간격 관찰자 일치도, 비발생-간격 관찰자 일치도이다.
간격 대 간격 관찰자 일치도.
간격 대 간격 관찰자 일치도 (Interval-by-Interval IOA) (때때로 포인트별 간격법 혹 은 총 간격법이라고 지칭됨》를 사용할 때, 각 간격에 대한 제1관찰자의 자료를 같은 간격에 대한 제2 관찰자의 자료와 비교한다. 간격 대 간격 관찰자 일치도를 구하는 공식은 다음과 같다.
일치된 간격의 숫자 / 일치된 간격의 숫자+일치되지 않은 간격의 숫자 X 100= 간격 대 간격 관찰자 일치도%
간격 대 간격 관찰자 일치도는 매우 낮거나 높은 빈도로 일어난 행동을 과대 추정하기 쉽다. 이는 간격 대 간격 관찰자 일치도가 관찰자 간의 무선적 혹은 우연적 일치에 영향을 받기 쉽기 때문이다. 예를 들어 실제 발생 빈도가 10번의 관찰 간격당 1번 혹은 2번 간 격으로 일어나는 행동의 경우 제대로 훈련받지 못한 신뢰하지 않은 관찰자는 대부분의 간격을 비발생으로 표시하기 쉽다. 이러한 우연적 일치의 결과로 간격 대 간격 관찰자 일치도는 꽤 높게 나타날 수 있다. 매우 낮은 빈도나 높은 빈도로 일어나는 행동의 간격 자료에서 우연의 일치에 의한 효과를 최소화하기 위한 두 가지 관찰자 일치도 방법은 발생-간격 관찰자 일치도와 비발생-간격 관찰자 일치도이다(Hawlins & Doton, 1975).
발생 -간격 관찰자 일치도.
발생-간격 관찰자 일치도 (scored-interval IOA) 계산은 1명 혹은 2명의 관찰자가 목표 행동이 발생하였다고 기록한 간격들만 사용한다. 2명의 관찰자가 행동이 같은 간격에서 발생하였다고 기록하면 일치로 계산되며, 1명의 관찰자가 행동이 발생하였다고 기록하고 다른 관찰자가 행동이 발생하지 않았다고 기록한 간격은 불일치로 계산한다.
예를 들어 간격 1, 3, 9의 자료만 발생-간격 관찰자 일치도를 계산하는 데에 사용할 수 있다. 간격 2, 4, 5, 6, 7, 8, 10은 두 관찰 자가 모두 행동이 발생하지 않았다고 기록하였기 때문에 사용하지 않는다. 두 관찰자가 세 발생-간격 중 오직 한 간격(간격 3)에서만 행동이 발생하였다고 동의하였기 때문에, 발생-간격 관찰자 일치도 측정치는 33%이다(일치한 한 간격을 일치한 한 간격과 불일치 한두 간격을 더한 것으로 나눈 후 100을 곱함= 33%).
저도로 발생하는 행동에서 발생-간격 관찰자 일 치도는 간격 대 간격 관찰자 일치도에 비해 좀 더 엄격한 일치도 측정치이다. 이는 발생-간격 관찰자 일치도에서는 우연적으로 일치가 높게 나타날 수 있는 간격을 포함하지 않았기 때문이다. 관찰자 일치도 측정치의 과대 추정을 피하기 위해 대략 30% 이하의 빈도로 나타나는 행동에 대해서는 발생-간격 관찰자 일치도 사용을 권한다.
비발생-간격 관찰자 일치도.
비발생-간격 관찰자 일치도 (unscored-interval 1OA) 계산은 1명 혹은 2명의 관찰 자가 목표 행동이 발생하지 않았다고 기록한 간격들만 사용한다. 두 관찰자가 같은 간격에서 행동이 발생하지 않았다고 기록한 간격은 일치로 계산되며, 1명이 비발생으로 기록하였는데 다른 1명이 발생하였다고 기록하면 이는 불일치로 기록한다.
상대적으로 높은 빈도에서 발생하는 행동에서 비발 생-간격 관찰자 일치도는 간격 대 간격 관찰자 일치도에 비하여 좀 더 엄격하게 관찰자 일치도를 평가한다. 관찰자 일치도 측정치의 과대 추정을 피하기 위해 간격 중 대략 70% 이상의 빈도로 나타나는 행동에 대해서는 비발생-간격 관찰자 일치도 사용을 권한다.