관찰자 일치도는 응용행동분석에서 측정의 질 평가에서 가장 보편적으로 사용되는 지표이다. 관찰자 일치도(interobserver agreement : 1OA)는 둘 혹은 그 이상의 독립적인 관찰자가 같은 사건을 측정한 후 동일한 관찰 값을 보고하는 정도를 지칭한다. 관찰자 일치도를 계산하는 기법은 매우 다양하며, 각각은 관찰자의 일치와 불일치의 범위와 특징을 다르게 규정하고 있다.
관찰자 일치도의 이점과 사용
관찰자 일치도를 구하고 보고하는 것에는 네 가지 목적이 있다. 첫째, 새 관찰자의 능력을 평가하기 위해 일정 수준의 관찰자 일치도를 사용할 수 있다. 앞서 언급한 바와 같이 새로 훈련받은 관찰자와 숙련된 관찰자 간의 높은 일치도는 새로운 관찰자가 숙련된 관찰자와 같은 방식으로 행동을 측정하는 정도를 나타내는 객관적인 지표를 제공한다.
둘째, 연구 내내 체계적으로 관찰자 일치도를 측정하면 관찰자 표류를 감지할 수 있다. 연구 초반에는 동일한 행동 사건을 측정하였을 때 동일하거나 거의 같은 관찰 값을 산출하였던(즉 관찰자 일치도가 높았던) 관찰자들이 연구 후반에서 다른 측정치를 얻는다면(즉 관찰자 일치도가 낮다면) 관찰자 중 1명이 사용하는 목표 행동의 정의가 표류하였다는 것을 보여준다. 낮은 관찰자 일치도를 통해 관찰자의 자료가 표류에 영향을 받았는지(또는 불일치의 다른 이유)를 확실히 알 수는 없지만 자료의 추가적인 평가와 관찰자의 재훈련 필요성을 시사한다.
셋째, 둘 혹은 그 이상의 관찰자가 일관되게 비슷한 자료를 산출하면 목표 행동의 정의가 명백하며 모호하지 않고 측정 부호와 체계가 너무 어렵지 않다고 확신할 수 있다. 넷째, 자료 수집에 복수의 관찰자를 사용하는 연구에서 높은 수준의 관찰자 일치도는, 자료의 가변성이 주어진 회기에서 관찰자로 인하여 발생한 것이 아니라는 확신을 주기 때문에, 자료의 변화는 행동의 실제 변화를 반영한다고 볼 수 있다.
관찰자 일치도를 평가하는 앞의 두 이유는 사전관리적 측면이 있다. 이는 관찰자가 훈련 기준을 충족하는지 혹은 측정 표류가 발생하였는지를 연구자가 감지할 수 있도록 도와준다. 뒤에 제시된 관찰자 일치도의 이점은 관찰자 일치도가 관찰자 간 측정의 일관성에 대한 부가적인 기술을 제공한다는 것이다. 관찰자 일치도 결과를 보고함으로써 자료의 상대적인 신뢰성 (believability)을 제공해 소비자가 해석의 신용과 가치를 평가할 수 있도록 도와준다.
타당한 관찰자 일치도 측정치를 얻기 위한 필수조건
관찰자 일치도의 측정 타당도는 다음 세 가지의 동일하게 중요한 준거에 좌우된다. 이 세 준거는 당연해 보이지만 확실히 해둘 필요가 있다. 두 관찰자(주로 둘이지만 더 많을 수 있음)는 (a) 같은 관찰 부호와 관찰 체계를 사용해야 하며, (b) 같은 참가자와 사건을 관찰하고 측정해야 하며, (c) 서로 어떤 영향도 받지 않고 독립적으로 행동을 관찰하고 기록해야 한다.
관찰자들은 같은 측정 체계를 사용해야만 한다.
관찰자 일치도 측정은 관찰자가 목표 행동에 대한 정의, 동일한 관찰 절차와 부호, 동일한 관찰 도구를 사용할 것을 요구한다. 같은 측정 체계를 사용하는 것을 넘어서, 자료의 신뢰성을 평가하기 위해(관찰자의 훈련 수행을 평가하는 것에 반해서) 사용된 모든 관찰자 일치도 측정에 참여하는 관찰자들은 동일한 측정 체계에서 훈련을 받아야 하며 동일한 능력 수준에 도달해야 한다.
관찰자는 같은 사건을 측정해야만 한다.
관찰자는 정확히 같은 관찰 간격과 기간 동안 같은 참가자를 관찰할 수 있어야 한다. 실시간 측정에서 얻어지는 자료의 관찰자 일치도를 구할 때, 두 관찰자는 동시에 현장에 있어야 한다. 실시간 관찰자는 같은 장소에서 관찰할 수 있어야 한다. 예를 들어 교실의 정 반대 편에 앉아 있는 관찰자는 서로 다른 측정치를 열을 수 있는데, 이는 목표 행동의 발생을 보고 듣는데 우세한 지점이 서로 다르기 때문이다.
관찰자는 정확히 같은 시간에 관찰 기간을 시작하고 끝내야 한다. 몇 초 차이는 관찰자 간 유의미한 측정의 차이를 발생시킬 수 있다. 이를 원활히 하기 위해서 자료 수집이 시작되기 전 관찰 상황 밖에서 자료 수집이 실제 미리 설정된 시간에 시작하도록 동의를 하고(예 : 정확히 5분이 되자마자) 계시 장치를 동시에 시작한다. 이보다는 덜 바람직하지만 대안으로 한 관찰자가 다른 관찰자에게 관찰 시작 시 신호를 보낼 수도 있다.
보편적이고 효과적인 절차는 두 관찰자가 관찰 간격의 시작과 끝이 미리 녹음된 신호가 들어있는 테이프를 이어폰으로 듣는 것이다. 두 이어폰을 같은 테이프 레코더에 연결할 수 있도록 도와주는 값싼 분리 장치를 이용하면 두 관찰자가 동시에 신호를 서로에게 영향을 받지 않으면서 받을 수 있다.
영속적 행동 결과로 얻은 자료의 관찰자 일치도를 평가할 때는 행동을 동시에 측정할 필요가 없다. 예를 들어 관찰자들은 같은 비디오나 녹음테이프를 다른 시기에 보고 자료를 기록할 수 있다. 그러나 각 관찰자가 같은 테이프를 보고 테이프의 정확히 같은 지점에서 시작하고 끝내야 한다는 것을 분명히 해야 한다.
목표 행동이 과제 완성 여부 혹은 생산된 직물과 같은 자연적인 영속적 행동 결과일 경우 두 관찰자가 같은 사건을 측정하도록 결과물에 회기 번호, 날짜, 상황 참가자의 이름을 명확히 표기하고 두 번째 관찰자가 측정치를 얻기 전에 반응 결과물이 손상되지 않도록 보호한다.
관찰자들은 독립적이어야 한다.
관찰자 일치도 평가가 타당하기 위한 세 번째 요소는 관찰자들이 서로의 측정치에 영향을 받지 않도록 하는 것이다. 각 관찰자의 독립성이 보장되게 절차를 세워야 한다. 예를 들어 행동을 실시간으로 측정하는 경우 관찰자끼리 반응을 관찰하고 기록할 때 서로를 보거나 들을 수 없도록 자리를 배치해야 한다(ohnston & Penypacker, 1993a)." 관찰자들은 다른 관찰자의 기록을 볼 수 있거나 영향을 받지 않게 서로 멀리 앉아야 한다.
이미 다른 관찰자에 의해 표시된 문제지나 숙제를 두 번째 관찰자에게 보여 주는 것은 관찰자의 독립성을 위배하는 것이다. 독립성을 유지하기 위해 두 번째 관찰자에게 관찰할 숙제나 문제지에 아무런 표시를 하지 않고 주어야 한다.