다음에 이어지는 가이드라인과 권고사항은 행동 측정의 질을 평가하기 위해 관찰자 일치도 사용 시 고려해야 할 질문들이다.
관찰자 일치도는 얼마나 자주, 그리고 언제 구해야 하는가?
관찰자 일치도는 연구의 각 조건과 단계별로 측정되어야 하며, 일주일 중 요일, 하루 중 시간, 상황, 그리고 관찰자 간에 고르게 측정되어야 한다. 이렇게 측정하면 결과가 연구에서 얻어진 모든 자료에 타당한 정보를 제공할 수 있게 된다. 현행 치료와 행동 연구 방 법론 교재의 저자들은 적어도 연구의 총 회기 중 20%에서, 가능하다면 회기의 25~33% 정도 관찰자 일치도를 구하는 것이 좋다고 제안한다(Kennedy, 2005;Poling et al, 1995). 일반적으로 실시간 측정에 의해 얻어진 자료를 사용하는 연구에서는 영속적 행동 결 과물에서 얻어진 자료를 사용하는 연구보다 더 높은 백분율로 관찰자 일치도를 측정한다.
어떤 자료에서 얼마나 자주 관찰자 일치도를 측정되어야만 하는가는 측정 체계의 복잡성, 관찰자의 수와 경험, 조건과 단계의 숫자, 그리고 관찰자 일치도 측정 결과에 따라 다르다. 복잡하거나 새로운 측정 체계, 숙달되지 않은 관찰자, 그리고 다양한 조건과 단계를 차용한 연구에서는 관찰자 일치도를 자주 측정하는 것이 필요하다. 연구 초기에 관찰자 일치도가 높다면, 관찰자 일치도가 측정되는 회기의 수와 차지하는 비율은 연구가 진행되면서 감소시킬 수 있다. 예를 들어 관찰자 일치도 측정은 분석 초기에 매 회기 동안 측정하지만, 이후 4~5회 기당 한 번으로 줄일 수 있다.
관찰자 일치도를 반드시 구하고 보고해야 하는 변인들은 무엇인가?
일반적으로 연구자들은 연구 결과를 보고하고 논의하는 것과 같은 수준에서 관찰자 일치도를 구하고 보고 해야만 한다. 예를 들어, 2개의 다른 치료 조건에서 4명의 참가자가 보이는 두 가지 행동의 상대적인 효과를 분석하는 연구자는 각 참가자가 치료 조건과 상 황에서 각기 보이는 두 행동 모두에 대해서 관찰자 일치도 결과를 보고하여야만 한다. 이는 연구의 소비자가 각 실험 요소에서 자료의 상대적 신뢰성을 판단할 수 있도록 한다.
관찰자 일치도 계산에 어떤 방법을 사용해야 할까?
관찰자 일치도를 계산할 때 엄격한 방법을 사용하여 결과가 우연에 의해 실제 일치도를 과대 추정하지 못하도록 해야 한다. 수행의 정확도를 평가하는 사건 기록법 자료는 일반적으로 시도 대 시도 혹은 항목 대 항목 관찰자 일치도를 보고하고, 정반응과 오반응의 각 관찰자 일치도를 추가적으로 보고하면 좋다. 동간 혹은 시간표집 측정으로 얻은 자료에는 간격 대 간격 관찰자 일치도를 계산하고 상대적인 행동의 발생 빈도에 따라 발생-간격 관찰자 일치도나 비발생-간격 관찰자 일치도로 보충할 것을 권한다. 1차 관찰자가 행동이 약 30% 혹은 그 이하로 발생하였다고 보고하는 경우라면 발생-간격 관찰자 일치도로 간격 대 간격 관찰자 일치도를 보충할 수 있으며, 1차 관찰자가 행동이 70% 혹은 그 이상 발생하였다고 보고하면 비 발생-간격 관찰자 일치도로 간격 대 간격 관찰자 일 치도를 보충한다. 만약 목표 행동의 비율이 매우 낮다가 높게 혹은 매우 높다가 낮게 변화한다면, 연구의 조건 혹은 단계마다 비발생-간격 관찰자 일치도와 발 생-간격 관찰자 일치도를 둘 다 보고하는 것이 적당하다.
어떤 관찰자 일치도를 보고할지 망설여진다면, 다양한 관찰자 일치도를 보고하여 독자들이 자료의 신뢰성을 스스로 판단할 수 있도록 한다. 그러나 관찰자 일치도를 계산하는 방법에 따라 자료의 해석이나 의사결정이 달라진다면, 자료의 신뢰성에 대해 심각한 고찰이 이루어졌다는 것을 보고해야만 한다.
어떤 수준의 관찰자 일치도가 받아들일 만한가?
조심스럽게 수집되고 엄격하게 계산된 관찰자 일치도의 경우, 일치도가 100에 달할수록 자료의 신뢰성이 증가한다. 응용 행동분석에서 관찰기록을 사용할 때 보통 관찰자 일치도가 적어도 평균 80% 이상일 것을 기대한다. 그러나 Keedy(2005)가 지적한 바와 같이 "왜 80%가 필요한지에 대한 과학적인 근거는 없다. 그저 오랫동안 연구에서 이 백분율을 받아들일 만한 수준으로 채택해 왔기 때문이다." Millcr(1997)는 이미 확립된 측정치에서는 관찰자 일치도가 90% 이상으로 나타니야 하며, 새로운 변인에서는 적어도 80%가 되어야 한다고 권장하였다. 각기 상황에서 다양한 변인에 대해 80%나 90%의 기준은 너무 높거나 낮을 수 있다. 학생의 글에 포함된 단어의 수에 대해 관찰자 일치도가 90%이면, 자료의 신뢰도를 의심해 보아야 한다. 영속적 행동 결과물로부터 얻은 횟수 자료는 관찰자 일치도가 100%가 될 때까지 신뢰도를 높여야 한다. 복잡한 환경에서 다양한 참가자의 여러 행동을 동시에 측정해야 할 때, 개별 관찰자 일치도의 범위(예: 73~80%)가 좁으면 평균 75%의 관찰자 일치도도 받아들일 수 있다.
어떤 수준의 관찰자 일치도를 받아들일 것인지를 결정할 때에는 자료에서 나타난 행동 변화의 정도도 고려해야 한다. 한 조건에서 다른 조건으로 넘어갈 때 행동 변화가 작다면, 실제 행동의 변화보다 자료의 가변성이 자료에 큰 영향을 줄 수 있다. 그러므로 조건 이 따라 행동의 변화가 작게 나타난다면 관찰자 일치도에 대한 기준은 더욱 높아야 할 것이다.
어떻게 관찰자 일치도를 보고해야 하는가?
관찰자 일치도 점수는 서술 형식, 표, 그래프 형태로 보고할 수 있다. 어떤 형태가 선택되든지 어떻게, 언제, 그리고 얼마나 자주 관찰자 일치도가 평가되었는지를 보고하는 것이 중요하다.
관찰자 일치도를 보고할 때 가장 보편적인 방법은 일치도 백분율의 평균과 범위를 간단히 서술 형식으로 설명하는 것이다. 예를 들어 Craft, Allber와 Heward(1998)는 학생의 네 종속변인에 대한 관찰자 일치도 평가 방법과 결과를 다음과 같이 설명하였다.
학생 모집(Student recruiting)과 교사 칭찬. 두 번째 관찰 자는 연구의 총 40회기 중 12회기(30%)를 관찰하였다.
2명의 관찰자는 네 학생을 독립적으로 동시에 관찰하였는데, 이들이 보이는 학습된 반응의 수와 교사의 칭찬의 횟수를 기록하였다. 관찰자들의 일치도를 계산하기 위해 각 학습시간에 관찰자가 기록한 서술 문구를 사용하였다. 관찰자 일치도는 사건 대 사건으로 계산하였는데, 전체 일치 횟수를 전체 일치 및 불일치 횟수를 더한 것으로 나눈 후 100을 곱하였다. 학생의 학습된 반응 빈도에 대한 일치도는 88.2%에서 100%, 학생의 학습된 행동에 대한 교사의 칭찬 빈도에 대한 일치도는 100%, 학생의 학습되지 않은 행동에 대한 교사 칭찬 빈도의 일치도는 93.3%에서 100%의 범위를 보였다.
학업 과제 완성과 정확도.
두 번째 관찰자는 10회기 (25%)에서 각 학생의 과제완성과 정확도를 독립적으로 측정하였다. 철자 연습에서 과제완성과 정확도의 관찰자 일치도는 네 학생 모두에게서 100%로 나타났다.
표.
관찰자 일치도 결과를 표 형식으로 보고하는 예를 제시하였다. Kranz와 Meclannaban(1998)은 각 실험 조건에서 3명의 아동이 보이는 3종류의 사회적 상호작용에 대하여 관찰자 일치도의 범위와 평균을 보고하였다.
그래프 제시.
관찰자 일치도는 그림 5.6에서와 같이 1차 관찰자 자료의 그래프 위에 2차 관찰자의 측정치를 시각적으로 제시하여 보여 줄 수 있다. 두 관찰자의 자료를 같은 그래프상에서 비교하여 관찰자 간의 일치도 정도와 관찰자 표류 혹은 편향을 조사할 수 있다. 예를 들어 가상의 연구는 2차 관찰자의 측정이 1차 관찰자의 측정치와 함께 변화하기 때문에 관찰자 표류가 나타나지 않았음을 보여준다. 두 관찰자는 10회기 중 2회기에서만 같은 측정치를 나타내어 회기(회기 3, 8)에서만 관찰자 일치도가 측정되었으나, 두 관찰자 중 누구도 상대방보다 일관적으로 높거나 낮은 측정치를 보이지 않았다는 사실을 보여준다.
과대 추정이나 과소 추정이 무선적 양상을 보이면 편향이 없다고 볼 수 있다. 그래프로 표시한 관찰자 일치도 측정은 관찰자 편향과 표류를 그래프로 제시하여 측정의 신뢰성을 살펴볼 수 있는 또 다른 방법을 보여 준다. 1차 관찰자에 의해 보고된 자료가 조건 혹은 단계 사이에서 분명한 변화를 보이고, 2차 관찰자에 의해 보고된 모든 측정치가 1차 관찰자에 의해 얻어진 관찰 값의 범위 내에 있으면, 자료가 1차 관찰자의 편향이나 기타 부가적인 실험 요소 때문이 아니라 실제 측정된 행동의 변화 때문이라는 확신을 가질 수 있다.
응용행동분석에서 출판된 연구에서 관찰자 일치도의 그래프 자료를 제시하는 경우는 거의 없지만, 관찰자 일치도 그래프를 그려보면 백분율을 비교해서는 명확하게 드러나지 않을 수 있는 관찰자의 일관성(혹은 비일관성)을 단순하고 직접적으로 살펴보기가 수월하다.
측정의 질을 평가하기 위해 어떠한 접근이 사용되어야만 할까 : 정확도, 신뢰도, 또는 관찰자 일치도?
측정의 정확도, 측정의 신뢰도, 각기 다른 관찰자가 같은 측정치를 구하는지 정도의 평가는 자료의 질에 대한 서로 다른 지표를 제공한다. 여러 방식으로 측정의 질을 평가하는 이유는 연구 중 측정의 질을 향상시키고, 다른 사람에게 자료의 신뢰도를 판단하고 확신 시킬 수 있는 양적 증거를 제공하기 위해서이다.
응용행동분석가들은 무엇을 측정하고 어떻게 측정하는지에 대한 타당도를 확인한 후, 신뢰도나 관찰자 일치도보다 측정의 정확도를 평가해야만 한다. 자료의 측정치가 정확도 기준에 도달하면 자료의 신뢰도나 관찰자 일치도에 대한 의문은 더 이상 필요치 않다. 정확하다고 판단이 내려진 자료에서 관찰자 일치도나 신뢰도를 부가적으로 평가할 필요는 없다.
참값을 구할 수 없기 때문에 측정의 정확도를 평가하는 것이 어렵다면, 신뢰도 평가가 자료의 질에 대한 좋은 지표가 될 수 있다. 자연적 혹은 고안된 영속적 행동 결과물을 보관해 놓을 수 있다면, 소비자들이 관찰자가 행동을 기마다, 조건마다, 그리고 단계마다 일관적으로 측정하였다는 것을 알도록 측정의 신뢰도를 평가할 수 있다.
참값과 영속적 행동 결과물의 보관이 불가능하다면, 관찰자 일치도로 일정 수준의 신뢰도를 보여 줄 수 있다. 비록 관찰자 일치도는 측정의 타당도, 정확도, 그리고 신뢰도의 직접적인 지표는 아니지만, 이 지표는 응용행동분석에서 중요하고 유용한 연구 도구로 입증되어 왔다. 관찰자 일치도를 보고하는 것은 수 십 년 동안 응용행동분석 연구를 출판할 때에 필수 요소가 되었다. 현장에서 매우 널리 쓰이는 관찰자 일치도 측정치는 한계가 있긴 하지만 행동 변화의 기술을 발달시키는 노력을 엿볼 수 있는 지표이다.
동간기록 패러다임에서 일치도는 직접적이고 유용한 의미를 갖는다. 한 참가자를 두 관찰자가 얼마나 자주 관찰하였으며, 동일한 행동의 정의를 이용하고, 동일한 시간에 행동의 발생 여부를 관찰하였는가? 동일 간격에서 두 관찰자가 행동 발생에 대해 얼마만큼의 백분율의 일치를 보이고, 행동 비발생에 대해 얼마만큼의 백분율의 일치를 보였다는 정보는 매우 유용하다.
관찰자가 같은 자료를 평가하는데 다양한 평가 절차를 사용하는 것을 막을 이유는 없다. 시간과 자원이 허용한다면, 다양한 평가 절차를 혼합적으로 사용하는 것이 바람직하다. 응용행동분석가는 여러 가지 평가를 조합해서 사용할 수 있다(예: 정확도와 관찰자 일치도, 신뢰도와 관찰자 일치도). 게다가 자료의 어떠한 측면은 정확도나 신뢰도로 평가될 수 있는 반면 다른 부분은 관찰자 일치도로 측정될 수 있다. 앞서 언급한 Brown과 동료에 의해 보고된 정확도 평가의 사례는 정확도와 관찰자 일치도 평가를 함께 사용하고 있다. 독립된 관찰자가 학생의 회상이 정확한지 부정확한지를 기록하였다. 관찰자 일치도가 100%보다 낮을 때, 학생과 회기 내 자료의 정확도를 평가하였다. 관찰자 일치도는 신뢰성을 높이기 위해, 혹은 정확도 평가를 위한 자료를 선정하는 절차로 사용될 수 있다.