응용행동분석에서 자료의 정확도와 신뢰도를 가장 크게 위협하는 요소는 사람들의 실수이다. 기계에 의해 자동적으로 수행이 측정되는 실험 분석과 달리, 대부분 응용행동분석에는 관찰자가 행동을 측정한다. 관찰자에 의한 측정 오류에 기여하는 요소들은 잘못 고안된 측정 체계, 불충분한 관찰자 훈련, 그리고 의도하지 않은 관찰자 영향 등이 있다.
잘못 고안된 측정 체계
불필요하게 번거롭고 사용하기에 어려운 측정 체계는 정확도와 신뢰도를 떨어뜨린다. 행동 자료를 현장에서 수집하는 것은 주의, 날카로운 판단과 인내를 필요로 한다. 측정 체계가 사용하기에 힘들고 어려울수록 관찰자는 일관되게 목표 행동의 모든 사례를 관찰하고 기록할 수 없다. 측정 체계를 가능한 한 간소화하는 것이 측정 오류를 최소화할 수 있다.
측정의 복잡성은 관찰되는 사람의 수, 기록하는 행 동의 수, 관찰 기간, 관찰 간격의 기간 등에 영향을 받으며, 이는 모두 측정의 질에 영향을 미칠 수 있다. 예를 들어 여러 사람을 관찰하는 것은 1명을 관찰하는 것보다 좀 더 복잡하며, 여러 행동을 기록하는 것은 한 행동을 기록하는 것보다 복잡하다. 간격 사이에 기록할 여유 없이 연속적으로 5초 근접 관찰 기록을 사용하는 것은 기록할 시간이 있는 관찰 체계보다 더 부정확하다.
연구에 따라 측정의 복잡성을 감소시킬 수 있다. 시간 표집법 측정을 사용할 때 응용행동분석가는 동시에 관찰하는 개인 혹은 행동의 수를 줄이거나 관찰 회기의 지속시간을 감소시키고(예 : 30분에서 15분으로) 시간 간격을 증가시키는 것(예 : 5초에서 10초로)을 생 각해 볼 수 있다. 관찰자 훈련 동안 연습을 좀 더 하고 관찰 코드를 숙달하는데 까다로운 기준을 설정하거나 관찰자에게 빈번한 피드백을 주면 복잡한 측정에서 흔히 발생하는 부정적인 효과를 감소시킬 수 있다.
불충분한 관찰자 훈련
관찰자를 선택하고 훈련할 때에 세심한 주의를 기울여야만 한다. 객관적이고 체계적인 관찰자 훈련은 믿을 만한 자료 수집에 필수적이다. 관찰과 코딩 체계는 관찰자가 복잡하고 역동적인 상황에서 특정한 행동 혹은 사건이 발생했는지의 여부를 관찰하고 이를 기록지에 기록하도록 한다. 관찰자는 측정해야 하는 각 반응군이나 사건의 정의, 각 변인의 코드 혹은 기호의 표기법, 키 입력이나 스캔하는 것과 같은 기록 절차, 부주의한 기록, 키 입력, 스캔 오류를 수정하는 방법 (예 : 빼기 표시 대신 더하기 표시를 한 것, F5키 대신 F6 키를 누른 것, 바코드 잘못 스캔하기) 등을 배워야 한다.
신중하게 관찰자 고르기
모든 지원자가 훈련을 받는다고 다 좋은 관찰자가 되는 것은 아니다. 관찰자를 지원하는 사람들은 이전의 관찰과 측정 경험, 현재와 앞으로의 스케줄, 직업윤리와 동기, 전반적인 사회기술에 대하여 면접을 받아야 한다. 면접은 현재의 관찰과 기술 수준을 평가하기 위한 사전검사를 포함할 수 있다. 주로 지원자가 앞으로 관찰하게 될 것과 유사한 짧은 영상을 관찰하게 하고 이들의 수행이 적절한지 파악한다.
객관적인 기준을 충족하도록 관찰자 훈련시키기
훈련을 받는 관찰자는 응용 현장에서 관찰을 시작하기 전에 일정 기준에 도달하는 수행을 보여야 한다. 훈련 동안 관찰자는 목표 행동과 목표 행동이 아닌 다 양한 예를 연습해야 하며 이에 대한 비판과 피드백을 받아야 한다. 관찰자는 실제 자료 수집 전 수많은 연 습 회기를 거쳐야 한다. 훈련은 기존에 설정된 기준 (예 : 둘 혹은 셋의 연속적인 회기 동안 95%의 정확도) 가 달성되기까지 계속되어야 한다. 예를 들어 Komalki(1998)는 육군 병사가 무거운 비품을 취급할 때 안전을 위한 예방조치를 수행하는지 측정하도록 관찰자를 훈련하기 위해 3회기 연속 이틀 수행이 참값에 적어도 90% 이상 일치해야 한다는 기준을 사용했다.
관찰자를 훈련시키기 위해 다양한 방법이 사용될 수 있다. 예시 삽화(sample vignettes), 서술 설명 (nanative descripions), 비디오 시퀀스(video sequences), 역할극, 실제 자료가 수집될 환경에서의 연습 회기 등의 방법이 있다. 자연 상황에서 연습 회기를 갖는 것은 특히 유용한데, 이는 관찰자와 참가자가 서로에게 익숙해지도록 해주며 참가자가 관찰자로 인해 수동적 행동을 보일 가능성을 감소시킨다. 다음에 제시하는 단계는 관찰자를 훈련시키는 체계적인 접근의 예이다.
1단계 훈련생은 목표 행동의 정의를 읽고 자료 수집 양식, 관찰 기록 절차와 측정 혹은 기록 장치(예: 테 이프 녹음기, 스톱워치, 노트북, PDA, 바코드 스캐너)를 적절하게 사용하는데 익숙해진다.
2단계 훈련생은 이미 참값을 아는 사례를 통해 100%의 정확도가 나올 때까지 간단한 행동 삽화를 연습한다.
3단계 훈련생은 이미 참값을 아는 사례를 통해 100%의 정확도가 나올 때까지 좀 더 길고 복잡한 행동 삽화의 기록을 연습한다.
4단계 훈련생은 실제 자연환경에서 발생하는 것과 비슷한 속도와 복잡성을 가진 목표 행동이 나타나는 비디오테이프나 역할극 자료를 관찰하고 기록하는 것을 연습한다. 훈련 삽화는 훈련생이 목표 행동의 발생과 비발생을 점점 구별하기 어려운 순서대로 짜여 있어야 한다. 훈련생이 같은 종류의 삽화를 두 번 채점하도록 하고 이틀간 신뢰도 점수를 통해 훈련생의 일관성을 평가할 수 있다. 훈련생은 이전에 설정된 정확도와 신뢰도 기준에 도달할 때까지 연습한다. 작문이나 학업 연습장과 같이 자연적인 영속적 행동 결과물로부터 자료를 얻는다면, 2단계에서 4단계를 거치며 훈련생에게 점점 더 광범위하고 어려운 사례를 채점하게 만들어 채점하는 연습을 할 수 있게 해야 한다.
5단계 관찰자 훈련의 마지막 단계는 자연환경에서 자료 수집을 연습하는 것이다. 숙달된 관찰자가 훈련생과 동반하여 동시에 독립적으로 목표 행동을 측정한다. 연습 회기마다 훈련생과 관찰자가 자신들의 자료 용지를 비교하고 지금까지 예측하기 어려운 사례에 대해 논의한다. 훈련은 숙달된 관찰자와 훈련생 사이에 이미 정한 일치도 기준(예 : 적어도 3개의 연속된 회기에서 90% 이상)에 도달할 때까지 지속한다.
관찰자 표류를 최소화하기 위해 지속적인 훈련 제공하기
연구 과정 중 관찰자는 자신도 모르는 사이에 측정 체계를 적용하는 방식을 변경한다. 관찰자 표류(observer arit)라고 불리는 이러한 자료 수집에서의 의도되지 않은 변화는 측정 오류를 만들 수 있다. 관찰자 표류는 대부분 훈련에서 사용된 목표 행동의 정의에 대한 관찰자의 해석이 변화되어 발생한다. 관찰자 표류는 관찰자가 기존의 목표 행동의 정의를 확대하거나 축소할 때 발생한다. 예를 들어 첫 주에는 불순응의 예로 기록되었던 아이의 행동을 연구의 마지막 주에는 순응의 사례로 기록하는 것이 그것이다. 관찰자는 대개 측정의 표류를 인식하지 못한다. 연구 동안 관찰자 표류는 관찰자 재훈련 혹은 부스터 회기에 의해 최소화될 수 있다. 지속적인 훈련은 관찰자가 측정의 정확도와 신뢰도에 대한 피드백을 좀 더 자주 받을 수 있는 기회를 제공한다. 훈련은 정기적으로(예: 매주 금요일 아침), 또는 무선적으로 이루어질 수 있다.
의도하지 않은 관찰자 영향
이상적으로 관찰자의 자료는 측정하도록 훈련받은 목표 행동의 발생과 비발생에 의해서만 영향을 받아야 한다. 그러나 실제로는 의도하거나 원하지 않는 다양한 이유가 자료의 정확도와 신뢰도를 위협한다. 이러한 측정 오류의 보편적인 원인에는 관찰자가 결과에 대해 가지는 기대와 다른 사람이 같은 행동을 측정하고 있다는 관찰자의 인식이 포함된다.
관찰자 기대
목표 행동이 특정 조건에서 일정한 수준으로 발생해야 한다거나 환경이 변화하였을 때 목표 행동이 변화해야 한다는 관찰자 기대는 정확한 측정을 방해하는 주요 위협 요소이다 예를 들어, 관찰자가 교사의 토큰 경제 도입이 학생의 부적절한 행동 빈도를 감소시킬 것이라고 믿거나 예측한다면, 이런 기대가 없을 때에 기록하는 것에 비해서 토큰 강화 조건에서 부적절한 행동을 좀 더 적게 기록할 수 있다. 관찰자 기대 혹은 연구 자를 만족시키는 결과를 얻기 위한 노력에 영향을 받은 자료는 측정 편향이 되었다고 할 수 있다.
관찰자 기대에 의해 발생한 측정 편향을 최소화하는 가장 확실한 방법은 실험 조건을 모르는 관찰자(nalive observer)를 사용하는 것이다. 연구의 실험 조건을 모르는 관찰자는 관찰 기간 동안 연구의 목적, 그리고 혹은 실험 조건에 대하여 정보를 받지 않은 관찰자이다.
훈련생은 연구의 목적에 대해 제한된 정보를 받을 것이며, 왜 그런지에 대하여 교육을 받아야 한다. 그러나 관찰자를 연구에 대해 모르게 유지하는 것은 어려우며, 때때로 불가능하다.
관찰자가 연구의 목적 혹은 가설을 알고 있다면, 목표 행동의 정의를 사용하고 보수적인 방식으로 행동을 기록하는 절차(예: 과제 수행 행동을 5초 간격보다는 10초 간격의 전-간격 기록법으로 기록하기), 정확한 자료를 수집하는 것의 중요성에 대해 솔직하고 반복 적으로 토의하기, 그리고 관찰자가 수집한 자료가 실제 값 혹은 가설을 모르는 관찰자에 의해 얻어진 자료에 얼마나 일치하는지에 대한 빈번한 피드백을 통해 측정 편향을 최소화할 수 있다. 연구자는 관찰자의 자료가 가설 혹은 치료 목표와 얼마나 일치하는지에 대 한 피드백을 제공하지 말아야 한다.
관찰자 반응성
다른 사람이 자신의 자료를 평가할 것이라는 것을 관찰자가 인식할 때 발생하는 측정 오류를 관찰자 반응성(observer reactivity)이라고 부른다. 참가자가 자신의 행동이 관찰되고 있다는 것을 알 때 발생하는 반응성과 마찬가지로, 관찰자의 행동(즉 기록하고 보고하는 자료)은 다른 사람이 자료를 평가할 것이라는 것을 알 때 영향을 받을 수 있다. 예를 들어 연구자나 다른 관찰자가 동시에 같은 행동을 관찰하고 있거나 측정을 비디오나 오디오로 나중에 다시 본다는 것을 알면 관찰자 반응성이 일어나게 된다. 어떤 관찰자가 다른 관찰자의 특정 기록 방식을 예상한다면, 그 기록 방식에 의해 관찰 자료가 영향을 받게 될 것이다.
예상하지 못한 시기에 가능한 방해하지 않고 관찰 자를 감독하는 것은 관찰자 반응성을 감소시키는 데 도움을 준다. 복수의 관찰자를 거리를 두어 배치하거나 파티션으로 분리하는 것은 관찰 동안 이들의 측정이 서로에 의해 영향받는 것을 감소시킬 수 있다. 어떤 연구나 임상 현장에서 일방향 거울을 이용해 관찰자 1과 관찰자 2 사이의 시각적 상호작용을 없앤다.
만약 회기 내 녹음이나 비디오 촬영이 가능하면, 관찰자 2는 행동을 나중에 기록하고 관찰자 1과 관찰자 2를 마주치지 않게 한다. 일방향 거울이 가능하고 비디오 촬영이나 녹음이 방해가 되는 세팅에서는 관찰자 2는 관찰자 1이 모르게 행동 측정을 시작할 수 있다. 예를 들어 관찰자 1이 첫 번째 간격에서 측정을 시작한다면, 관찰자 2는 10분 간격 후에 측정을 시작할 수 있다. 관찰자 1이 이전에 기록한 간격을 제외한 후, 10분 표시로 시작된 간격부터 비교하면 된다.