행동 측정으로 얻어진 자료는 행동 연구자와 임상가가 방향을 결정하고 평가할 수 있게 해주는 재료이다. 응용행동분석가는 어떤 행동이 변화해야 하는지 결정하고, 목표 행동에 대한 다양한 개입의 효과를 비교하며, 행동 변화의 습득, 유지 및 일반화를 평가하기 위해 사회적으로 중요한 행동을 측정한다.
연구자 혹은 임상가로서 행동분석가가 하는 일의 대부분이 측정에 의존하기 때문에, 측정으로 인해 얻어진 자료의 타당도가 최우선이 되어야 한다. 자료가 행동을 측정하기로 한 원래의 의도를 의미 있게 잘 반영하고 있는가? 자료가 실제 행동이 발생한 정도를 잘 대표하고 있는가? 자료가 행동에 대한 일관된 그림을 보여 주는가? 다시 말해서, 자료가 믿을 만한가?
이전 글에서는 행동의 측정 가능한 범위를 알아보고 응용행동분석에서 가장 많이 사용하는 측정 절차에 대하여 설명했다. 이번 글은 행동 측정의 질을 향상시키고, 이를 평가하는 것에 초점을 맞추고 있다. 우선 신뢰할 만한 측정의 주요 지표-타당도, 정확도, 신뢰도
-들의 정의를 내리는 것으로 시작하고자 한다. 그다음으로 측정을 위협하는 보편적인 요인들을 확인하고 이러한 위협을 물리칠 수 있는 제안점을 제시하였다. 이 장의 마지막 부분은 행동 측정의 정확도, 신뢰도, 그리고 신뢰성을 측정하기 위한 구체적인 절차를 소개한다.
신뢰하는 측정의 지표
세 친구 존, 팀, 빌은 함께 자전거를 탔다. 자전거를 다 타고난 후 존은 핸들에 달려 있는 자전거 컴퓨터를 보고 우리가 68마일을 달렸어, 최고야!라고 말했다.
팀은 "내 컴퓨터는 67.5마일이라고 하네. 잘 달렸다 친구들아!"라고 대답했다. 빌은 등을 문지르며 자전거에서 내리면서. "맙소사. 등이 많이 아프네. 우리는 100마일을 달린 게 틀림없어!"라고 말했다. 며칠 뒤 세 친구는 같은 코스로 자전거를 다시 탔다. 두 번째 자전거를 탄 뒤, 존의 컴퓨터는 18마일을 가르치며, 팀의 컴퓨터는 70마일을, 빌은 첫 번째 탔을 때보다 훨씬 덜 아팠기 때문에 90마일을 달렸다고 말했다. 같은 길을 세 번째 달 린 후, 존과 팀, 빌은 각각 달린 거리를 68, 65, 80마일이라고 보고하였다.
3명이 이야기한 측정치들은 얼마나 신뢰하는가? 세 친구의 자료 중 달린 거리를 과학적 근거에 의해 제시한 자료는 어느 것인가? 과학에서 유용하게 사용하려 면 측정은 타당하고, 정확하며 신뢰할 수 있어야 한다. 세 친구의 측정치는 타당도, 정확도, 그리고 신뢰 도를 가진다고 할 수 있는가?
타당도
측정하려는 현상과 직접적으로 관련 있는 자료를 산출할 때 측정에 타당도가 있다고 말할 수 있다. 측정의 타당도를 결정하기 위해 다음과 같은 기본적인 질문을 한다. 탐색의 초점이 되는 행동과 연관된 범주가 직접적으로 그리고 합리적으로 측정되었는가?
위에서 언급한 3명의 친구가 달린 거리에 대한 측정치는 타당도가 있는가? 그들은 자신들이 매번 얼마나 달렸는지를 알고 싶어 했기 때문에 달린 마일의 수는 이들의 행동에 대한 관련 있는, 혹은 타당한 범주다.
그들의 일차적 관심이 얼마나 오래, 또는 얼마나 빨리 달렸는가였다면 달린 마일의 수는 타당한 측정치가 될 수 없다. 존과 팀이 달린 마일을 자전거 컴퓨터를 이용하여 직접적으로 측정한 것은 타당한 측정치이 다. 빌은 간접적인 측정치('등의 상대적인 느낌)를 사용하여 달린 마일의 수를 결정하였으므로, 빌의 자료에 대한 타당도는 의심할 만하다. 관심이 되는 실제 행동의 직접적인 측정치는 항상 간접적인 측정치에 비하여 타당도를 지니는데, 직접적인 측정치는 추론에 의하지 않는 반면 간접적인 측정치는 언제나 추론 과정을 거치기 때문이다. 비록 등의 아픈 정도가 달린 거리와 관계가 있을지라도, 이는 자전거 안장에 있었던 시간, 길이 얼마나 거칠었는지, 달린 속도, 그리고 최근에 얼마나 많이 달렸는지와 같은 요인에 의해 영향을 받기 때문에 거리의 측정치로 등의 아픔을 사용하는 것은 타당도가 거의 없다.
응용행동분석에서 타당한 측정치가 되기 위해서는 다음 세 가지 요소를 충족시켜야 한다. (a) 사회적으로 중요한 목표 행동을 직접적으로 측정하기, (b) 관심이 되는 행동과 관련 있는 목표 행동의 범주(예 : 비율, 지속시간)를 측정하기, (c) 자료가 관심 있는 행동과 가장 관련 있는 상황과 시간에서 발생하는 행동을 대표하는지. 이러한 요소가 미심쩍거나 부족하다면, 자료 산출에 이용된 측정이 기술적으로 아무리 능숙하다고 할지라도 즉 정확하고 신뢰로 움, 결과 자료의 타당도가 떨어지거나 의미가 없다고 말해도 좋다.
정확도
측정의 맥락에서 정확도는 사건을 측정하여 얻어지는 양적 지표인 관찰 값이 자연 상태 그대로 존재하는 사건의 실제 상태, 혹은 참값을 반영하는 정도를 말한다 (ohnston & Pennypacker, 1993a). 다시 말해서, 측정되는 값이 참값과 얼마나 같은지에 따라 측정의 정확도가 결정된다. 참값은 다른 방법에 의해 얻어지는 측정치로, 자료 산출 방법이나 오류를 줄이기 위한 연구자의 노력에 영향을 받지 않는다. 위의 세 친구가 달린 거리의 측정치는 얼마나 정확할까? 각각의 사람이 같은 사건에서 다른 측정치를 얻었기 때문에, 이들 세 자료는 정확할 수 없다. 세 친구가 보고한 달린 거리에 의심이 든 이들의 친구인 리는 자신의 차 뒤 범퍼에 교통국(Department of Transportation)의 주행기록계를 부착하여 같은 길을 운전하였다. 종착지점에서 주행기록계는 58마일을 나타냈다. 리는 교통국 주행기록계를 통해 얻어진 측정치를 길거리의 참값으로 보고 세 측정치 모두가 부정 확하다고 결론 내렸다. 세 사람은 실제 거리를 과대 추정하였다. 존, 팀, 빌이 보고한 거리를 실제 거리 참값과 비교하여, 리는 친구들의 자료가 부정확할 뿐만 아니라 측정 편향이라고 불리는 특정 종류의 오류에 의해 오염되었다는 것을 발견하였다. 측정 편향(measurement bias)은 비무작위적 측정 오류, 즉 한 방향으로만 나타나는 측정 오류를 지칭한다. 측정 오류가 무작위적일 때, 사건의 참값을 과대 추정하기도 하고 과소 추정하기도 한다. 존, 팀, 그리고 빌이 모두 일관적으로 거리를 과대 추정하였기 때문에 이들의 자료는 측정 편향을 보이고 있다고 할 수 있다.
신뢰도
신뢰도(teliability)는 '측정 절차가 같은 자연 상태에서 다시 반복되었을 때 같은 값을 산출할 수 있는' 정도를 나타낸다.
다시 말해서 신뢰하는 측정이란 일관된 측정이다. 타당도나 정확도와 같이 신뢰도는 상대적인 개념으로 정도의 문제이다. 같은 사건을 반복적으로 측정한 값이 서로 가까울수록, 신뢰도는 커진다. 역으로 말해서, 같은 사건의 반복된 측정치의 관찰 값이 서로 다를수록, 신뢰도는 더욱 낮아진다.
위에서 나타난 세 친구의 측정치는 얼마나 신뢰하는가? 존은 같은 길을 측정할 때 68마일이라는 같은 값을 매번 얻었기 때문에 그의 측정치는 완벽한 신뢰도를 보인다. 팀은 같은 길을 3번 측정하였을 때 각각의 측정치-67.5, 70, 65마일-가 최대 5마일 차이가 나타났다. 그러므로 팀의 측정치는 존보다 신뢰도가 낮다. 빌의 측정 체계는 같은 길에서 80에서 100마일의 범위에 이르는 값을 보여 신뢰도가 가장 낮다.
타당도, 정확도, 신뢰도의 상대적 중요성 행동
측정치는 행동 변화를 평가하고 연구와 치료 결정을 위한 적합한 자료를 제공하여야만 한다. 가장 높은 양질의 자료(즉 과학지식을 발전시키거나 자료기 반실무를 방향 짓는 유용하고 확실한 자료)는 타당하고, 정확하며, 신뢰하는 측정이다. 타당도, 정확도, 그리고 신뢰도는 상대적인 개념으로 각각 높은 것에서 낮은 범위 내에 존재한다. 자료가 확실하려면 타당하면서 정확하여야만 한다.
자료가 타당하지 않다면, 정확도는 쓸모가 없다. 목표가 아닌 행동을 정확하게 측정하는 것, 목표 행동과 관련 없는 범주를 정확히 측정하는 것, 또는 분석에 관련 있는 조건이나 시간을 대표하지 않는 상황에서 행동을 정확하게 측정한 것은 타당하지 않은 자료를 산출한다. 또한 관련 있는 상황과 시간에 목표 행동의 의미 있는 범주를 측정하여 얻어진 자료라도 관찰 값이 부정확할 경우 거의 쓸모가 없다. 부정확한 측정은 타당한 측정에 의해 얻어진 자료를 타당하지 않게 만든다. 신뢰도와 정확도를 혼돈해서는 안 된다. 비록 존의 자전거 컴퓨터가 완전히 신뢰하는 측정치를 제공하고 있으나 그 정보는 부정확하다.
자료의 정확도를 우선으로 하지 않은 채 자료의 신뢰도를 보는 것은 신뢰도를 정확도로 오해하게 한다. 연구자나 출판된 연구를 읽는 사람이 던져야 할 질문은 "이 자료는 신뢰하는가? 가 아니라, "이 자료는 정확한가? 이 정확도가 신뢰도보다 중요하다면 - 그리고 실제 그렇다- 왜 연구자와 임상가는 측정의 신뢰도를 고려해야만 하는가? 높은 신뢰도가 높은 정확도를 의미하지는 않지만, 낮은 신뢰도는 정확도의 문제를 보여준다. 팀과 빌의 측정은 신뢰하지 않기 때문에, 적어도 이들이 보고한 자료의 일부는 정확하지 않을 수 있으므로 이들의 측정도구와 절차의 정확도를 확인해야만 한다.
신뢰도가 높은 측정 체계는 정확도 수준이 어떻든지 간에 이를 일관되게 자료에 나타낸다. 존의 컴퓨터가 매번 관찰 값을 참값보다 일정한 값 혹은 비율만큼 높게 측정한다는 것을 알면 자료를 부정확한 정보만큼 조정할 수 있다.