성격 검사를 정확하게 만드는 것은 무엇일까요?

1948년, 심리학자 Bertram Forer는 학생들에게 성격 분석 결과를 나누어 주었습니다. 그는 이 결과가 각자의 검사 응답을 바탕으로 개인화된 것이라고 말했지만, 사실 모든 학생은 신문 점성술 칼럼을 토대로 작성된 똑같은 보고서를 받았습니다. 각 분석의 과학적 근거는 Buzzfeed의 “당신의 성격에 맞는 쓰레기는 무엇인가요?” 퀴즈와 거의 다를 바 없었습니다. 그러나 자신을 얼마나 정확하게 묘사하는지 평가해 달라는 요청을 받자, 학급은 분석 결과에 5점 만점에 평균 4.26점을 주었습니다. 이후 수십 년 동안 거의 동일한 점수가 반복해서 나타났습니다. 

훗날 포러 효과로 알려지게 된 이 현상은, 사람들이 모호하고 일반적인 성격 설명이 자신에게만 구체적이고 고유하게 적용된다고 믿는 심리 현상을 말합니다. 이러한 설명은 거의 누구에게나 들어맞을 수 있지만, 사람들은 이를 매우 정확하다고 평가합니다. 그리고 설명이 더 호의적일수록 사람들은 그것이 사실이라고 믿을 가능성이 커집니다. 

이런 일이 일어나는 이유는 복잡합니다. 인간은 의미를 찾고자 하며, 일반적인 진술을 자신의 삶과 연결하려고 애씁니다. 또한 우리는 긍정성 편향이 있어 자신에게 유리한 특성을 쉽게 사실로 받아들입니다. 그리고 심리학자들은 여러 획기적인 실험을 통해 권위에 대한 우리의 뿌리 깊은 신뢰와 복종을 입증했습니다(밀그램 전기충격 실험; Bickman의 제복 연구). 이 연구들은 소위 전문가가 결과를 제시하면 사람들이 어떤 평가 결과든 믿게 된다는 점을 시사합니다.

이 모든 점을 종합해 보면, 대부분의 사람은 성격 검사, 특히 전문가의 뒷받침을 받는 검사의 정확성을 평가할 때 결과가 옳게 느껴지는지를 묻습니다. 이는 어떠한 측정도 없이 만들어낼 수 있는 주관적 느낌입니다. 이는 비즈니스 리더에게 문제가 됩니다. 조직이 검사를 단지 "사실처럼 느껴진다"는 이유만으로 신뢰한다면, 팀 구축 의사결정의 근거로 안전하게 활용할 수 있는 실제 무언가를 검사가 측정하는지, 아니면 값비싼 포춘 쿠키식 유사과학에 불과한지를 어떻게 알 수 있을까요? 

정확한 성격 검사의 조건

공감이 정확성의 증거가 아니라면, 무엇이 증거일까요? 

그 질문의 답은 전적으로 검사 응시자가 보는 결과 밖에 있으며, 첫 번째 문항이 작성되기 훨씬 전에 완료된 연구 축적물 안에 있습니다. 이 연구는 출판사가 측정 대상의 개념을 어떻게 정의하는지, 문항을 얼마나 엄격하게 개발하고 검증했는지, 규준의 근거가 되는 표본이 얼마나 크고 대표성 있는지, 그리고 점수를 실제 행동과 비교해 얼마나 철저히 확인했는지를 다룹니다. 

이 연구가 광범위할수록, 검사는 Forer가 빌려 온 점성술 칼럼과 더 큰 거리를 둡니다. 신뢰할 수 있는 검사는 몇 가지 핵심 기제를 통해 편향에 맞섭니다.

1. 검사는 실제로 무엇을 측정하는지 정의하는가?

통계가 개입되기 전에, 신뢰할 수 있는 검사는 산출하는 모든 점수에 대해 구체적이고 객관적으로 정의된 특성을 명시해야 합니다(모두에게 호의적으로 들리는 모호한 진술이 아니라). 심리학자들은 이를 구성개념이라고 부릅니다. 예로는 정직성, 공포, 끈기, 완벽주의, 그리고 친화성이 있습니다. 

성격 구성개념은 눈에 보이지 않으므로, 연구자가 정확히 그 특성을 겨냥한 문항을 작성할 수 있을 만큼 정밀하게 정의되어야 합니다. 예를 들어, 외향성과 "사교성", "자기주장성" 같은 유사한 형용사적 특성은 직접 볼 수 없는 내적 자질입니다. 우리는 사람들이 어떻게 행동하는지, 그리고 “나는 낯선 사람과 이야기하는 것을 좋아한다” 또는 “관심의 중심이 되는 것은 좋은 일이다”와 같은 질문에 어떻게 답하는지를 살펴봄으로써 이를 연구합니다.

확립된 모든 성격 프레임워크에는 시간이 흐르며 검증된 명확한 구성개념이 있습니다. DISC에는 예를 들어 Drive, Influence, Support, Clarity라는 구성개념이 있습니다. 빅 파이브에는 OCEAN이라는 약어로 알려진 다섯 가지 구성개념이 있습니다. Openness, Conscientiousness, Extraversion, Agreeableness, 그리고 Neuroticism입니다. Myers-Briggs는 16가지 뚜렷한 성격 유형을 만들어 내는 네 쌍의 이분법적 선호(구성개념)를 기반으로 합니다. Extraversion (E) 대 Introversion (I), Sensing (S) 대 Intuition (N), Thinking (T) 대 Feeling (F), 그리고 Judging (J) 대 Perceiving (P)입니다.  이 구성개념들은 하루아침에 정립된 것이 아닙니다. 수십 년간의 연구를 통해 다듬어지고, 논의되고, 재검증되어 왔으며, 그 결과 각각은 대부분의 새롭고 독점적인 척도가 축적할 시간이 없었던 증거 기반을 갖추게 되었습니다. 

확립된 체계에 기반하지 않고 처음부터 만들어진 독점 검사를 사용한다면, 어떤 구성개념을 평가하며 그것이 어떻게 구체화되었는지 확인하는 것이 좋습니다. 이 작업은 문항이 구성되기 훨씬 전에 이루어졌어야 합니다. 출판사가 척도가 측정하는 정확한 특성을 명시하지 못한다면, 이후의 어떤 타당화 연구도 주장하는 바를 실제로 의미한다고 신뢰할 수 없습니다.

2. 검사는 신뢰할 수 있는가? 

과학적으로 타당한 검사는 시간에 따라 안정적인 결과를 내야 합니다. 성격 특성은 매주 급격하게 바뀌지 않으므로, 오늘 검사를 치르고 동일한 조건에서 6주 후 다시 치른다면 점수는 거의 같아야 합니다. 이를 신뢰도라고 하며, 검사-재검사 신뢰도와 같은 통계 방법으로 측정합니다.  일반적으로 검사-재검사 계수는 0.70 이상이면 수용 가능한 수준으로 보고, 0.80 이상이면 높은 신뢰도를 나타냅니다.

두 번째 신뢰도 기준은 내적 일관성입니다. 이는 동일한 특성을 측정하는 검사 내 문항들이 서로 모순 없이 일치한다는 뜻입니다. 예를 들어 검사가 "외향성"이라는 구성개념을 측정한다면, 붐비는 파티를 즐기는지에 대한 답변은 낯선 사람에게 먼저 말을 거는지에 대한 답변과 통계적으로 부합해야 합니다. 기술 문서에서 Cronbach의 알파(α)라는 지표를 확인하세요. 신뢰할 만한 심리 평가는 측정하는 각 구성개념에 대해 0.70 이상의 알파 값을 갖습니다.

Enneagram이나 Myers-Briggs와 같은 유형학 체계는 검사-재검사 신뢰도가 비교적 낮다는 점에서 주류 심리학자들의 지속적인 비판을 받고 있다는 점도 언급할 만합니다. 이는 대개 유형 이론 자체에 대한 비판인데, 성격 특성은 흔히 유동적인 연속선상에 존재하기 때문입니다(빅 파이브 성격 특성이나 Holland Code처럼 더 널리 인정받는 과학적 모델이 측정하듯이). 이는 이러한 유형 체계가 사람들을 배치하는 뚜렷한 상자와는 다릅니다. 또한 기분, 맥락, 자기 인식에 따라 한 번의 응답 세션에서 다음 세션으로 답변이 다소 달라질 수 있으므로, 기저 특성이 전혀 변하지 않았더라도 자기보고식 평가에서 수행의 변동성은 드문 일이 아닙니다.  

그렇지만 낮은 신뢰도를 보여 주는 연구마다 높은 신뢰도를 보여 주는 다른 연구도 있으며, 특히 Myers-Briggs는 80년간의 검사와 적용 역사를 지니고 있습니다. 조직은 출판사의 기술 문서에서 안심할 근거를 찾을 수 있습니다. 예를 들어 Truity는 각 평가에 대해 기술 문서를 공개하며, 매우 큰 데이터세트(수백만 명의 사용자)를 활용한 검사와 각 구성개념의 표준 신뢰도 지표를 제시합니다. 그러한 문서가 없거나 요청 시 제공되지 않는다면, 출판사의 마케팅이 아무리 세련되어 보여도 해당 검사는 검증되지 않은 것으로 간주하세요. 

3. 검사는 현실 세계의 결과를 예측하는가?

타당도 분석은 복잡하며, 신뢰할 수 있는 검사가 공개되기 전에는 여러 검증 절차가 이루어집니다. 이 절차들은 함께 검사가 주장하는 대상을 실제로 측정하는지, 검사 자체 밖의 실제 결과를 기준으로 확인합니다. 

이를 세분화하면, 일부 검증은 검사가 측정한다고 주장하는 특성이 데이터에서 실제로 나타나는 특성인지 확인합니다.  따라서 검사 제작자가 빅 파이브의 Extraversion을 측정하는 문항 10개와 Agreeableness를 측정하는 문항 10개를 만든 경우, 사람들의 응답이 이 두 문항 집단이 혼란스럽게 뒤섞이지 않고 완전히 분리되어 있음을 보여 줄 때 이른바 요인 타당도가 확보됩니다.

다른 방법들은 검사 점수가 한 사람의 미래 행동, 수행 또는 현실 세계의 결과를 얼마나 정확히 예측하는지 평가합니다. 예를 들어 팀원이 Conscientiousness에서 높은 점수를 받았다면, 6개월 후 실제로 성과가 높고 체계적이며 신뢰할 수 있는 직원으로 드러날 때 예측 타당도가 입증됩니다. 이 역시 출판사의 기술 문서에서 분석 내용을 찾을 수 있어야 합니다.

일부 성격 프레임워크는 다른 것보다 더 큰 예측력을 지닙니다. 특히 빅 파이브는 학술 문헌에서 가장 강한 예측 타당도를 보이며, 수십 년에 걸친 연구는 각 요인을 직무 성과, 관계 만족도, 심지어 수명 같은 구체적 결과와 연결합니다.

Myers-Briggs와 같은 유형학 기반 체계는 다소 엇갈린 성과를 보여 왔는데, 이는 주로 각 이분법에서 사람을 둘 중 하나의 범주에 넣음으로써 어느 방향으로 얼마나 강하게 기우는지에 관한 중요한 정보를 버리기 때문입니다. 예를 들어 두 사람이 모두 내향적 유형으로 판정될 수 있지만, 51% Introverted인 사람을 99% Introverted인 사람과 같은 "I" 범주에 넣으면 실제 자연에는 존재하지 않는 범주가 만들어집니다.

그러나 연구자 John A. Johnson은 네 가지 Myers-Briggs 척도가 빅 파이브의 네 가지 요인과 의미 있게 상관관계를 보인다고 지적했습니다(E-I는 Extraversion, S-N은 Openness, T-F는 Agreeableness, J-P는 Conscientiousness와 상관). 이는 고전적인 Myers-Briggs 형식이 이를 잘 포착하지 못하더라도 기저 특성 자체에는 실제 예측 가치가 있음을 시사합니다.  그가 제안한 해결책은 엄격한 양자택일 이분법을 버리고 연속 척도에서 개인의 결과를 보고하는 것입니다. 이렇게 하면 사람을 단순히 "E" 또는 "I"로 분류할 때 사라지는 뉘앙스를 보존할 수 있습니다. 

Truity의 자체 TypeFinder 성격 평가를 포함하여, Myers와 Briggs의 원래 이론에 기반한 일부 새로운 평가는 이러한 척도 기반 접근법을 채택했습니다.

4. 검사는 좋게 보이기 위해 응답하는 경우를 고려하는가?

대부분의 대중적인 성격 평가는 자기보고식이며, 이에 따라 응답자가 자신에게 유리하게 보이는 방식으로 답해 체계를 조작할 위험이 있습니다. 특히 성과 평가나 평판이 결과에 달려 있다면 더욱 그렇습니다. 연구자들은 이를 "사회적 바람직성" 편향이라고 부릅니다. 검사가 이를 고려하지 않으면 긍정적 특성의 점수는 인위적으로 부풀려지고, 부정적이지만 관련 있는 특성은 숨겨진 채로 남게 됩니다. 

사회적 바람직성 편향을 최소화하기 위해 신뢰할 수 있는 검사는 지나치게 이상적인 응답 패턴을 피하는 방식으로 문항을 작성합니다. 예를 들어 "정답"인 도덕적 선택이나 사회적으로 선호되는 답변을 암시하는 유도적 표현을 피하고 중립적으로 문항을 구성하거나, 긍정적 선택지와 부정적 선택지를 같은 수로 제공하는 균형 잡힌 객관식 응답 선택지를 제공합니다. 일부 검사는 응답자에게 진술들을 서로 비교해 순위를 매기도록 하는 ‘강제 선택’ 형식을 포함합니다. 제대로 아는 검사 제작자는 사회적으로 동일한 매력 또는 비매력을 지닌 진술들을 쌍, 세 개 묶음 또는 네 개 묶음으로 그룹화하여, 응답자가 진정한 절충을 해야 하고 가장 호의적인 선택지만 고를 수 없도록 합니다. 

어떤 중요한 상황에서든 검사 결과를 활용하는 리더라면 출판사가 이 문제를 구체적으로 어떻게 다루는지 물어야 합니다. 그 질문에 답이 없는 검사는 부풀려진 결과를 낳습니다.

5. 점수는 크고 관련성 있는 표본을 근거로 하는가?

많은 성격 검사는 규준 점수를 사용합니다. 이는 응답자의 답변을 기준 집단과 비교하여, 사람들 간에 비교할 수 있는 백분위 또는 특성 점수를 산출하는 방식입니다. 규준 점수는 다른 사람에 비해 검사 응시자가 어떤 특성을 더 많이 또는 적게 지니는지를 보여 줌으로써, 타인과 비교한 수행을 평가합니다. 

여기서 표본 크기는 매우 중요합니다. 대학생 100명으로 구성된 규준 집단은 여러 산업, 연령대, 국가의 수만 명에 이르는 직장인을 대상으로 한 집단과 비교할 때 "높음", "낮음", "평균"에 대해 분명히 매우 다른 그림을 만들어 냅니다. 신뢰할 수 있는 출판사는 흔히 수백만 명 규모의 진정한 대규모 규준 표본을 구축하며, 그 표본을 인구통계학적으로 폭넓게 유지하거나 평가 대상 집단에 더 적절하다면 산업별(예: 기술, 의료)로 맞춤 구성합니다.

일부 평가는 규준 점수 대신 입각 점수를 사용합니다. 이는 한 사람의 특성을 그 사람의 다른 특성과만 비교하여 상대적 강점과 약점에 대한 자기참조 프로필을 산출하는 강제 선택 형식입니다. 입각 점수는 동등하게 매력적인 진술들 간의 절충을 강제함으로써 앞 절에서 다룬 사회적 바람직성 편향을 크게 줄이지만, 단점은 사람 A의 점수를 사람 B의 점수와 수학적으로 비교할 수 없다는 것입니다. 두 사람은 정확히 같은 프로필을 가질 수 있지만, 그 특성들의 절대적 수준은 크게 다를 수 있습니다.

어느 방법이 다른 방법보다 객관적으로 더 낫다고 할 수는 없으며, 일부 검사는 그 핵심 철학상 입각적입니다. 예를 들어 Myers-Briggs는 두 상반된 선호(예: Introversion 대 Extraversion) 중 하나를 선택하게 하므로, 일반 대중을 기준으로 한 백분위 순위가 아니라 검사 응시자의 내적 선호를 서로 비교하여 네 글자 유형(예: INFJ)에 도달합니다. 빅 파이브는 더 규준적인 방식이며, 다른 프레임워크는 매우 정확한 성격 프로필을 구축하기 위해 다양한 문항 형식과 검사를 결합한 하이브리드 적응형 검사를 사용합니다. 

궁극적으로 이는 투명성의 문제입니다. 신뢰할 수 있는 출판사는 사용하는 채점 방법과 그 이유, 그리고 그 배경이 되는 규준 집단의 규모와 구성을 명확하게 알려 줍니다. 이 정보를 찾기 어렵거나 표현이 모호하다면, 출판사가 기초 작업을 하지 않았을 수 있다는 신호입니다. 그리고 이는 어떤 채점 방식을 사용하는지보다 정확성과 관련해 훨씬 더 큰 경고 신호입니다.  

모든 내용을 종합하면

이 다섯 가지 '정확성' 체크리스트는 조직이 실제로 활용하는 코칭 대화, 개발 계획, 팀 의사결정을 지원하는 도구와 그저 사실처럼 느껴지는 도구를 가르는 차이입니다. 포러 효과가 작동하는 이유는 모호한 칭찬을 믿기 쉽기 때문입니다. 검사 설계의 엄밀함은 칭찬이 통찰로 오인되지 않도록 막아 줍니다.

따라서 뒷받침하는 데이터가 없는 검사를 평가하고 있다면, Forer의 운세를 구매하는 것일 수 있음을 이해해야 합니다. 검사의 정확성을 신뢰하려면 기술 매뉴얼을 검토하고 그 이면에서 어떤 일이 이루어지는지 확인해야 합니다. 직원들에게 통계로 지루하게 설명할 필요는 없지만, 그 수치가 존재한다는 점은 알아야 합니다. 결과를 변호할 수 있어야 하는 사람은 바로 당신이기 때문입니다. 그리고 그 결과가 공식적인 HR 또는 규정 준수 절차에 활용될 때, 바로 그 문서를 요구받게 될 것입니다.