안내지문에 인칭대명사를 성중립적으로 바꾸면 여학생 수학성적이 올라간다라…

시험 안내에 성중립적인 인칭대명사를 쓰면 여학생 수학성적이 올라간다고? 모르겠네…

Gender-Neutral Language and Gender Disparities

Alma Cohen, Tzur Karelitz, Tamar Kricheli-Katz, Sephi Pumpian, and Tali Regev (NBER WP31400)

개인적으로 언어의 사용이 여러 의사결정에 미치는 영향에 관심이 많아서 읽어봤는데, 뭔가 미심쩍다. 일단 페이퍼를 지나치게 요약하면 아래와 같다.

• 이스라엘 학생들이 치는 수능시험 같은 게 있는데, 거기 시험안내서에 인칭대명사가 쓰일 일이 있을 때 남성 단수형으로 쓰여 있었다.
• 이를 더 성중립적인 남성 복수형으로 변경하면, 여학생들의 quantitative questions 에 대한 퍼포먼스가 유의미하게 올라가서, 원래의 수학 성취도 남녀 차이를 줄이는 결과를 낳았다.
• 저자들은 성중립적인 표현이 “stereotype threat”을 줄여줬기에 그런 결과가 생긴 것이라 주장함.

미심쩍은 이유는 몇 가지 있는데, 내가 이걸 심사하는 리뷰어도 아니고 하니 대충 드는 생각만…

• 영어로 치면 “the student should open his blue book.”을 “the student should open their blue book.”으로 바꿨더니, 여학생들이 갑자기 수학을 잘 풀게 됐다고 하는 셈인데, 이게 아주 유의미한 결과가 나올만큼 강력한 처치조건인 지 의심이 된다. 저자들은 시험을 두번 이상 친 학생들은 시험 안내서를 잘 읽지 않기 때문에 배제하였다고 하였는데, 첫번째 시험 치는 학생들은 이 시험지 안내문을 꼼꼼히 읽나??
• 그리고 다섯 명의 저자 중 세 명이, 시험지 안내문에 singular masculine expression을 plural masculine expression으로 바꾸는 걸 주도한 사람들이다. 우리나라로 치면 저자 다섯명 중 세 명이 한국교육과정평가원 사람이라는 거다. 이러면 conflict of interest가 있는 거 아닌가? ‘별 효과가 없다’고 주장할 여지가 있는 사람들인가??
• 요즘 유행하는 regrssion discontinuity design같은 게 아니고, 한 시점부터 성중립적인 시험안내가 도입되었다. 그러니까 중요 외생변수는 “변경 전(0) vs. 변경 후(1)”밖에 없는 건데, 저자들의 말로는 변경 후에 시험 본 사람들의 부모 학력이 변경 전의 부모 학력보다 더 높았다고 한다. 그럼 ‘고등교육을 더 많이 받은 부모가, 그들의 딸에게도 STEM필드의 중요성을 강조해서 더 공부를 시켰기 때문에’ 저자들이 찾은 결과가 나왔다고 해석해도 되는 거 아닌가?

하여튼 그런 생각이 들었다. 저자중 한 명이 아주 좋은 학교에 있는 분이라 NBER working paper로 나왔지만, 아주 좋은 저널에 출판될 것 같지는 않다… (나중에 봤는데 좋은 저널에 나왔으면… 이 포스팅 지워야지..)