정책입안자가 연구결과를 받아들이는 과정 중 어디에서 병목이 생기는가
정책입안자가 연구결과를 받아들이는 과정 중 어디에서 병목이 생기는가
Bottlenecks for Evidence Adoption
by Stefano DellaVigna, Woojin Kim, and Elizabeth Linos (NBER wp#30144)
Randomized Controlled Trials (RCTs)는 (잘 수행되기만 한다면) 사회과학 연구에서 가장 클린한 정책제언을 할 수 있는 방법이다. 쉽게 말하면, 비교할 수 있는 모든 요소들이 비슷한 두 마을이 있는데, 랜덤하게 선택한 한 마을에는 기본적인 처치만 하고, 다른 마을에는 고려하고 있는 정책을 반영한 처치를 한 후에, 어떤 결과가 나왔는지 비교하면, 그 처치의 효과(treatment effect)를 잘 확인할 수 있다. 이런 RCT를 이용한 현장 실험 결과가 상당히 많이 누적되었고, 이제 이어지는 질문은 “현장실험을 통해 효과가 있다고 알게 된 정책 제언을 어떻게 전체에 반영할 것인가?”이다. 이게 단순히 scale up 하는 문제만은 아닌 것이,
- 처치 집단의 사이즈가 커지면서 자연스럽게 정책 효과가 떨어질 수 밖에 없을 수도 있고(예를 들면, 제한된 자원을 저소득층이 많은 마을에 집중해서 썼더니 다른 마을에 비해 건강상태가 좋아졌다는 결과를 바탕으로 “모든 저소득층 마을에 제한된 자원을 쓰자”고 정책을 세우면 그 효과가 흩어져서 약해질 것이다.),
- 처치를 하기 위해 선행되어야 하는 조건들이 demanding할 수도 있고(예를 들면, A마을 학교에 새 교수법을 배운 선생님들을 보냈더니 비슷한 능력의 선생님들이 계신 B마을에 비해서 평균 성적이 올랐다는 결과를 바탕으로 “새 교수법을 전국에 확대하자”고 정책을 세우려면, 모든 선생님들이 새 교수법을 숙지하는 것이 선행조건이 되기 때문에 쉽지 않다.),
- 정책을 더 큰 단위에서 시행하기 위해 필요한 전문행정인력이 부족할 수도 있기 때문이다.
위 연구에서는 RCTs를 통해 얻은 정책 제언이 실제로 고려되는 비율이 낮다는 점에 주목하여, 어떤 부분이 정책 입안까지의 과정에 병목인지를 확인했다. 다음 세 가지에 주목했다: (i) evidence가 얼마나 강한지, (ii) 정책 입안을 고려하는 조직의 역량, 그리고 (iii) RCT와 같은 실험디자인이 정책입안 가능성을 염두하는 것으로 사전에 논의가 있었는지. 정책 입안에 대한 가장 큰 predictor는 (iii)인 것으로 나타났다. 그러니 현장실험을 할 때는, 실제 정책 입안에 대한 가능성까지 논의를 하는 것이 중요하다는 결론.