과학의 아이디어를 근거하는 방법은 간단하다: “신뢰하라. 그러나 검증하라” : 결과는 실험을 통해 항상 도전받아야 한다. 그 간단하나 강력한 구조가 수많은 지식의 풀을 만들어냈다. 17세기로부터 현대 과학은 상상을 초월한 수준을 세상을 발전시켜왔다.
그러나 성공은 자만을 부르게 마련이다. 현대 과학자들은 이제 지나치게 신뢰하고 덜 검증하기 시작했다. 과학 일반과 그리고 인간성 측면에서.
학계의 마취를 채운 지나치게 많은 발견들이 조잡한 시험과 빈약한 분석만을 거치고 있다. 바이오 기술 벤처 캐피탈리스트들 간의 연구 결과들은 절반이 너무나도 주먹구구식이어서 재연이 불가능하다. 이것도 지나치게 낙관적인 평가인데, 지난해 한 바이오테크 회사의 Amgen 이라는 연구원은 암 연구에서 ‘랜드마크 급’으로 평가된 53개의 결과 중 단지 6개만이 재연 가능하다는 사실을 밝혀냈다. 그 이전에 제약회사 Bayer 그룹은 67 개의 중요한 페이퍼들이 서로 유사했으며 그들 중 1/4만을 단지 반복하도록 애썼을 뿐이었다. 선도적인 컴퓨터 과학자들은 그들의 세부분야 페이퍼 3/4가 별 쓸모 없는 것들이라는 점에 대해 안절부절하고 있다. 2000년에서 2010년 사이에 대략 8만 명의 환자들이, 실수나 부적절함으로 인하여 이후에 취소된 연구 결과에 따른 임상 시험을 겪었다.
What a load of rubbish
결함 있는 연구 결과가 사람의 생명을 위협할 때조차도 그것은 돈과 세계적인 두뇌를 낭비하고 있다. 진전을 좌절시킨 기회비용은 산정하기조차도 어렵지만, 그것들은 더욱 늘어날 전망이다.
한 이유는 과학의 경쟁이다. 1950년대, 2차대전 종전 후 현대 학계 과학이 모습을 갖추기 시작할 때에도 과학은 어느 정도는 여유와 취미의 영역에 있었다. 과학자의 전체 집단은 수십만에 불과했다. 과학자 집단이 6~7백만까지 부풀어 오르면서 “publish or perish” 원칙에 따른 생존 경쟁의 풍토가 학계를 지배하게 되면서 과학자들은 자체 감시와 품질 통제에 대한 신념을 상실해가고 있다. 2012년 미국의 Full Professor 는 (판사보다 높은 수준인) 연평균 13만 5천 달러를 버는데 매년 6명의 신규 phD와 포스트를 두고 경쟁해야 한다. 오늘날 검증과 재연은 연구자의 커리어에 거의 도움이 되지 않기 때문에 검증이 덜 된 의문스러운 연구 결과들이 진실을 오도하곤 한다.
커리어주의도 결과를 과장하거나 체리피킹하게 되는 원인이다. 선도적인 저널들은 자신들을 보호하기 위해서 높은 리젝율을 유지하곤 하는데, 충격적인 혹은 놀라운 결과일수록 페이지에 실릴 가능성이 높다. 연구자 세 명 중 한 명 꼴로 데이터를 ‘직관에 의해’ 윤색하거나 걸러내곤 한다는 사실은 별로 놀라운 일도 아닌 수준이다. 더 많은 연구자들이 문제에 대처할수록 적어도 한 연구자가 진정한 발견의 달콤한 신호와 통계적 노이즈의 얼룩 사이의 사냥감에 빠질 가능성은 줄어들게 마련이다.
반대로 가설 증명의 실패는 거의 출간되지 않는다. “부정적인 결과” 는 는 출간된 저널의 14%에 불과한데, 1990년의 30% 대비 낮아진 수준이다. 과학에서는 무엇이 참인지를 아는 것만큼이나 무엇이 참이 아닌지를 아는 것도 중요하다. 실패의 보고 실패는 다른 과학자들이 이미 가 보고 이 길은 아니라는 것을 확인한 곳을 중복 탐사하는 낭비를 초래하게 된다.
Peer review (동료 평가) 또한 신성시되는 것만큼의 몫을 못 해주고 있다. 한 유명 의학 저널이, 이미 다른 연구자가 선행 연구한 연구 결과를 의도적으로 페이퍼에 실었음에도 불구하고 대부분의 리뷰어들은 그것을 잡아내지 못했다.
If it’s broke, fix it
이 모든 것들은 세상의 진리를 알아내고자 하는 도전의 기초를 부실하게 만든다. 이에 대해서 우선적으로 모든 학문 체계를 강화된 기준의 예를 따르도록 하여야 한다. 특히 엄청나게 많은 데이터 속에서 체로 걸러내고 패턴을 찾아내는, 성장하는 분야들에 있어서는 통계가 익숙하게 될 것이다. 유전학자들은 게놈 시퀀싱으로부터 뿜어져 나온 초기의 그럴 듯한 결과들의 급류를 진정으로 의미있는 흐름으로 돌려내는 데 성공했다.
이상적으로는, 앞으로 연구 프로토콜은 가상의 노트에 등록되고 관찰되어야 할 것이다. 이것은 실험의 설계 흐름을 손대려는 욕구를 억제하여 좀 더 근본적인 방향으로 유도할 것이다. (이것은 이미 신약의 임상 시험 절차에서 추구하는 바이기도 하다) 가능하면 시험 데이터 또한 다른 연구자에게 공개되고 검증되어야 한다.
가장 앞선 저널들은 이미 ‘단조로움을 거부’하는 풍조에서 벗어나기 시작했다. America’s National Institutes of Health를 비롯한 일부 정부 보조 기관에서는 매년 300억 달러를 투자하면서 재연 시험에도 가중치를 주고 있다. 그리고 젊은 신진 연구자들은 특히 통계를 잘 이해하고 있다. 그러나 이 흐름으로는 아직 부족하고, 저널들은 ‘재미없는’ 연구들에 더 많은 공간과 예산을 할애해야 한다. Peer review 도 엄격해지거나, 최소한 출간 이후의 평가가 보론으로 첨부되기 용이하도록 분리되어야 한다. 그 시스템은 최근의 물리학과 수학 분야에서 성공적으로 정착되고 있다. 마지막으로 정책담당자는 기관이 공공의 자금을 규칙을 준수하는 데 쓰이도록 해야 한다.
과학은 여전히 수많은, 때로는 놀라울 정도의 지지와 존경을 받고 있다. 그러나 그 특별한 권위는, 과학이 대부분의 경우 옳거나, 틀리더라도 그것을 교정할 수 있는 능력과 기반에서 얻어진 것이다. 과학자들이 대대손손 탐구해야 할 우주의 진리가 바닥날 것도 아니다. 조잡한 연구에 의해 잘못 놓여진 길은 이해할 수 없는 용서 못할 장벽인 것이다.
