Азартная игра осуждена во многих кругах. Но что, если игроки исследователи держат пари о том, как эксперименты друг друга окажутся, и результаты, используются для улучшения самой науки?
Группа психологов нашла, что их коллективная азартная игра — с реальными деньгами — предсказала результат попыток репликации результатов эксперимента лучше, чем их собственные опытные предположения. Они предлагают, чтобы этот тип азартной игры установки, известной как рынок предсказания, мог стать частью того, как наука сделана.Наука неэффективна. Большинством оценок приблизительно половина результатов, издающихся в рассмотренных пэрами журналах, является ложными положительными сторонами — главные результаты, оказывается, счастливая случайность.
Лучший способ достигнуть согласия, на которых результатах доверять должен тиражировать эксперименты в различные лаборатории. Проблема состоит в том, что немного ученых хотят провести свое время, непосредственно тиражирующее работу друг друга. Если только был способ измерить, какие эксперименты, более вероятно, будут ложными положительными сторонами.Это – то, где рынки предсказания входят. «Мудрость толпы» может быть мощным инструментом для оценки неизвестного измерения, но мотивированная толпа еще более остра.
Например, среднее предположение 100 человек о весе коровы или числе рисовых зерен во фляге обычно близко к правильному, даже если большинство предположений далеко от отметки. Но когда у тех людей есть кожа в игре, например путем размещения ставок вместо просто предположения, точность часто намного выше.
Бригада во главе с Анной Дребер, поведенческим экономистом в Стокгольмской Школе Экономики, настроила рынки предсказания на основе Проекта Воспроизводимости: Психология, организовавшая репликацию исследований из главных журналов психологии. Они приняли на работу психологов, связанных с теми репликациями для принятия участия в двух рынках предсказания — сначала в ноябре 2012 и затем в октябре 2014 — которым каждый управлял в течение 2 недель. Исследователи использовали коммерческое онлайновое обслуживание рынка предсказания. Рынки имели приблизительно 50 торговцев каждый и обеспечили торговцев 100$ каждый для размещения ставок. (Деньги прибыли из гранта Дребера.) Приблизительно дюжина торговцев была фактически связана с некоторыми экспериментальными репликациями, таким образом, им не позволили поместить ставки на тех.
На рынке предсказания Вы можете изменить свои ставки на лету. Вот то, на что это похоже: рынок начинается с каждого набора выбора на уровне 0,50$. Скажем, у Вас есть сильная догадка приблизительно два определенных варианта — эксперимент X преуспеет, и Y потерпит неудачу.
Таким образом, Вы начинаете помещать свои ставки на те два варианта. Но у других людей есть та же догадка, и цена тех вариантов быстро растет. Как только цена достигает 0,80$, Вы смотрите в другом месте и заинтересованы экспериментом Z. Большинство людей поставило на нем провал, таким образом, цена составляет только 0,15$. Вы думаете, что его возможности больше походят на 50/50, таким образом, это – сделка.
Вы распродаете некоторые свои доли эксперимента X и булькание что вниз с Вашими остающимися деньгами на успехе для эксперимента Z. Эта торговля лошадьми продолжается до завершения рынка — предопределенное время, известное всем. Как только реальные результаты экспериментов входят, правильные ставки окупаются.
Перед открытыми рынками каждый торговец провел исследование, объявив шансы на успех (от 0% до 100%) для каждой экспериментальной репликации. Если рынок предсказания действительно работает, то это должно быть не только лучше, чем случайный, но и лучше, чем этот обзор при предсказании результатов. Иначе, Вы могли просто спросить ученых, а не пройти суету пари.Рынки, устроенные бригадой Дребера, суетились.
Контракты перешли к другому владельцу 2500 раз со ставками, помещенными почти столь же часто в пользу исследований по сравнению с ними. И однажды улаженная пыль, цена пари, что исследование преуспело бы, закончилась в среднем числе 0,55$. Это означает, что психологи ожидали, что приблизительно половина репликаций потерпит неудачу. Но действительно ли они были точны?
В целом, они были слишком оптимистичны: Только 39% экспериментов успешно тиражируются. Но рынок предсказания был все еще намного более точным, чем обзор. Как люди, психологи не предположили результатов значительно лучше, чем случайный: Только 58% их отдельных предположений перед рынком, доказанных правильный.
Но на основе рынка коллективно — предсказания успеха или провала на основе того, какой бы ни поставивший было более дорогим к концу — азартная игра получила его правильный 71% времени, бригада сообщает сегодня в Продолжениях Национальной академии наук.Исследователи, принявшие участие в рынках, не уверены, что вело их решения. «Я проверил бы рынок на своей прогулке в работу утром», говорит Маркус Мунэфо, психолог в Бристольском университете в Соединенном Королевстве. «Я просто купил и продал положения на основе своего чувства для того, было ли текущее положение на рынке сверх – или занизило для каждого исследования». В конце он почти удвоил свои деньги до 180$. Мунэфо потратил все это на музыку — его музыкальная тема для научного успеха является теперь Зеленым Луком Букером Т. и M.G.’s.
Управление такие рынки не легки, Джон Айоэннидис предостережений, биолог в Стэнфордском университете в Калифорнии, попробовавший — и — не настроивший рынок предсказания для генетических экспериментов. «Это было сложно, чтобы заставить следователей играть на рынке». Несмотря на то, что результаты показывают, что рынки предсказания действительно могут предсказать, он задается вопросом об областях, таких как геномика болезни, где, в отличие от психологических исследований, «пути являются чрезвычайно замысловатыми: Для рынков предсказания может быть более трудно сделать полезные предсказания, так как мы сталкиваемся с непредсказуемым черным ящиком».
Другое ограничение – то, что, «чтобы судить, сделал ли рынок успешный выбор или нет, Вы должны сделать репликацию во всяком случае, таким образом, Вы действительно не избегаете тратить эти дополнительные запасы».Dreber имеет план обойти это: Ученые могли держать пари на большом количестве экспериментов, но только случайная выборка тогда выбрана для репликации. «Ставки для исследований, где никакой результат не определяется, могли быть закрыты по рыночной цене», говорит она.
Тогда наука действительно стала бы гонками.