Сегодня в СМИ определенно было дежавю. Reuters, The New Yorker, Los Angeles Times и другие вернулись на "тренировка мозга предотвращает слабоумие" победитель.
Заголовок STAT был особенно вдохновляющим:
Играть! Во-первых, тренировка мозга снижает риск развития слабоумия спустя годы.
Прошло всего несколько месяцев с тех пор, как Федеральная торговая комиссия США оштрафовала компанию на 2 миллиона долларов за ложную рекламу, основанную на таких утверждениях о тренировке мозга. А в октябре 2014 года международное научное заявление о консенсусе попыталось остановить эту волну. Но мы снова здесь. Вздох!
На этот раз результаты даже не просто обычное заявление о том, что они "многообещающий": в статье STAT они "очень, очень многообещающий"! И это только на основе презентации конференции, а не доступа к отчету о рассматриваемых результатах.
Это ненадежный источник информации. Подробности, которые появляются позже об испытаниях, часто сильно отличаются от того, что было представлено на конференциях. Изучение статей по кардиологии после конференций 1999-2002 годов показало, что около 40% имеют несоответствия, а исследование спортивной медицины показало, что 63% имели по крайней мере 1 серьезную проблему. А за день до того, как разразился ажиотаж вокруг АКТИВНОГО испытания, я написал в Твиттере об исследовании, в котором, вероятно, зафиксированы эти расхождения: 96% – пластическая хирургия FTW!
Однако некоторые СМИ допускают еще одну ошибку: они говорят, что нам нужно дождаться публикации статьи, чтобы быть уверенным. Но одного исследования недостаточно, чтобы быть уверенным.
Вот что говорится в утверждении научного консенсуса:
Одного исследования, проведенного исследователями, имеющими финансовые интересы в продукте, или одной цитаты ученого, защищающего продукт, недостаточно, чтобы предположить, что игра была тщательно изучена. Результаты должны быть воспроизведены на нескольких объектах на основе исследований, проведенных независимыми исследователями, финансируемыми из независимых источников. Более того, участники программ обучения должны продемонстрировать доказательства значительного преимущества над группой сравнения, которая не получает лечение, но в остальном обрабатывается точно так же, как и группа, прошедшая обучение.
Было бы здорово, если бы существовал простой и доступный способ снизить риск слабоумия – пусть даже немного. Но нет, в этом последнем отчете об испытании ACTIVE нет веских причин вкладывать время или деньги в продукты, стоящие за этим новым раундом рекламы.
Вернемся к началу, чтобы разобраться в том, что происходит. Аббревиатура испытания расшифровывается как Advanced Cognitive Training for Independent and Vital Elderly (ACTIVE). Об этом есть множество публикаций – вы можете увидеть их здесь, в нижней части записи о пробной регистрации.
Хотя некоторые сообщения относятся к новому испытанию, это не. Даже сообщение о результатах за 10 лет не ново: эти результаты были получены еще в 2014 году – за несколько месяцев до консенсуса ученых об отсутствии убедительных доказательств для утверждений о профилактике деменции.
Я написал критику этой статьи на PubMed Commons. Люди, которые разработали этот продукт, в конечном итоге преследовали цель продать его. По мере того, как испытание прогрессировало, и не было обнаружено значительного влияния, испытание было изменено – попытка усилить влияние. Тем не менее, после всего этого, вот итог:
Текущее исследование показало слабое или отсутствующее влияние когнитивных тренировок на показатели повседневной активности, основанные на производительности.
И это ключ. Когнитивный тренинг может научить людей лучше выполнять определенные функции этого тренинга. Но это вовсе не обязательно означает что-то еще. Измерения, основанные на результатах, основывались не только на усвоенных навыках.
Так что насчет этих новых "вдвое снизил риск деменции" заявления? Измерение деменции через 10 лет не было одним из предварительно определенных первичных или вторичных результатов исследования, перечисленных при регистрации исследования или в статье, подробно описывающей методы исследования еще в 2001 году. В сообщениях СМИ говорится о "вторичный анализ"…
Это означает, что испытание не было основано на методах, разработанных для того, чтобы ответить на вопрос о влиянии на деменцию – например, иметь достаточное количество людей для меньшего исхода заболевания головного мозга. Подробнее о рисках последующего добавления мер и новых гипотез после того, как вы начнете, здесь.
Вот что Джули Стинхейзен из Reuters сообщает от одного из авторов, Джерри Эдвардса:
Эдвардс провел вторичный анализ данных за 10 лет, изучая время, которое потребовалось людям для развития деменции.
Она обнаружила, что группа, которая занималась скоростными тренировками, показала на 33% меньший риск развития деменции по сравнению с контрольной группой, в то время как вмешательство в память и рассуждение не давало такой пользы.
По словам Эдвардса, люди, завершившие 11 или более тренировок на скорость, имели на 48 процентов меньше риска развития деменции за 10 лет исследования.
К тому времени, когда у вас будет несколько групп людей, каждая с постепенно уменьшающимися подгруппами (разное количество сеансов и т. Д.), И множеством измерений в несколько раз, вы увеличиваете свои шансы вытащить из шляпы очень вводящих в заблуждение кроликов.
Тестирования статистической значимости здесь недостаточно, чтобы полагаться на него. (Подробнее об этом здесь.) Должна быть веская причина, чтобы быть уверенным в том, что это причина и следствие: насколько правдоподобно то, что некоторые когнитивные тренировки предотвращают заболевание мозга спустя годы? И вам нужно увидеть результаты, подтвержденные в разных исследованиях. Конечно, вам нужно видеть реальные цифры: одна только информация об относительных рисках, как это сделано здесь для группы с низким уровнем риска, мало что вам скажет. (Подробнее об этом здесь.)
Веб-сайт продукта заявляет, что это самая научная тренировка мозга, поддерживаемая "100+ опубликованных исследований": "Настоящая наука, в которую нужно верить".
Снова консенсусное заявление:
В рекламе принято подчеркивать преимущества и преувеличивать потенциальные преимущества своей продукции. Однако на рынке игр для мозга реклама также убеждает потребителей, что заявления и обещания основаны на убедительных научных доказательствах, поскольку игры "разработан нейробиологами" в ведущих университетах и исследовательских центрах. Эти утверждения подкрепляются платной рекламой и распространяются надежными новостными источниками.
Нейроскептик предупреждает обо всех "нейробанк" там:
[Самый "тренировки мозга" имеет мало общего с нейробиологией как таковой. Да, вы используете свой мозг, когда тренируетесь и тренируетесь с этими названиями программ, но в этом нет ничего особенного, поскольку вы используете свой мозг, чтобы делать все.
Стинхейзен сообщает, что Эдвардс сказал:
Мне надоело, что наши исследования игнорируют.
Я не думаю, что их игнорируют. Они просто не могут убедить. Возможно, следующая статья откроет новые горизонты.
Но, возможно, это будет просто дежавю снова и снова.