Данные клинических исследований: три способа проверить честность отчетов фармкомпаний

Проблема в одном: между фразой в рекламном буклете и реальными данными клинических исследований лежит длинная дорога из протоколов, поправок, исключённых пациентов, сменённых конечных точек и таблиц, которые мало кто открывает.

Пациенту не нужно становиться биостатистиком с бессонницей и любовью к Excel. Но проверить, насколько честно компания рассказывает о результатах клинических испытаний лекарств, вполне возможно. Для этого не надо верить на слово ни производителю, ни статье в журнале с красивым логотипом. Надо сопоставлять три версии одной истории: что обещали изучить, что в итоге получили и как это увидел независимый регулятор.

Реклама продаёт вывод. Проверка начинается там, где вы находите исходные обещания исследования.

Сначала найдите не статью, а паспорт исследования

Самая частая ошибка — открыть публикацию, увидеть фразу «препарат достоверно улучшил показатели» и решить, что вопрос закрыт. Нет, вопрос только появился.

Научная статья — это финальная версия рассказа, написанная авторами после того, как данные уже собраны и обработаны. В нормальной науке исследование регистрируют заранее: указывают цель, кого будут включать, с чем сравнивать препарат, сколько длится наблюдение и какие результаты считают главными. Такая предрегистрация нужна не для бюрократического счастья. Она мешает задним числом подбирать удачный способ посчитать данные.

Главная точка входа для многих лекарственных исследований — ClinicalTrials.gov. В карточке исследования ищите:

• уникальный номер формата NCT;
• спонсора и исполнителей;
• статус: завершено, прекращено, активно или результаты пока не размещены;
• дату начала и дату первичного завершения;
• число участников, которое планировали набрать, и число реально включённых;
• первичный и вторичные исходы;
• временные точки оценки: например, ответ на лечение через 12 недель, а не абстрактное «в ходе исследования»;
• критерии включения и исключения;
• прикреплённые протокол и план статистического анализа, если они доступны.

Первичный исход — это не любой красивый показатель, который в итоге вырос. Это заранее выбранный главный ответ на вопрос «работает ли препарат?». Обычно именно по нему рассчитывают нужный размер выборки. В реестре должны быть указаны название исхода, его описание и срок, когда его измеряют.

Допустим, компания заявляет: «Препарат значительно улучшил качество жизни». Проверяем карточку. А там первичный исход — изменение лабораторного маркера на восьмой неделе. Качество жизни обозначено вторичным исходом, оценивалось позже и только у части участников. Это не автоматически делает результат фальшивым. Но рекламная громкость здесь явно опережает доказательную музыку.

Что именно сопоставлять в публикации и реестре

Не ограничивайтесь совпадением названий. Исходы умеют маскироваться под новыми формулировками так, что на первый взгляд всё прилично.

Особенно внимательно смотрите на временную точку. «Снижение боли в течение исследования» и «снижение боли на 4-й неделе» — это не одно и то же. Если эффект был на четвёртой неделе, исчез на восьмой, а в статье крупно вынесли только ранний результат, перед вами не обязательно подлог. Но перед вами точно не вся картина.

Для исследований с датой первичного завершения начиная с 18 января 2017 года в ClinicalTrials.gov могут быть доступны копии протокола и плана статистического анализа — SAP. Это самый полезный документ для человека, который хочет понять, не подправили ли правила после того, как увидели цифры.

SAP — не магическое заклинание и не пропуск в тайную комнату фармкомпании. Это технический план: какие группы сравнивают, какие поправки делают, как обходятся с пропущенными данными, какие анализы считаются основными. Если в итоговой статье эффект построен на анализе, которого в плане нет, возникает законный вопрос: это заранее предусмотренный подход или удачная находка post hoc?

Post hoc — профессиональное выражение для ситуации «сначала посмотрели, потом придумали, что именно хотели найти». Сам по себе дополнительный анализ не запрещён. Наука часто находит интересное уже после основного расчёта. Неприлично другое: выдавать такой результат за изначальную проверку гипотезы.

Второй способ: проверьте, не исчезли ли неудобные результаты

У исследования может быть десять измеряемых исходов, а в публикацию попадут три. Все три — красивые. Совпадение? Иногда. Систематическая выборочность? Тоже иногда, и гораздо чаще, чем хотелось бы пациенту, выбирающему препарат за свои деньги.

В открытых базах данных исследований результаты обычно разбиты на несколько логичных блоков: движение участников, исходные характеристики, результаты по исходам и нежелательные явления. Это позволяет сделать очень земную проверку: сравнить статью с тем, что исследователи обязались измерить и что фактически загрузили в реестр.

Начните с простого маршрута.

1. Сверьте список исходов. Выпишите из реестра все первичные и вторичные исходы. Затем отметьте, какие из них есть в статье. Если зарегистрированный исход исчез, не ставьте диагноз «махинация» по одному факту. Сначала ищите объяснение: данные могли оказаться недоступны, анализ — не проведён, исследование — прекращено. Но объяснение должно существовать, а не растворяться в офисном тумане.

2. Посмотрите на направление эффекта, а не только на слово «значимо». Статистическая значимость не равна клинической пользе. Разница может быть настолько мала, что пациент её не заметит, хотя p-значение будет сиять, как новогодняя витрина. Важны абсолютная разница между группами, шкала измерения, длительность эффекта и число людей, которым реально стало лучше.

3. Проверьте, кого анализировали. В статье нередко есть популяция intention-to-treat — все рандомизированные участники, — и популяция per-protocol, то есть те, кто прошёл исследование «как положено». Вторая обычно выглядит эффектнее: из неё могли выпасть люди с побочными эффектами, плохой приверженностью или отсутствием результата. Основной вывод предпочтительно должен опираться на заранее заданный анализ, а не на наиболее выигрышную витрину.

4. Сравните число выбывших по группам. Если из группы нового препарата ушло заметно больше участников, чем из группы сравнения, фраза «препарат эффективен у завершивших лечение» звучит уже не так бодро. Причины выбывания имеют значение: переезд и беременность — одно, нежелательные явления и отсутствие эффекта — совсем другое.

5. Отдельно прочитайте таблицу безопасности. Не удовлетворяйтесь строчкой «лечение в целом хорошо переносилось». Это рекламный жанр, а не медицинская информация. Смотрите, какие события были, у скольких участников, в какой группе, были ли серьёзные события и смерти от всех причин.

ClinicalTrials.gov разделяет данные безопасности как минимум на три категории: смертность от всех причин, серьёзные нежелательные явления и прочие нежелательные явления. Для каждого события указывают число участников в группе риска и число затронутых пациентов по группам. Это полезнее, чем привычное «побочные эффекты были редкими».

Но и здесь не надо играть в домашнего прокурора с лупой. Отсутствие реакции в таблице не означает, что риска не существует. Для несерьёзных нежелательных явлений действует порог включения: он не может быть выше 5%. Редкая реакция, событие с отсроченным появлением или осложнение, которое плохо ловится коротким исследованием, легко останутся за пределами такой таблицы.

«Не выявлено» часто означает «в этой выборке и за этот срок не увидели», а не «этого не бывает».

Где особенно часто рождается гипердиагностика эффективности

Есть старая коммерческая привычка: взять суррогатный показатель и сделать вид, что это уже здоровье пациента. Снизили уровень маркера в крови — прекрасно. Но уменьшилось ли число обострений, госпитализаций, инвалидизации, смертей? Стало ли человеку легче жить? Не всегда.

Суррогатные исходы бывают разумными и полезными, особенно когда ждать клинических событий годами невозможно или неэтично. Но они не должны автоматически превращаться в билет на громкие обещания. Чем дальше показатель от реального самочувствия и прогноза пациента, тем спокойнее надо относиться к слову «прорыв».

Отдельная ловушка — комбинированные исходы. Например, «смерть, госпитализация или ухудшение симптомов». Комбинация может показать убедительный общий эффект, но внутри неё препарат снижает только частоту лёгких симптомов, не меняя тяжёлые события. В пресс-релизе будет «снижение риска на 25%». Врачебный вопрос должен звучать иначе: какого именно риска и за счёт какого компонента?

Третий способ: сверяйте компанию с регулятором, а не с её пресс-релизом

Публикация в журнале — это важный источник, но не независимый суд последней инстанции. Рецензирование отсеивает часть грубых проблем, однако рецензенты не всегда получают все исходные данные и не обязаны проводить расследование в духе медицинского детектива.

Если препарат одобрен в США, полезно искать материалы регуляторного рассмотрения в Drugs@FDA. Там могут быть актуальная инструкция к препарату, история регистрации и обзоры специалистов FDA по эффективности и безопасности. При рассмотрении заявки медицинские и статистические эксперты FDA анализируют клинические данные, а инспекторы оценивают признаки фабрикации, манипулирования или сокрытия данных.

Смысл этой сверки не в том, чтобы найти у FDA священную табличку «правда». Одобрение регулятора не означает отсутствие побочных эффектов и не превращает лекарство в идеальное. Регулятор оценивает соотношение ожидаемой пользы и известных или потенциальных рисков для конкретного показания и конкретной популяции. Для условного пациента из рекламы это различие иногда неприятно велико.

В европейском контуре похожую роль играют материалы EMA. Агентство публикует клинические отчёты по заявкам на регистрацию инновационных лекарств, поданным с 1 января 2015 года. В таких материалах могут встречаться протокол, поправки к нему, образцы регистрационных форм и описание статистических методов. Для препаратов с новым действующим веществом публикация клинических данных возобновлена для решений с мнением CHMP начиная с сентября 2023 года.

Что искать в регуляторных обзорах

Регуляторные документы длинные, сухие и написаны не для вечернего чтения с чаем. Но вам не нужно читать тысячу страниц подряд. Внутренний поиск по документу обычно быстро выводит на нужные места.

Ищите слова и разделы, связанные с такими темами:

• efficacy / effectiveness — эффективность и клиническая значимость результата;
• safety — нежелательные явления, противопоказания, ограничения данных;
• missing data — пропущенные данные и пациенты, выпавшие из наблюдения;
• subgroup — подгруппы; здесь часто прячутся очень красивые, но ненадёжные результаты;
• limitations — ограничения исследования;
• protocol amendment — изменения протокола;
• inspection — вопросы к проведению исследования и центрам;
• uncertainty — неопределённость, которую производитель обычно не ставит на первый слайд.

Сравните, как звучит вывод компании и вывод регулятора. Компания может писать: «Обеспечивает устойчивый контроль симптомов». В обзоре регулятора при этом может быть более сдержанная реальность: эффект показан только на одной дозе, только в коротком периоде, преимущественно по суррогатному исходу или только у пациентов с узкими критериями отбора.

Вот здесь и заканчивается маркетинговая магия. Не потому, что компания непременно врёт. Чаще она делает то, что умеет: выбирает из правдивых фактов самые выгодные. Регулятор тоже не безгрешен, но у него другая задача — разложить пользу, риск и пробелы в данных по отдельным ящикам, а не собрать из них рекламный баннер.

Сроки публикации — это индикатор, а не приговор

ВОЗ рекомендует размещать сводные результаты исследований в реестре не позднее 12 месяцев после первичного завершения, а основные выводы делать публично доступными через журнальную публикацию в пределах 24 месяцев после завершения исследования. Для применимых клинических исследований в США общее правило FDAAA предусматривает представление результатов в течение одного года после даты первичного завершения.

Если результатов нет, а исследование давно завершено, это повод насторожиться. Нераскрытые, особенно отрицательные, результаты создают перекошенную картину: успешные исследования мелькают в статьях и презентациях, неудачные тихо уходят в склад корпоративной памяти.

Но отсутствие публикации — ещё не доказательство плохой игры. Исследование могло не подпадать под конкретные правила отчётности, быть прекращено, не достичь срока раскрытия или получить законную отсрочку. Корректная формулировка здесь простая: «данные не найдены в открытом доступе», а не «компания скрыла провал». Медицина и так страдает от гипердиагностики всего подряд; не надо добавлять к ней гипердиагностику мошенничества.

Как не утонуть в цифрах и не сделать ложный вывод

Проверка эффективности препаратов — это не экзамен на недоверчивость. Её цель не в том, чтобы поймать каждое лекарство на хитрости. Цель — понять границы знания: для кого препарат изучали, что именно он улучшает, насколько надолго, с какими рисками и где данные заканчиваются.

Есть несколько признаков, после которых стоит перестать делать выводы самостоятельно и обсудить препарат с врачом, умеющим читать исследования:

• лекарство назначают вне зарегистрированных показаний;
• речь идёт о беременности, детском возрасте, тяжёлой почечной или печёночной недостаточности;
• препарат комбинируют с несколькими другими средствами с потенциальными взаимодействиями;
• эффект в исследованиях измеряли не тем, что волнует вас в реальной жизни;
• результаты основаны на маленькой подгруппе или коротком наблюдении;
• компания обещает «безопасность», но данных о серьёзных нежелательных явлениях мало;
• публикация и реестр расходятся, а объяснения нет.

И ещё одна скучная, но спасительная мысль: не путайте относительный и абсолютный риск. «Снижение риска на 50%» может означать падение вероятности события с 2 случаев на 1000 до 1 случая на 1000. Это может быть ценно, а может не оправдывать цену, побочные эффекты и ежедневную таблетку — зависит от заболевания и ситуации. Но без абсолютных цифр громкий процент остаётся маркетинговым фокусом.

Достоверность медицинской информации начинается с неудобных вопросов

Честный отчёт фармкомпании — не тот, где нет побочных эффектов, выбывших пациентов и неудачных вторичных исходов. Таких исследований в живой медицине почти не бывает. Честный отчёт — тот, где можно проследить путь от заранее заявленного вопроса к результату: увидеть протокол, сопоставить исходы, понять судьбу участников, прочитать данные по безопасности и сравнить корпоративный вывод с оценкой регулятора.

Открытые базы данных исследований не отменяют врачебную консультацию и не дают читателю права за пять минут объявить препарат бесполезным или гениальным. Они делают другое, более полезное дело: лишают рекламный слоган монополии на правду.

Если после такой проверки у лекарства остаются понятная польза, приемлемые риски и данные именно для вашей клинической ситуации — отлично. Это и есть норма доказательной медицины: не вера в логотип, не культ новой молекулы, не паника перед «химией», а спокойное решение на основе того, что известно и чего пока не знает никто.