На чью мельницу воду возим?

из цикла "Медик о медицине" (на авторской странице)

"Просветителю-популяризатору медицинских познаний" Водовозову: когда «доказательная медицина» превращается в доказательную веру.

(Полемическая статья от лица врача русско-немецкой гомотоксикологической школы и, к слову, также не брезгующего фармпрепаратами, клиническими анализами, а в случае необходимости для пациента - услугами онкологов и хирургов. И - в отличие от "доказателей" - лечащего не диагнозы, а пациентов.)

           Эпиграф.
 При жизни после полёта в космос Юрия Гагарина приглашали на различные мероприятия в качестве «свадебного генерала», придававшего собраниям мировое значение. Он открывал новые заводы перерезанием красной ленточки, детские сады, школы и многое другое. Как-то раз его пригласили на важное мероприятие в Академии Наук.

   Присутствовал весь цвет советской физики: Ландау, Капица и вся ядерная шарашка. А надо сказать, Ландау был мэтром эпатажа и любое своё выступление превращал в скандал своими революционными научными идеями. Этот раз не стал исключением: устроив из своего выступления очередное шоу, мэтр предложил оппонентам идти и нервно курить в коридоре, ибо они ни черта в физике не смыслят. Галдящая толпа высыпала на перерыв. Один из академиков подошёл к Ландау и громко спросил: а вы, уважаемый, сами-то хорошо физику знаете, высказывая такое? «Да уж получше вашего! – ответил Ландау. – Вы сами-то можете мне на простейший вопрос ответить: что такое электричество?»

   Повисла мрачная пауза в общем молчании. И только Юрий Алексеевич, стоявший рядом, с готовностью подсказал: «Конечно, любой советский школьник знает что электричество – это направленный поток заряженных частиц.»

   После этого молчание стало просто катастрофическим... Тогда Капица, мягко взяв Гагарина за руку и с усилием поскорее отводя в сторонку от собравшихся, промолвил: «Знаете ли, Юра, всё гораздо интереснее...»



      Неуважаемый Александр!

Прочитал ваше интервью и смотрел ваши шоу о медицинском образовании, биорезонансе, гомеопатии,  и псевдодиагностике.
Поскольку мы с вами ровесники и я около тридцати лет работаю врачом в совершенно иной медицинской парадигме — русско-немецкой гомотоксикологической школы, а также с электропунктурной диагностикой и терапией ИМЕДИС-Фолль, — позволю себе ответить: не как молодому ординатору, не блогеру-"просветителю" без медицинского образования и иноагенту вроде Панчина, не «альтернативщику из интернета» - а врачу ВМА, который чересчур долго смотрел на пациентов, поверив в существование единственной разрешённой модели реальности.

И начну с главного. Вы совершенно справедливо говорите, что звание академика не является индульгенцией от ошибки. Вот только почему-то не замечаете, что это правило прекрасно работает и в обратную сторону: звание «популяризатор доказательной медицины» тоже не превращает любое высказанное вами положение в научную истину.
   Поэтому - на "вы" с маленькой буквы, много чести. "Легион имя вам - потому что вам платят." Видимо, та самая Биг-Фарма, за "просветительство" в нужном русле: грантами, приглашениями на симпозиумы, ток-шоу и пр. "Сидим на вантах, делим гранты по талантам - дети капитана Гранта, Джорджа Сороса птенцы", как отметил наш коллега Тимур Шаов.
Или - просто за псевдонаучные статьи.
   Наука, знаете ли, устроена удивительно демократично. Она не спрашивает у гипотезы паспорт. И даже у гипотезы с галочкой «Evidence-Based».


1. Начнём с вашего любимого слова — «доказательства».

Вы говорите: «Псевдодиагностика — это развод пациента на диагноз с целью дальнейшего развода на лечение». Прекрасная формулировка - практически афоризм.
Только вы "путаете педали": гомеопат - в отличие от врача "доказательной медицины" -  как раз не «лечит диагноз», а лечит индивидуальную картину пациента.

В классической гомеопатии диагноз сам по себе не определяет препарат. Диагноз может быть необходим для понимания того, с каким патологическим процессом мы имеем дело, но средство подбирается по индивидуальной симптоматической картине — Arzneimittelbild и принципу подобия. Именно так различие между классической гомеопатией и гомотоксикологией описывается и в немецких материалах по гомотоксикологии.
То есть диагноз — это описание болезни. Гомеопатическое средство — ответ на индивидуальную реакцию организма на эту болезнь. Поэтому два пациента с одним диагнозом теоретически могут получить разные гомеопатические средства.

В классической немецкой гомотоксикологии болезнь рассматривается как проявление взаимодействия организма с экзогенными и эндогенными гомотоксинами. Болезненный процесс — это не просто «название диагноза», а определённая фаза защитно-регуляторной реакции организма.
Поэтому гомотоксиколог вполне может сказать: «У пациента бронхит». Но для него это только клиническая номенклатура. Следующий вопрос: на какой фазе гомотоксикоза находится этот бронхит? Какова степень токсической нагрузки? Каковы возможности регрессии процесса? Что происходит с регуляцией и вектором в сторону элиминации или депонирования? Поэтому формула классического гомотоксиколога примерно такая: диагноз - фаза - ткань (орган) - характер регуляторного нарушения - гомотоксикологическая терапевтическая стратегия.
А не диагноз - стандартная таблетка.

Но есть ещё одна важная особенность. В отличие от классического гомеопата, гомотоксиколог-фоллист исторически гораздо ближе к клинической медицине по языку диагностики. Поэтому он не обязан говорить: «Я не лечу бронхит, я лечу человека». Он может вполне нормально использовать диагноз «бронхит», «артроз», «гастрит», «экзема», «аллергия» и т. д. Но он рассматривает этот диагноз как феномен более широкого регуляторного процесса, а не как окончательное объяснение болезни. В одном из немецких изложений это сформулировано особенно характерно: болезнь — это абстракция, а вместо неё предлагается рассматривать меняющиеся фазы гомотоксикоза. Гомотоксиколог лечит не название диагноза, а патологический процесс, который этот диагноз описывает, рассматривая его через фазу гомотоксикоза, состояние регуляции и способность организма к компенсации и элиминации.

У вас возникает маленькая проблема: а как отличить псевдодиагностику от просто плохо работающей диагностики?
   Вы совершенно правильно перечисляете чувствительность, специфичность, прогностическую ценность, клинический контекст - вот здесь гомотоксиколог только кивает, потому что настоящий врач тоже знает: тест это не диагноз.

Положительный тест не равен болезни, а отрицательный тест не равен здоровью.
УЗИ не является истиной, КТ не является истиной, МРТ не является истиной, ОАК не является истиной, ПЦР не является истиной.
И даже биопсия — не «голос Господа», а результат конкретного метода, взятого из конкретного материала, в конкретное время и интерпретированного конкретным человеком.

И вдруг обнаруживается замечательная вещь. То, что вы с таким удовольствием объясняете читателю как ограниченность диагностики, гомотоксиколог давно знает как исходную аксиому клинической работы. Мы просто не делаем из этого культ.
Потому что врач обязан сопоставлять анамнез - симптомы - реактивность - динамику - объективные данные - состояние пациента - ответ на вмешательство.
А не торжественно объявлять: «У вас анализ в норме. Следовательно, вы здоровы. Следующий пациент!»

2. Самая забавная часть вашей аргументации.

Вы говорите, что молодому врачу тяжело противостоять академику, даже когда научная литература показывает, что академик неправ. Согласен. Но тогда возникает вопрос: почему этот принцип вдруг перестаёт работать, когда академика заменяет коллектив авторов методических рекомендаций?
Если один профессор говорит: «Это работает, потому что я так считаю» — мы возмущаемся авторитаризмом.
Если двадцать профессоров говорят: «Это не работает, потому что соответствующих доказательств нет» — почему-то внезапно появляется научная демократия.
Но ведь логическая структура фразы совершенно одинаковая: «Мы считаем, что...»
Разница только в количестве подписей.

Научный консенсус действительно важен. Но консенсус — это не синоним истины.
История науки вообще довольно жестоко над этим посмеивалась. Когда-то считалось очевидным, что язвенная болезнь — преимущественно следствие стресса и кислотно-пептических механизмов. Потом появились Маршалл и Уоррен.
Когда-то определённые операции считались вполне разумными. Потом накопились данные.
Когда-то различные методы лечения считались стандартом. Потом выяснялось, что вред превышает пользу.
   Именно поэтому медицина меняется.
И именно поэтому наука не должна превращаться в религию, которая выдаёт сегодняшнюю версию консенсуса за вечное откровение.


3. Вы сами уничтожили аргумент «авторитет не важен».

Ваш пример с Лайнусом Полингом великолепен. Гениальный химик мог ошибаться в медицине. Кэри Муллис мог ошибаться в другой области. То есть вы совершенно справедливо говорите: «Степени и звания не могут быть индульгенцией». Прекрасно.
Тогда давайте просто последовательно доведём вашу мысль до конца.

Нобелевская премия не является доказательством.
Академическое звание не является доказательством.
Количество публикаций не является доказательством.
Количество цитирований не является доказательством.
Положение в профессиональной иерархии не является доказательством.

И, страшно сказать: популярность в YouTube тоже не является доказательством!..
Какой пассаж, смотрите в зеркало.

Остаётся только одно: качественно сформулированный вопрос + корректный метод исследования + воспроизводимый результат + адекватная интерпретация. То есть ровно то, чем наука и должна заниматься.


4. Теперь — о страшном слове «Фолль».

Вы называете диагностику по Фоллю «откровенно шарлатанской методикой». Это очень сильное заявление. Настолько сильное, что от него хочется потребовать соответствующего качества аргументации.
Покажите, пожалуйста, где именно находится экспериментальное опровержение всей совокупности феноменов, которые наблюдал доктор Рейнхольд Фолль?

Не статью, в которой автор говорит: «Метод не имеет достаточной доказательной базы». Это не одно и то же.
Не обзор: «Метод считается недоказанным». Это тоже не опровержение.
Не лекцию: «Биорезонанса не существует». Это вообще не эксперимент.

Нужна несколько более скучная вещь: воспроизводимый эксперимент, который показывает отсутствие заявляемого диагностического эффекта.

И вот здесь начинается самое интересное, потому что можно критиковать метод.
Можно требовать стандартизации. Можно проверять чувствительность и специфичность. Можно ставить двойные слепые исследования. Можно спорить о механизме. Можно отвергать конкретные диагностические утверждения.
   Всё это абсолютно законно.

Но переход: «У метода недостаточная доказательная база» к «следовательно, это шарлатанство» — уже не научный эксперимент, а риторический прыжок. Причём прыжок весьма внушительный.


5. «Не обнаружено механизма» — значит, механизма нет?

Вот здесь вы особенно убедительны. Вы перечисляете: биологический резонанс, аура, торсионные поля, энергоинформационное взаимодействие... и предлагаете читателю практически автоматически сделать вывод: «Наукообразная терминология — значит, мошенничество».

С первым утверждением трудно спорить. Наукообразная терминология действительно может быть признаком псевдонаучной аргументации - что заметно по вашим публикациям и интервью.
Но есть маленькое «но». Если человек заявляет о явлении, которое вы не признаёте, правильный научный ответ: «Давайте проверим, существует ли наблюдаемый эффект».
А не: «Поскольку наша современная модель его не объясняет, предлагаю объявить его несуществующим». Это уже не эмпиризм, который называется онтологической монополией.
Наука так не работает - по крайней мере, хорошая немецкая наука.

Вот вы, как и петрушка "панч"ин, периодически балуетесь со своей колбасой - измеряя её аппаратом Фолля. У вас там - заело?

Ваш конгениальный эксперимент с колбасой действительно является демонстрацией того, что конкретная процедура способна выдавать диагностические интерпретации на объекте, который пациентом не является. Но он сам по себе не является экспериментом, который устанавливает диагностическую неэффективность метода Фолля в клинической популяции.

Причём это не авторская реконструкция: вы с "панчем" сами описываете эксперимент именно так — сначала на колбасе сделали ЭКГ, где получили изолинию, а затем тем же объектом занялись на аппарате Фолля; примерно через 40 минут был получен большой список заболеваний.



 Теперь - обращаюсь к почтеннейшей публике и объясняю как манипулятор водит вас за нос и парит вам мозги. Потому что из этого бреда можно сделать гораздо более интересную — и, на мой взгляд, интеллектуально более разрушительную — сатиру: "Колбаса как пациент."
   Итак: как Алексей Водовозов одним нажатием кнопки доказал больше, чем хотел.

Есть жанр научной полемики, который особенно любят "популяризаторы" ("пульверизаторы", ибо все их "доказательства" - пульвер, пыль - как и они сами). Берётся сложный медицинский метод. Не разбирается его физическая модель, не анализируются диагностические критерии, не проводится исследование чувствительности и специфичности, не формируется выборка пациентов, не создаётся независимый референсный стандарт, не проводится слепое сравнение операторов, нет расчёта диагностических отношений правдоподобия.

Вместо этого берётся палка колбасы и к ней подключаются электроды. Аппарат сообщает, что колбаса больна. Публика торжествует: «Ну всё. Наука победила».

Действительно, трудно спорить с аргументом такой сокрушительной силы. Особенно если предметом научного исследования является колбаса.
   Но давайте посмотрим - что именно было доказано?

Допустим, эксперимент воспроизведён идеально. Колбаса действительно получает:
бронхопневмонию, невроз, аллергию, гастрит, цистит и другие заболевания.
Это подтверждается опубликованным пересказом эксперимента и рассказом самого Водовозова.
   Что из этого логически следует?
Максимум: данная процедура, применённая данным оператором к данному неодушевлённому объекту, породила диагностические результаты, которые невозможно буквально интерпретировать как наличие у колбасы соответствующих человеческих заболеваний.
   С этим спорить бессмысленно.
Но затем происходит замечательное логическое превращение!

Было доказано: «На колбасе метод выдаёт бессмысленные диагнозы».
А заключение объявляется: «Следовательно, метод Фолля не способен диагностировать заболевания человека».
   И вот здесь между двумя предложениями обнаруживается маленькая пропасть.

Примерно размером с методологию клинического исследования. А теперь представим аналогичный эксперимент с «доказательной медициной»: предлагаю Водовозову следующий эксперимент.
Берём палку колбасы. Подключаем к ней пульсоксиметр. Аппарат показывает: SpO2 — отсутствует.
Отлично.
Теперь подключаем автоматический тонометр. Получаем: артериальное давление не определяется.
Ещё лучше.
Затем ставим колбасу на весы. Получаем: 750 г. После чего отправляем кусок колбасы на биохимический анализ. Получаем: натрий, калий, хлор, липиды, белок, глюкозу и массу других химических показателей.
  А потом торжественно объявляем: «Биохимический анализ крови — шарлатанство. Он диагностирует у колбасы электролитные нарушения!»

Что произошло? Мы взяли инструмент, предназначенный для определённого биологического объекта, применили его к неподходящему объекту и получили бессмысленный результат.
Это, очевидно, не доказывает, что биохимический анализ крови не работает. Потому что мы нарушили область применимости метода.

Ещё лучше: эксперимент с МРТ. Предлагаю продолжить.
Берём колбасу. Помещаем её в МРТ. Получаем изображение. Затем объявляем:
«МРТ обнаружило у колбасы патологическое образование неизвестной природы».
   После чего публикуем: «МРТ — лженаука: колбаса имеет опухоли!»

А если кто-то возразит: «Но МРТ вообще не предназначено для диагностики колбасы», мы отвечаем: «Ага! Значит, вы просто защищаете МРТ!»

Примерно настолько же научно выглядит ваша и иже с вами логическая конструкция: «Метод Фолля даёт бессмысленный результат на колбасе - следовательно, метод Фолля бессмысленен на человеке».

И здесь у демарша Водовозова есть вполне точное описание. В терминологии логики это называется ошибкой категории: свойства и критерии, применимые к одному классу объектов, переносятся на другой класс.
Есть и более конкретная логическая ошибка: «это не следует из этого».
   Из посылки: «Аппарат выдал диагноз неодушевлённому объекту» не следует автоматически: «Аппарат не имеет диагностической ценности у человека». Чтобы получить второе утверждение, нужно исследовать именно человеческую диагностику.

Но есть ещё более интересный психологический механизм - и вот здесь мы подходим к вопросу о манипулятивной технике. Автор данной статьи назвал бы этот приём сочетанием нескольких эффектов.



    Эвристика репрезентативности.
В психологии это склонность делать вывод о целом классе на основании очень яркого, эмоционально убедительного частного примера. Колбаса: «У меня простатит!» Публика: «Ха-ха!»
   Мозг получает невероятно запоминающийся образ.
И после этого ему уже гораздо труднее воспринимать скучные слова: «диагностическая валидность», «чувствительность», «специфичность», «межоператорская воспроизводимость», «референсный стандарт».
   Колбаса побеждает "таблицу 2жды2" (ниже)...

И выйти к публике, надев футболку с откормленной свиньёй, под которой надпись: "Ешьте котиков - в них витамин С".
Сначала возникает юмористическая рамка. Публика смеётся. И это принципиально важно: смех здесь не доказывает медицинское утверждение, но изменяет социальное восприятие говорящего. Исследования коммуникации показывают, что удачно использованный юмор может повышать воспринимаемый статус, уверенность и компетентность говорящего; кроме того, юмор повышает симпатию к источнику сообщения.

Возникает примерно такая цепочка: шутка - смех - симпатия - ощущение «свой человек» - доверие - снижение критической дистанции - более лёгкое принятие следующего тезиса.

Это можно назвать сочетанием нескольких механизмов.

а)  "Эффект симпатии к источнику".
Человек, который заставил аудиторию смеяться, воспринимается более приятным и социально привлекательным. А симпатия к источнику действительно способна усиливать его влияние.

Здесь возникает маленькое, но весьма занятное подменное уравнение:
«Мне нравится этот человек» ; «он хорошо разбирается в вопросе».
Логически второе из первого совершенно не следует.

б)  "Эффект авторитета".

Если перед публикой выступает человек, уже имеющий статус врача, популяризатора науки и т. п., а затем он ещё и демонстрирует уверенность, остроумие и способность мгновенно сделать «разоблачительный» эксперимент, возникает эвристика доверия к источнику.
То есть зрителю уже не обязательно самостоятельно проверять всю цепочку рассуждений: «Он врач + он уверенно говорит + публика смеётся + эксперимент выглядит очевидным ; наверное, он прав».

Исследования "эффекта авторитета" действительно показывают, что воспринимаемая достоверность источника существенно влияет на убеждение. Именно поэтому особенно опасна ситуация, когда риторическая убедительность начинает подменять доказательность аргумента.

в)  Переключение с логоса на этос и патос.

Если воспользоваться классической терминологией риторики:
логос — собственно аргумент и доказательство;
этос  — образ и авторитет говорящего;
патос — эмоциональное воздействие.
   Футболка и шутка относятся прежде всего к этос и патос.

А вопрос о том, действительно ли конкретный диагностический метод обладает необходимой чувствительностью, специфичностью и воспроизводимостью, относится к логос.

Получается любопытная конструкция: вместо того чтобы подробно анализировать валидность метода, зрителю предлагают сначала почувствовать, что человек, демонстрирующий его несостоятельность, умный, весёлый и уверенный.
После этого его следующий аргумент психологически получает более благоприятный старт.

г)  «Доказательство колбасой» как "доведение до смешного" - вот где находится наиболее интересный логический момент.

Если схема выглядит так: «Прибор выдаёт диагностические показатели на неодушевлённом объекте - следовательно, метод диагностики человека несостоятелен», то это не является автоматически доказательством. Чтобы такой эксперимент был доказательным, необходимо установить, что демонстрируемое поведение прибора действительно является неотъемлемым механизмом диагностической методики, а не, например:

особенностью конкретного прибора;
особенностью режима измерения;
отсутствием биологического контакта;
некорректным подключением;
тем, что прибор вообще предназначен для измерения электрических параметров кожи/точек, а не «диагностики любого объекта»;
особенностью программного обеспечения или алгоритма интерпретации.

Иначе мы получаем разновидность манипуляции "доведение до смешного":
«Смотрите, получается абсурдная картина. Следовательно, сама система абсурдна».
Но для логического доказательства необходимо показать именно контрпример, нарушающий необходимые условия метода, а не просто создать смешную ситуацию. Это очень разные вещи.



         "Эффект отвлечения".

Юмор может выполнять ещё одну функцию: забирать когнитивное внимание. Зритель занят: «Ха-ха, колбаса больна!» вместо «А какие именно диагностические предпосылки метода сейчас проверяются? Какой измеряемый параметр является входной переменной? Как определяется референсный диапазон? Какова воспроизводимость? Какова чувствительность? Какова специфичность? Было ли слепое сравнение с независимым диагностическим стандартом?»

Исследования юмора в убеждении действительно рассматривают как фактор отвлечения от контраргументов; однако эффект юмора неоднозначен и зависит от контекста. Метаанализ девяноста исследований обнаружил в среднем лишь небольшой положительный эффект юмора на убеждение. Поэтому точнее говорить не «юмор автоматически манипулирует», а о том, что юмор создаёт благоприятную эмоциональную и социальную рамку, в которой аргумент может восприниматься менее критически.

е) Самое главное — происходит подмена объекта доказательства.
Вместо проверки метода проверяют способность прибора выдавать осмысленный результат в заранее выбранной абсурдной ситуации.
А затем незаметно совершается переход: «прибор продемонстрировал абсурдный результат» - «следовательно, метод абсурден» - «следовательно, все специалисты, его использующие, шарлатаны».

 Каждая следующая позиция требует отдельного доказательства.
Но аудитория, уже смеющаяся над «больной колбасой», психологически воспринимает всю цепочку как одно очевидное разоблачение.

  И здесь особенно забавна сама постановка. Если довести подобную логику до абсурда, можно проделывать аналогичные «разоблачения» практически с любым диагностическим инструментом.
   Например: «Вот термометр. Я положил его на чашку кофе — он показывает 64 °C. Следовательно, термометр диагностирует у кофе гипертермию, а термометрия является лженаукой».
Или: «Вот пульсоксиметр. Я надел его на резиновую ручку отвёртки — он не смог определить сатурацию. Следовательно, пульсоксиметр — шарлатанство».
   Или ещё прекраснее: «Я приложил электрокардиограф к столу. Он не обнаружил у стола нормального синусового ритма. Следовательно, кардиология не работает».

   Смешно? Безусловно. Доказательно? Нет.
Потому что прибор должен использоваться на том объекте, в тех условиях и для той измерительной задачи, для которых заявлен метод. И именно поэтому такой эксперимент сам по себе не решает вопрос валидности метода.

Психологически это можно назвать так: "Что у женщины под юбкой, а у мужчины - в голове?" Это комбинация.
Юмористическое снижение критической дистанции + эвристика доверия к источнику + эффект симпатии + отвлечение внимания + "доведение до смешного".
А если демонстрация построена таким образом, чтобы зритель эмоционально принял вывод раньше, чем проверил логическую связь между экспериментом и выводом, то это уже очень характерный приём риторического фрейминга (англ. "рамка, обрамление") —  способа подачи или упаковки информации, который задает контекст и меняет ее восприятие людьми. Одно и то же событие или факт можно преподнести по-разному, сместив акценты и вызвав нужную реакцию.

И здесь есть прекрасная ирония: человек может выступать от имени «рационального критического мышления», одновременно используя вполне иррациональный для научного доказательства механизм: «Я сделал так, чтобы это выглядело смешно, — значит, я сделал это научно опровергнутым».

Но смешной эксперимент — ещё не контрольное исследование. И это как раз тот момент, где имеет смысл вернуть разговор от футболки и колбасы к скучным, но действительно научным вещам: валидности измеряемого параметра, воспроизводимости, чувствительности, специфичности, межоператорской вариабельности, слепому контролю и сравнению с независимым диагностическим стандартом.





      Далее. Эвристика доступности.

Яркий пример легче вспоминается, чем статистическая информация. Поэтому человек после ролика уже не думает: «Какова диагностическая чувствительность метода Фолля?»
Он думает: «А, это та самая колбаса!» - и психологически вопрос закрыт.
   Хотя научно он ещё даже не был задан.


     Эффект насмешки - особенно интересный инструмент (о чём сказано выше).

Когда утверждение помещают в заведомо комическую рамку, у аудитории возникает эффект дискредитации через высмеивание. Вместо того чтобы опровергать утверждение «Метод измеряет X и способен по X получить Y», его превращают в:
«Смотрите, колбаса с простатитом!»
   Смех становится заменой аргумента - старая и очень эффективная риторическая техника. И именно поэтому она так популярна у научных популяризаторов.




     Иллюзия доказательства через демонстрацию - пожалуй, самое главное.

У зрителя возникает ощущение: «Я сам это видел!» А то, что человек сам что-то увидел, психологически воспринимается как гораздо более сильное доказательство, чем абстрактная статистика. Но: наглядность не значит валидность.
Можно очень наглядно продемонстрировать совершенно нерелевантный эксперимент.
И именно поэтому демонстрационные эксперименты особенно опасны в популяризации науки. Они создают ощущение очевидности, которое может существенно превышать реальную доказательную силу опыта.

И теперь — маленький сюрприз для самого Водовозова: он сам рассказывает ещё одну деталь, которая делает эксперимент значительно интереснее.
По его словам, прибор требовал обученного оператора, а сила надавливания на измерительный электрод должна была быть стандартизирована; Водовозов говорит, что сам прошёл обучение (!!!???)  и затем работал с прибором.
   И после этого он делает вывод: раз результаты на колбасе бессмысленны, значит метод бессмысленен.
Но ведь если метод зависит от силы давления, площади контакта, положения электрода, оператора, процедуры измерения, выбора тестируемых параметров и интерпретации результата - то первый вопрос научного исследования должен быть не «колбаса больна или нет?», а «Какова воспроизводимость измерения и насколько она зависит от оператора?»

Это уже совершенно другой эксперимент. И вот он был бы действительно интересен.
Если хотите уничтожить метод — уничтожьте его правильно, ведь провести серьёзное исследование гораздо интереснее.

Если врач публично выносит категорический вердикт о диагностической методике — «научная», «ненаучная», «точная», «мошенническая» — то возникает закономерный вопрос: знаком ли он с методологией процесса проверки и подтверждения того, что диагностика соответствуют реальным ожиданиям и требованиям пользователя?
Автор понимает: ну не всем дано, может в ВМА этому не обучают - так "не зная броду - не суйся в воду", гражданин Водовозов.
Оценка диагностических тестов — это раздел медицинской статистики, эпидемиологии и доказательной клинической медицины. В зависимости от вуза соответствующие темы изучаются в медицинской информатике, медицинской статистике, общественном здоровье и эпидемиологии, а затем применяются и углубляются в клинических дисциплинах и последипломном образовании - которое, видимо, прошло мимо вас.

 Гражданин Водовозов, прежде чем объявлять диагностическую систему ненаучной, покажите протокол её диагностической валидации: референсный стандарт, выборку, слепой дизайн, TP/FN/TN/FP, sensitivity, specificity, PPV, NPV, LR+/LR;, ROC/AUC, межоператорскую и тест–ретестовую воспроизводимость. Колбаса в качестве контрольной группы — это, конечно, весьма впечатляющий вклад в диагностическую статистику, но несколько недостаточный для публикации клинического исследования.
  Придётся вас просветить - КАК НАДО, по научному.

Берём, например, 500 пациентов. У каждого есть заранее установленный диагноз по независимому референсному стандарту. Оператор ИМЕДИС-Фолля не знает диагноза.
Отдельный врач, оценивающий результат Фолля, тоже его не знает. Исследование регистрируется заранее. Заранее определяется:
что считается положительным результатом;
что считается отрицательным;
какие заболевания исследуются;
какой референсный стандарт используется;
какая статистическая модель применяется.

После этого рассчитываем базовую диагностическую матрицу 2жды2 — она позволяет оценивать, насколько диагностический тест соответствует реальному наличию или отсутствию заболевания:
а) чувствительность, TP+FN, TP
TP + FN = все реально больные люди. Из них:
TP — тест правильно обнаружил болезнь, FN — тест болезнь пропустил.
(чувствительность отвечает на вопрос: «Если человек действительно болен, насколько вероятно, что тест это обнаружит?»
Например, чувствительность 90% означает: из 100 действительно больных тест в среднем обнаружит 90, а 10 пропустит. )

б) специфичность TN+FP, TN
и далее: PPV, NPV, LR+, LR-, ROC/AUC, межоператорскую воспроизводимость, тест-ретестовую воспроизводимость.
   (Ну - всё как учили. Вас - учили или нет, гражданин Водовозов?)
TN + FP = все реально здоровые люди.
Из них: TN — тест правильно показывает отсутствие болезни;
FP — тест ошибочно объявляет здорового человека больным.
Специфичность отвечает: «Если человек действительно здоров, насколько вероятно, что тест даст отрицательный результат?»
Например, специфичность 95% означает: из 100 здоровых тест правильно признает здоровыми 95, а 5 даст ложную тревогу.

    Самая важная логика здесь такая:
Чувствительность - «не пропускаем больных?»
Специфичность - «не объявляем здоровых больными?»
PPV - «если тест +, действительно ли человек болен?»
NPV - «если тест -, действительно ли человек здоров?»
LR+ - «насколько сильно + результат повышает вероятность болезни?»
LR- - «насколько сильно отриц. результат снижает вероятность болезни?»
ROC/AUC - «насколько хорошо тест вообще различает больных и здоровых при разных порогах?»

И принципиально: PPV и NPV зависят от распространённости заболевания (предтестовой вероятности), тогда как "чувствительность" и "специфичность" — характеристики самого теста в конкретных условиях исследования.

Вот это будет эксперимент. Если результат окажется плохим — замечательно. Тогда можно будет сказать: «Вот данные, показывающие, что метод не обеспечивает требуемой диагностической точности». Это намного сильнее, чем «Вот колбаса».
Потому что колбаса — очень плохой пациент, она не имеет анамнеза, жалоб, нервной системы, сердечно-сосудистой системы, иммунной системы, эндокринной регуляции, психики, обмена веществ человека, клинической картины, болезни как клинического процесса.

И если прибор сообщает «У колбасы неврастения», то наиболее очевидный вывод заключается в том, что колбаса не является человеком. Поздравляю. Это открытие действительно имеет некоторую научную ценность. Но исключительно в области колбасоведения.


Представим обратную сцену. Врач-гомеопат берёт палку колбасы и подключает к ней тонометр. Тонометр не показывает давление. Врач заявляет: «Доказательная медицина не работает».
Мы немедленно засмеёмся - и совершенно справедливо.
Но если тот же логический прыжок совершается в обратную сторону, он не становится научным только потому, что его совершает человек с хорошим чувством юмора. Колбаса не является контраргументом к гомеопатии. Но колбаса не является и контраргументом к "доказательной медицине".
Она является контраргументом к определённой процедуре измерения, применённой определённым образом к неодушевлённому объекту. И всё.

    Вернёмся к нашему барану.

Алексей Водовозов, вы любите учить врачей отличать доказательство от впечатления. Так вот — отличный повод применить собственный урок к собственному эксперименту.
Колбаса — это демонстрация. Не диагностическое исследование, не исследование валидности, не исследование чувствительности, не исследование специфичности, не клиническое испытание.
   И уж совершенно точно не доказательство того, что весь метод Фолля как класс невозможен. Это красивый, остроумный, телевизионно безупречный "demonstration experiment" - и как телевизионный трюк клоуна он великолепен.
   Как научное опровержение — значительно скромнее. Потому что наука начинается ровно в тот момент, когда после смеха над колбасой кто-нибудь задаёт скучный вопрос: «Хорошо. А теперь покажите нам протокол исследования на людях».
Вот тогда и начинается настоящая драка. А до тех пор у вас только возможно очень большая больная колбаса и не совсем здоровое чувство юмора.
Но чувство юмора, как известно, не входит в перечень диагностических критериев.



   7. Но давайте тогда быть последовательными. Вы спрашиваете: «Где исследования чувствительности и специфичности методики?»
Хороший вопрос, отвечаю: проводите их. Как швейцарцы, немцы и австрийцы, у которых Фолль-методика является весьма почитаема в медицине (а медицина там не серьёзнее ли российской? если нет - зачем туда богатенькие буратино из Совфеда и Госдумы лечиться ездят и родственничков на лечение отправляют?).

И тогда тот же вопрос необходимо задавать каждому диагностическому методу в реальной клинической популяции. Причём с учётом спектра пациентов;
предварительной вероятности заболевания;
оператора;
оборудования;
критериев положительного результата;
золотого стандарта сравнения;
воспроизводимости;
межоператорской вариабельности;
ложноположительных результатов;
ложных отрицательных результатов;
клинической значимости обнаружения.

И внезапно выясняется: диагностическая медицина посложнее, чем рекламный лозунг «доказано исследованиями».

7. Врач не лечит p-value и p-value отвечает не на вопрос "какова вероятность, что нулевая гипотеза H0 верна". p-value отвечает не на вопрос «какова вероятность, что H0 верна?», а на вопрос «насколько необычны наши данные при условии, что H0 верна?»

   Пример.
Допустим, мы проверяем новое лечение. Н0 (H ноль): новое лечение не отличается от стандартного. Провели исследование и получили разницу между группами.
Статистический тест дал p = 0,03.
Это означает: если на самом деле никакого различия между лечениями нет, вероятность получить такую же большую или ещё большую разницу случайно составляет около 3%.
Поэтому результат считается достаточно необычным при H0.
При традиционном пороге p<0,05 говорят о статистически значимом результате и обычно отвергают H0.

Чего p-value НЕ означает? Очень важный момент. Если p=0,03 - это не означает «Вероятность того, что лечение работает, равна 97%».
И не означает: «Вероятность ошибки исследования равна 3%».
И не означает: «Вероятность того, что нулевая гипотеза ложна, равна 97%».
   Это распространённые ошибки интерпретации.

Почему p-value может вводить в заблуждение?
Представьте огромную выборку — например, миллион человек. В ней можно получить:
p<0,000001 при совершенно ничтожной разнице, которая практически не имеет клинического значения.

Поэтому статистическая значимость не значит "клиническая значимость". Например:
препарат снижает давление в среднем на 0,3 мм рт. ст., p<0,001.
Статистически это может быть совершенно убедительно. Практически — почти бесполезно.
И наоборот, важный клинический эффект в маленьком исследовании может получить p>0,05 просто из-за недостаточного размера выборки.

 Есть ещё одна вещь, которую особенно трудно объяснить человеку, влюблённому в статистику.
Пациент — не среднее значение. Средний пациент существует примерно там же, где средняя температура по больнице. В исследовании может быть статистически значимое улучшение на 17%. А перед вами сидит конкретный человек. У него:

конкретная наследственность;
конкретный анамнез;
конкретная реактивность;
конкретный режим сна;
конкретное питание;
конкретная медикаментозная нагрузка;
конкретный стресс;
конкретная стадия патологического процесса;
конкретная способность к компенсации;
конкретная динамика.

И врачу приходится решать не задачу: «Каков средний эффект вмешательства?»
а задачу: «Что происходит именно с этим человеком и почему?» Вот здесь начинается клиническое искусство. И здесь статистика становится инструментом, а не богом.

8. ИМЕДИС-Фолль: почему он так раздражает догматиков?

Потому что он покушается на очень удобную модель:
«Есть диагноз - есть протокол - есть препарат - есть контрольный показатель».

А тут появляется врач, который говорит: «Подождите. Я хочу посмотреть на реактивность пациента, динамику, функциональные связи, индивидуальные реакции и изменения после воздействия».
   Как неудобно! Никакого уважения к красивой колонке Excel. Никакой священной коровы среднего значения.
Ещё хуже — врач может сказать: «Ваш диагноз один, а ваш организм реагирует совершенно иначе». Для протокольного мышления это почти неприличное заявление.

9. Теперь самое интересное: гомеопатическая доза.

Водовозов говорит: «Она вся опасна». Очень сильная фраза... Но именно здесь хочется спросить: опасна чем? Самой субстанцией? Дозой? Отказом от эффективного лечения? Отсрочкой диагностики? Финансовым мошенничеством? Психологической зависимостью? Или самим фактом принадлежности к альтернативной медицинской системе?..
   Потому что это совершенно разные вещи.

Я могу согласиться в одном: любая система лечения становится опасной, если пациент вместо необходимой медицинской помощи получает ритуал. Но это относится не только к гомеопатии. Человек может погибнуть, потому что вместо антибиотиков принимал гомеопатию. А может погибнуть потому, что врач месяцами «лечил анализы», не заметив реальную проблему.
Может погибнуть из-за ненужной полипрагмазии.
Может получить тяжёлую ятрогенную реакцию.
Может получить осложнение из-за пропущенного диагноза.
Может просто попасть к плохому врачу.
   Вред бывает не только альтернативным.


11. Ошибка Водовозова гораздо тоньше.

Водовозов справедливо высмеивает людей, которые говорят: «Наш метод работает, потому что он работает». Но потом часть критиков альтернативной медицины делает зеркальную ошибку: «Метод не доказан в принятой системе — следовательно, он не работает».
Это логически некорректно. Отсутствие доказательства не означает доказательство отсутствия. Фанатизм "доказательной медицины" (подпитанный грантами Биг-Фармы) и научный метод — всё-таки разные вещи. EBM — это не религия и не обязана быть религией.
  И автор, как врач, не собирается от неё отказываться. Мне нужны:

клинические исследования;
фармакология;
эпидемиология;
статистика;
систематические обзоры;
метаанализы;
диагностические показатели;
безопасность вмешательств.

Но EBM — не вся медицина. Она не заменяет врача, не заменяет анамнез, не заменяет клиническое мышление, не отменяет индивидуального пациента, не делает человека средним значением. И уж точно не должна превращаться в дубинку: «Этого нет в рекомендациях — значит, можете идти домой».


  12. Самое забавное...

   Водовоз обвиняет "альтернативную медицину" (то, чего он не понимает - БРТ, гомеопатию и гомотоксикологию - то, что прекрасно способны понять выпускники германского Гейдельбергского университета, Мюнхенского университета Людвига-Максимилиана, медицинского факультета Берлинского университета, Лондонского факультета гомеопатии и пр.)
  в том, что она превращает отсутствие знания в мистику.

Возникает зеркальная ситуация: «Мы не знаем механизма - поэтому исключаем явление из допустимой реальности».

Вот здесь начинается уже не доказательная медицина, а доказательный материализм. Это совершенно другой философский зверь, пахнущий кострами Инквизиции. Впрочем, мы в СССР это с генетикой уже проходили - и отстали лет на сто в результате от США. Из-за таких, как Водовоз.

Наука должна говорить: «Покажите эффект», а не «Мы пока не знаем, как это возможно, поэтому эффекта быть не может». Первое — скептицизм, второе — догматизм.

EBM не может подтвердить или опровергнуть ИМЕДИС, потому что не имеет инструментов для работы с этим уровнем и не имеет желания - зачем плодить конкурентов?..

Если ИМЕДИС заявляет: «Мы можем обнаружить определённое состояние организма»,
то это вполне проверяемое утверждение. Можно взять пациентов, провести слепое исследование, сравнить результаты с независимым эталоном.
Можно рассчитать чувствительность, специфичность, LR+, LR-, PPV, NPV, воспроизводимость.


12.  В одном важнейшем пункте Водовоз абсолютно прав.

   Пациент не должен становиться добычей человека, который умеет говорить наукообразными словами. Это относится и к нему и ко многим, которые сыплют терминами: "Биорезонанс. Аура. Торсионные поля. Энергоинформационные связи.
Квантовое исцеление. Детокс на клеточном уровне. «Чистка лимфы». «Выведение паразитов». «Восстановление чакр»...

   Если за этими словами нет определяемого метода, измеряемого результата и внятной ответственности врача, то перед нами действительно может оказаться развод на диагноз и последующий развод на лечение.
   Настоящий гомеопат-фоллист тоже заинтересован в том, чтобы шарлатан не назывался врачом - как настоящий хирург заинтересован, чтобы человек с дипломом курсов массажа не назывался хирургом.


   Проблема современной медицины не в том, что существуют водовозы, гомеопаты, ИМЕДИС, фармкомпании или альтернативщики, а в том, что человек постоянно пытается заменить мышление — системой.
   Настоящему врачу нужен пациент: живой, конкретный, с его анамнезом, с его симптомами, с его лабораторией, с его морфологией, с его психикой, с его реактивностью, с динамикой.
   И - врач не боится честно признаться: «Я могу ошибаться». Вот это, кстати, одна из самых научных фраз, которые вообще способен произнести врач.

   Эпилог.

Автор не собирается предлагать заменить доказательную медицину гомеопатией. Это было бы слишком просто. Он предлагает нечто гораздо более неприятное: лишить авторитет права быть последней инстанцией. Ни академик, ни ВОЗ, ни AMA, ни Big Pharma, ни комиссия, ни гомеопат, ни врач ИМЕДИС, ни популяризатор, ни автор.   
   Никто.

Потому что наука начинается именно там, где человек способен сказать: «Хорошо. Ты утверждаешь, что это работает. Покажи мне, как это проверить».
Но наука заканчивается в тот момент, когда вместо этого появляется другая фраза:
«Этого не может быть, потому что этого не должно быть».
И вот тогда медицина начинает очень напоминать астрологию - не потому, что они одинаковы, а потому, что любая система знания, превращённая её адептами в непогрешимый авторитет, перестаёт быть наукой и начинает становиться мировоззрением.

А врач — каким бы методом он ни пользовался — обязан помнить простую вещь: пациент пришёл не к системе, а к врачу.

И если врач вместо пациента начинает защищать свою единственно возможную систему — перед нами уже не медицина, а очередной золотой телец. Только одни поклоняются ему в белом халате, другие — с профессорским дипломом, третьи — с аппаратом, а четвёртые — с планшетом, на котором открыт свежий метаанализ.
   И все почему-то свято уверены, что именно их золотой телец — единственный научный.

В заключение, гражданин Водовозов, от всей души желаю вам честно послужить Отечеству, отправившись на СВО в качестве военного медика - что-то вы перед экранами подзадержались да лишние килограммы поднабрали, одними котиками питаясь да столько лет беззаветно (но не бесплатно) разглагольствуя о здоровье, а о своём да о проблемах родины позабыв. Примените свои знания и энергию в военных целях - как и полагается патриоту и выпускнику ВМА. Попутного ветра вам в колбасу, там больше заработаете.
    Да и... мёртвые, в отличие от живых, сраму не имут.

"Что? Будешь бить меня, начальник, если лгу?
Но если ночью эту рожу паразита
Поставить с моей ж.. рядом на углу -
Все закричали бы, что это два бандита..."
              В. Шандриков