Критический обзор сайта scorcher.ru

Кирилл Алфёров, август 2014.
Консультанты: Игорь Борисевич, Валерий Соболев

Обзор сделан по состоянию scorcher.ru на 3-е августа 2014 года.

Scorcher.ru - это сайт-проект, почти полностью выполняемый одним человеком. Сайт работает на домене scorcher.ru, но само называние сайта это "Форнит" или "FORNIT". Посвящён сайт в основном психофизиологии, но затрагивает и массу других тем, от программирования до квантовой физики. Позиционируется как "мировоззренческий", претендует на научность в тех частях, которые касаются каких-либо научных тем:

Необходимость сделать обзор по сайту вызвана прежде всего деятельностью любителей сайта, которые активно участвуют в различных дискуссиях, в том числе на Википедии, источником знаний почти исключительно называют сайт scorcher.ru и при этом выдают спорную информацию в качестве научно доказанной. Также, сайт хорошо оптимизирован и часто выходит по запросам, связанным с нейрофизиологией и психофизиологией.

В обзоре две части - первые два раздела говорят о подаче материала и трудностях, связанных с этим. Последующие разделы анализируют выбранную на скорчере методологию и разбор конкретных утверждений. Подчеркнём дополнительно, что именно критика методологии является основной.

1. Подача материала

Начать обзор мы вынуждены с, казалось бы, второстепенного момента. Однако, когда дело касается скорчер.ру, подача материала является существенной особенностью.

Статьи на сайте написаны настолько тяжёлым слогом, что даже специалисту поначалу трудно сказать, научные данные или нет. Пишет автор очень недоступно. Громадное количество перекрёстных ссылок, иногда по 2-3 в одном предложении, очень сильно затрудняет прочтение и анализ. Понимание одного термина требует ознакомления с десятком определений и подкрепляющих статей, каждая из которых тоже куда-то ссылается. Вступительная статья под названием "Познание жизни" замечательно демонстрирует принцип построения информации на сайте. Похоже, автор сознательно не пишет завершённые главы, и они постоянно оказываются зависимыми от прочтения чего-то ещё.

Поскольку статьи ссылаются друг на друга и написанное в одной статье затем используется в качестве доказанного и ключевого понятия в другой, несогласие хотя бы с одним из этих понятий может ставить принятие информации других статей под вопрос. В результате анализ информации усложняется ещё больше.

Страницы-определения, на которые автор постоянно ссылается, написаны в форме вольных и очень длинных рассуждений. Весь этот массив терминов, который, по-хорошему, надо внимательно разбирать, затем используется в качестве "базы". Даже нейрофизиологи, которые читали сайт, с большим трудом улавливали мысль.

Такая подача материала, безусловно, способна создать ощущение значительности. Автор подчёркивает, что написано сложно, потому что сложен материал. Однако это плохой аргумент. Претензии не к сложности объекта изучения, а к сложности текста. Грамматические конструкции, громадное количество усложняющих терминов, слишком многословные определения, постоянные "лирические отступления" - всё это затрудняет и без того непростой предмет и делает усвоение информации с сайта феноменально сложным. Пожалуй, нигде я не видел, чтобы даже простые вещи объясняли так запутанно.

2. Оригинальные определения

Как будто специфической подачи материала недостаточно, на сайте ещё введён свой собственный словарь терминов. Большое количество определений терминов оригинальны, то есть определения на сайте не соответствуют общепринятому использованию слов. Это - типичная проблема философских систем, претендующих на самодостаточность. Благодаря наличию новых значений слов, всегда можно указывать на "невежество" непосвящённых в систему, хотя люди об этих особых значениях слов никогда и не слышали.

Например, я никогда не встречал определение слова "аксиома", даваемое на скорчере. Поиск по толковым словарям и энциклопедиям не выявил такого определения даже среди редко употребляемых значений. То есть смысл слова "аксиома" на сайте скорчер не соответствует словарному значению слова в русском языке. В результате не соответствует оно и научному определению термина.

Это - уже проблема и потенциальный подвох. В частности, на сайте есть список "аксиом", которые используются автором. Ясно, что человек со стороны, увидев этот список, скорее всего будет понимать термин "аксиома" так, как он используется в русском языке и в науке, а не так, как его решил использовать автор сайта. Налицо будущий конфуз, который адепты системы могут легко представить в выгодном им свете: мол, человек "передёргивает", не разобрался, что он тупой и прочее.

Не говоря уж о том, что понятие аксиомы на сайте гораздо менее строгое, нежели понятие аксиомы в науке. А это значит, что путём переопределения слов автор может выдавать спорные утверждения за положения, не требующие доказательств.

В своём ответе на этот обзор, о котором речь пойдёт в приложении, автор сайта неожиданно утверждает, что это не список аксиом, но аксиоматика. Я нахожу такой аргумент бесмысленным. Согласно словарям, доступным публике, разницы между этими терминами нет. И словарь Ефремовой и Малый академический словарь Института русского языка Академии наук СССР определяют аксиоматику как совокупность аксиом, лежащих в основе той или иной науки.

Но и своих определений автор придерживается очень приблизительно. Это - не аксиома. Это - не аксиома. Что это за вольные художественные формы? Где ссылки на научные работы, на которых эти повествования основаны?

Если есть желание использовать аксиоматический метод в том смысле, в каком им пользуются в науке, то аксиома должна представлять из себя не художественные статьи с набором разрозненных фактов, а фундаментальные сведения, по которым в области сложился консенсус. То есть, для составления аксиоматики учёный должен хорошо ориентироваться в научной литературе. О том, как в научной литературе ориентируется автор скорчер.ру, мы поговорим ниже.

Важно также понимать, что систематическое использование аксиоматического метода где-либо, кроме математики и геометрии, сегодня не практикуется. Этому есть целый ряд причин, немаловажной из которых является сложность естественно-научных дисциплин, а, соответственно, и их зависимость от эмпирической проверки. Возможность делать далекоидущие выводы по системе аксиом в биологии очень ограничена и редко приводит к верным результатам.

Вводятся и целые концептуальные конструкции. В частности, автором используется некий "разумный скептицизм". По сути, изобретается велосипед, и в терминах сайта описывается научный скептицизм. Однако проблема заключается в том, что запутанные формулировки после прочтения всё равно оставляют вопросы - нет ли здесь чего-то существенного, что было упущено, именно из-за тяжёлого слога и массы оригинальных терминов? Ведь неспроста автор отказался от использования уже устоявшегося термина и придумал свой? В разделе об альтернативной медицине будет показано, что "разумный" скептицизм и правда отличается от научного скептицизма.

Важно понимать, первые два раздела нашего обзора - это не пустые придирки к форме. Наука является как попытками познать новое, так и постоянной коммуникацией этих попыток. Плохая подача материала и собственная терминология могут стоять на пути научного прогресса. В том числе поэтому в научных журналах существуют определённые стандарты.

Автор сайта защищается, говоря, что у каждой науки своя терминология. Это верно. Но тогда тем более непонятно, почему на скорчере используется оригинальный, а не психофизиологический словарь. Или психофизиология - изобретение автора сайта скорчер? Ведь нет. А раз так - неясно, почему он называет всё по-своему. Пусть даст ссылки на научные словари и покажет, что его странные определения слов вовсе не странные, а научно-специальные. Подчеркнём - вводить свою терминологию по уже существующим дисциплинам, где эти же самые термины используются в другом значении - очень плохая идея.

Читатели этого обзора также указали, что нечестно намекать, что уникальная терминология сайта может быть использована в качестве риторического приёма, поскольку одной лишь возможности недостаточно для обвинения. И это очень справедливое замечание.

Однако возможность пользоваться неявной личной терминологией вовсе не является теоретической, а наблюдалась на практике. Сам автор ресурса постоянно пользуется таким приёмом, разбирая утверждения оппонентов и ставя им в упрёк, что они несут чушь. И действительно, если понимать используемые слова так, как они понимаются на сайте скорчер.ру, то может выходить чушь. Но почему автор сайта считает, что люди, ранее никогда не видевшие его словарь терминов, должны пользоваться терминами в тех значениях, которые придумал он? Что это за, мягко говоря, странные претензии?

То, что термины он понимает по-своему и это может быть проблемой - ему говорят даже собственные читатели. В моём утверждении, которое разбирают на скорчер.ру, говорится о нашумевшем эксперименте Халлета. Автор сайта называет всё это чушью. Специалисты по-разному оценивают интерпретацию результатов эксперимента, но чушью он, естественно, не является, также как и использование слова "сознание" в применении к этому эксперименту. Популярно почитать об этом можно здесь и убедиться, что сказанное мною является просто пересказом, а не собственной выдумкой. Из публичных людей в таких же терминах говорят об этом эксперименте нейробиологи Сэм Харрис и Стивен Новелла, а также философ Дениел Дэннет. Они выступают перед научными и научно-ориентированными аудиториями по всему миру, но почему-то не раздались уничтожающие их "безграмотное использование терминов" возгласы со стороны профессиональных психофизиологов и нейробиологов. И это не апелляция к авторитету, а рациональное доверие сообществу специалистов.

3. Подход к критике

Автор своё имя скрывает и пишет статьи под псевдонимом nan, потому что якобы наличие имени по паспорту ведёт к тому, что люди будут воспринимать авторитет, а не информацию. Хотя, с моей точки зрения, это надуманная проблема, подход спорен. Творчество Нана, описание его личных предпочтений и взглядов на жизнь, активное участие на местном форуме - уже создают образ конкретного автора, а вовсе не анонимных статей. А вот что псевдоним точно не позволяет сделать, так это проверить, например, наличие образования. Есть подозрение, что за псевдонимом скрывается человек, который никогда не получал диплома по сложнейшей области, которой взялся заниматься.

При этом важно понимать, что речь идёт не о формальной корочке. Получение образования, специализация, участие в научной деятельности - всё это очень важные ступеньки развития специалиста. И хотя бывают редкие исключения-самоучки, в наш век это почти немыслимо. Научное знание настолько разнообразно и сложно, что специализация становится необходимым маркером профессионализма. Редкий учёный может сказать, что он просто астрофизик. Или что он просто нейрофизиолог. Это будет слишком общо. Сегодня многие специалисты знают хорошо только свою узкую область, и это, увы, реальность. Век, когда учёный мог заниматься просто "физикой", прошёл.

Тем не менее, сторонники сайта смело провозглашают его автора одним из самых продвинутых в мире специалистов по психофизиологии. Это удивительно и показательно. Именно это мне было сказано одним из адептов, и я наивно полез в Википедию почитать про великого учёного. Конечно, там не было никакой информации. Видимо, сговор модераторов стал на пути истины.

А в качестве доказательств сговора у Нана есть эссе про Википедию. Аргументация стара, и я не нашёл возражений, которые не были бы разобраны в статье "Wikipedia:Replies to common objections" на самой Википедии, причём давно. Но автор либо не знает, либо делает вид, что этих ответов нет. Вместе с тем, интеллектуально честно было бы принять их во внимание. Сделано этого не было, и на эссе про непригодность Википедии даётся ссылка с обычной ремаркой "как уже было показано". Всё. Очередной кирпичик системы установлен, и теперь мы оправдались, почему Википедия ничего не знает про скорчер (хотя знает про все крупные научные журналы, институты, университеты и учёных). Апелляция к сговору - очень тревожный звоночек.

Более того, автор публикует свои результаты только на собственном сайте. Это означает, что его выводы не могут быть проверены специалистами в области. Его понимание роли научных публикаций в современной науке весьма поверхностно, что можно увидеть в статье Компетентность или авторитет? Подобные претензии приходится читать на сайтах откровенных псевдоучёных, и, хотя само по себе это не говорит об их неверности, приверженцы науки и научной популяризации давно и многократно отвечали на эти возражения. Придётся это сделать и в настоящем обзоре.

Так почему же совершающий научные прорывы автор сайта не публикует свои изыскания в рецензируемых журналах? И как мир узнает об этих исследованиях? Неужели предполагается, что специалисты должны зарегистрироваться на форуме скорчера и обсуждать достижения Нана там?

И действительно, предполагается:

Это ещё раз подчёркивает непонимание автором скорчер.ру функции научной публикации. Создаётся устойчивое впечатление, что автор считает научной дискуссией именно рецензирование до публикации, а после того, как статья попала в уважаемый журнал, скажем, Nature, научный мир будто тут же принимает статью за научно доказанный факт, и это можно указывать в Википедии в качестве "авторитетного источника".

Но это не так. Пред-публикационное рецензирование (prepublication peer review) - это лишь первая фаза. После того как статья была опубликована, начинается основная фаза, а именно - после-публикационные рецензии (postpublication reviews). Кафедры и лаборатории подписаны на свои специализированные журналы. Учёные знакомятся с исследованиями, представленными в журналах, и могут затем написать статью-ответ, произвести проверку эксперимента и т. д.

А это значит, что рецензирование статьи до публикации является лишь первым, базовым фильтром. Представленный на суд коллег результат через некоторое время может быть опровергнут многочисленными отзывами и перепроверками. И именно рецензии на работу после публикации являются основными.

У автора скорчер.ру такого понимания, по-видимому, нет. Только это может объяснить, почему его смущают случаи, когда рецензенты по ошибке пропускают в издания плохие или даже сгенерированные случайным образом статьи, что, хотя и досадно, само по себе несильно сказывается на научной дискуссии. В конце концов, даже когда крупный журнал пропускает слабое исследование, специалисты быстро это замечают и пишут отзывы. Редкие случаи проникновения таких работ в крупные журналы, скажем, исследования Сералини или Эндрю Уэйкфилда, всегда получали соответствующую оценку экспертов и были отозваны.

Более того, ландшафт научной публикации претерпевает постоянные изменения и ведутся работы по улучшению системы. Кроме анонимных рецензий, практикуются открытые рецензии, выставление статьи онлайн до публикации и её публикация наряду с отзывами от коллег, журналы без рецензирования и так далее.

Но никаких указаний на то, что автору скорчера известны и понятны эти процессы, нет. Вместо этого он пытается рекрутировать команду рецензентов из читающих его дилетантов и считает, что это более эффективный и объективный способ развития научных знаний.

Как будто этого мало, рецензии на труды отбираются и одобряются самим же автором, по собственным правилам. Любой отзыв на сайте или со стороны может быть запросто проигнорирован в качестве "неконкретного, необоснованного, некорректного". В частности, данный критический обзор, который был опубликован одним из любителей сайта у них на форуме, естественно, был охарактеризован в качестве неконкретного и необоснованного.

А сделать это очень просто. Нужно составить такие правила, которые было бы очень сложно понять и которые могли бы при этом трактоваться очень вольно. На свой стандарт корректности, конкретности и обоснованности автор с удовольствием ссылается при каждом подходящем случае. Казалось бы, всё честно. Но как только читатель начинает разбираться в этих правилах, задача оказывается сложнее, чем можно было предположить. Вот один из первых абзацев текста:

И таким слогом написана вся остальная, очень длинная статья, где каждый второй термин является ссылкой на другую статью. Где-то в конце автор вспоминает, о чём шла речь, и выделяет правила "конкретной, обоснованной и корректной" критики:

Сразу ясно, что эти правила настолько двусмысленны и субъективны, что любая неугодная критика легко может быть названа "недоброжелательной", а её автор "не находящимся в сотворческом эмоциональном контексте". Спросить, что такое доброжелательность, сотворчество и эмоциональный контекст - это значит получить ссылки на десяток статей сайта, каждая из которых ведёт на десяток других. Простого ответа нет.

Таким неизящным, но действенным способом автор скорчера оправдывает отсутствие диалога с реальными специалистами и в то же время исключает нежелательную критику со страниц самого сайта.

При этом позволяются очень громкие заявления по поводу научного сообщества. Согласно Нану, большинство специалистов "слабо понимают систему принципов научной методологии":

Говорит он обо всех учёных вообще или только о психофизиологии - понять невозможно, а граница использования, упомянутая выше, здесь не указана. Видимо, правила относятся только к критикам сайта, а не к его автору.

Но и в том и другом случае это масштабное заявление требует весьма масштабных доказательств. И это уже не мелочь. По сути, научное сообщество объявляется профнепригодным, зато личный сайт скрывающегося за псевдонимом автора выставляется в качестве столпа корректности и объективности, где понятия корректности и объективности определены на этом же сайте самим же автором.

Скорчер.ру действительно подаётся именно как самодостаточная вселенная, с обильным и постоянным самоцитированием. Научность публикации определяется инструментами самого же скорчера. В частности, существует так называемый "тест по определению веса ненаучности". В зависимости от выделенных опций, вам будет выдаваться "вес уверенности в ненаучности". Всерьёз такой инструмент, конечно, никем из специалистов восприниматься не будет.

Фактически, Нан утверждает, что специалистом становится всякий, кто внимательно читает скорчер и "развивает целостное мировоззрение". Что ж, может и так, но хотелось бы подтверждения в виде успешной сдачи экзаменов и защиты диссертации скорчеровца - на основе материалов скорчера в реальном ВУЗе. Мне такие случаи неизвестны. Не фигурирует скорчер в качестве источника ни в каких научных публикациях, знакомых мне. Незнакомы такие публикации Гуглу и базе данных PubMed.

Кстати, любопытным моментом является наличие на сайте раздела "Список теоретических статей авторов" (в меню названо как "Научные произведения авторов"), где публикуются "научные" статьи местных "учёных". На некоторых статьях висит следующая пометка:

Представить подобную пометку в научном журнале очень трудно.

4. Научные достижения

Выводы, которые Нан и/или его читатели делают из всего этого материала, распадаются на три типа: те, что соответствуют общедоступным научным данным, те, что противоречат консенсусу среди специалистов, и, наконец, которые опережают его, утверждая решение проблем, над которыми бьётся мировая наука. Ясно, что последние два пункта проблематичны.

Оказывается, скорчеровцами уже получен ответ на проблему сознания. Не гипотеза, не вариант, а точный ответ, иначе несовпадения с "аксиомами". Успели они разобраться и в формировании сексуальной ориентации, хотя в научной среде консенсус пока не сформировался и обозначены лишь основные направления исследований, конечно же, сплошь неверные, согласно скорчеровцам. Психофизиология на скорчер.ру применяется практически ко всем вопросам и, благодаря такому подходу, делаются необычные выводы.

В частности, в статье про осознанные сновидения Нан утверждает, что осознанные сны несут существенный вред и ведут к психическим отклонениям:

Вместе с тем, современной науке неизвестны вредные эффекты от осознанных сновидений, в научной литературе не фигурируют эксперименты по тематике, и перед нами замечательный образец авторского "обобщения". Основывает свои выводы Нан на том, что депривация быстрой фазы сна ведёт к проблемам. Однако, не нужно быть специалистом, чтобы понять, что вред от осознанных сновидений и вред от депривации быстрой фазы сна - это разные вещи. И надо бы ещё показать, что осознанные сновидения каким-то заметным образом нарушают процессы быстрой фазы сна.

Чтобы убедиться в том, что я, дилетант, не упускаю чего-либо существенного, я обратился к нейрофизиологам. Они подтвердили, что информация про вред осознанных сновидений на сегодняшний день никем не проверялась и что без дополнительных экспериментов "обобщить" это из имеющихся уже данных никак нельзя. Что эксперименты не проводились, читатель в наш век Интернета может проверить и самостоятельно, поиском по базам данных публикаций.

Конечно, ничего плохого в высказывании гипотезы нет. Проблема в том, что вред от осознанных сновидений не подаётся в качестве гипотезы: слово "гипотеза" в статье не встречается, также как и слово "предположение". Вред от осознанных сновидений подаётся в качестве научного факта, который выведен путём "обобщения" из "аксиом" и "корректного" понимания механизмов психики. По словам Нана:

Однако, как мы уж отметили, клинических испытаний по теме как раз нет, и перед нами дилетант-теоретик, который, понаделав кучу предположений, в том числе и о функциях сна, выдвинул смелую гипотезу в качестве доказанного факта. А затем любители его сайта пытаются продвинуть эту информацию в Википедию как якобы научную.

5. Работа с научной литературой

Здесь также следует отметить ещё один крайне важный момент, который постоянно упускается околонаучными деятелями, а именно - умение делать адекватный анализ научной литературы. Очень часто для выявления стадии, на которой находится современное понимание вопроса, требуется рассмотреть не отдельную статью, не парочку одиночных клинических испытаний, а сделать систематический обзор всего корпуса научной литературы по теме. Это сложная задача даже для специалиста и совершенно неслучайно многие научные исследования начинаются именно с обстоятельных ревью того, что уже было сделано. На работу по обзору литературы порой тратят не один год!

Непонимание этого коррелирует с непониманием функции научной публикации. Человек, который считает, что опубликованное в рецензируемом журнале исследование это конечный пункт назначения научной работы, будет с готовностью ссылаться на любую публикацию вне контекста других исследований. Результатом этого может быть отказ в консенсусе там, где он сложился, и утверждение консенсуса там, где его нет.

Нужно понимать - несостоятельный обзор научной литературы является очень серьёзной исследовательской ошибкой. И такие ошибки встречаются на скорчере постоянно.

Рассматривая функции сна, автор приводит несколько отдельных исследований и затем, вольно увязывая их в канву своего повествования, однозначно утверждает, что функцией сна является "приспособление к окружающему и событиям". Затем делается неожиданный вывод, что из-за депривации сна "многое оказывается пережито напрасно, как будто и не было такого опыта."

Вместе с тем на сегодняшний день по этому вопросу в науке консенсуса нет и речь идёт лишь о разных гипотезах. Можно брать любое ревью по тематике и видеть везде один и тот же вывод - на сегодняшний день пока недостаточно данных, чтобы мы могли отдать предпочтение конкретной из очень многочисленных теорий сна. Убедиться в этом можно, взглянув на ревью, опубликованное в 1998 году в журнале "Perspectives in Biology and Medicine", а также на другое ревью, опубликованное в 2006 году в журнале "Reviews in the Neurosciences". То же самое по теме говорит и Википедия.

Нельзя формулировать гипотезу, а затем на её основании строить другие гипотезы. Её прежде необходимо эмперически проверить. Вместе с тем, страница про функции сна затем используется в качестве обоснования на других страницах, в том числе на странице про вред осознанных сновидений. Это - прямо ненаучно.

Все эти примеры хорошо демонстрируют, что создание своего отдельного мирка, защищённого от критики и научного рецензирования, неминуемо ведёт к ошибкам, а затем к фанатичному упорствованию в своей правоте.

И это мы рассмотрели лишь один вопрос. А сколько ещё таких примеров? И какие могут быть гарантии, что среди запутанного лабиринта формулировок не скрываются другие вольные "обобщения", результатом которых становятся фантастические выводы? Собственно, вероятность того, что прав человек, нигде не публикующийся и, таким образом, не дающий возможности специалистам публично критиковать свои идеи, - весьма низка.

И я не вижу причин, почему она не должна быть низка. Редкий автор безошибочно угадывает всё в своей теории, и даже гении, типа Эйнштейна и Дарвина, совершали в своих построениях большие ошибки и неточности, которые поправлялись научной дискуссией и перепроверкой. Но автора скорчера серьёзная перепроверка, похоже, не интересует, а критика на форуме такими же дилетантами - это не тот стандарт научной дискуссии, которого придерживаются учёные.

6. Альтернативная медицина

Такое вольное следование научной методологии имеет тенденцию приводить и к более явным ошибкам. Несмотря на то, что автор скорчера смело разоблачает экстрасенсов и эзотерических целителей, его подход к классическим примерам неработающих практик очень либерален.

В статье, посвящёной гомеопатии, Нан пишет:

В статье автор предоставляет нам следующие рассуждения:

Читатель может пройти по указанной ссылке и убедиться, что я не вырываю фразу из контекста. Человек действительно утверждает, что последовательное получение отрицательных результатов связано с тем, что в гомеопатии требуется "индивидуальный подход". Именно этой отговоркой и пользуются гомеопаты, акупунктурщики и прочие "целители" всех мастей, чтобы объяснить нулевой результат контролируемых экспериментов.

Что понимается под "индивидуальным подходом" Нан подробно не описывает. А зря. Именно точное, недвусмысленное описание этой заявки позволило бы обозначить требования к эксперименту, который мог бы её проверить. Без точного же описания "индивидуального подхода" аргументация Нана превращается в самое обычное нефальсифицируемое утверждение, коими полна эзотерическая литература. Как такое мог написать человек, который постоянно говорит про научный метод - непонятно.

Перечислив ещё несколько источников, утверждающих полную бесполезность гомеопатии в качестве лечения, автор скорчера пишет:

Для меня из всего цитируемого становится очевидным другое - что у гомеопатии нет никакой возможности быть эффективным методом лечения. Сделать какой-либо другой вывод можно только если очень хотеть, чтобы гомеопатия работала, но не иметь для этого никаких оснований. А какие у нас имеются основания считать гомеопатию действенным методом? Да никаких! Контролируемые эксперименты дают отрицательный результат, а "индивидуальный подход" неопределён и, по-видимому, непроверяем. Наше понимание химии также намекает, что в гомеопатических средствах сильного разведения с высокой вероятностью не имеется даже одной молекулы действующего вещества!

Вторым существенным замечанием является уже не первая апелляция Нана к "эмпирическому опыту". Ранее в своей статье он подчёркивает тысячелетний опыт акупунктуры. Вместе с тем, интересен не любой опыт, а контролируемый. И если уж быть последовательным, то надо было бы к тысячелетнему опыту акупунктуры присовокупить опыт астрологии, инь и янь, массажа шиацу... Постойте! А Нан так и делает!

Вот его цитата, касаемая этого древнего массажа:

То есть, похоже, автору скорчера.ру достаточно лишь неконтролируемого опыта, чтобы прийти к однозначным зависимостям. Но исследователям доказательной медицины этого недостаточно. Поэтому они используют двойной слепой метод, а не "дикий многолетний труд". Дикий труд мы оставили позади, во времена именно дикой медицины, когда любое заболевание лечилось кровопусканием. Кстати, тоже имеющее тысячелетний и даже десятитысячелетний опыт.

Заканчивает Нан следующим абзацем, по-видимому, имея в виду фито-гомеопатию:

Дело осталось за малым - доказать хотя бы одно из этих фантастических утверждений: что существуют какие-то удачные индивидуальные сочетания веществ, которые могут вылечить человека от болезни, и что хотя бы кто-то из гомеопатов или иглотерапевтов когда-либо это сделал. А также объяснить самое фантастическое утверждение из всех, что на основании неконтролируемого опыта мы можем делать какие-либо однозначные выводы.

Сама форма изложения не имеет ничего общего с научным дискурсом. Автор использует плохо определённые термины, вместо количественных, недвусмысленных характеристик постоянно употребляет художественные эпитеты, типа "колоссальный опыт", "высококлассные иглотерапевты", "гомеопатия работает" и так далее. При этом нет никаких деталей - от каких болезней конкретно эти техники эффективны, в какой степени, какого рода опыт необходим специалисту, какими конкретными знаниями и навыками он должен обладать и т.д. Ничего этого нет. Вместо этого есть общие соображения спекулятивного характера и пренебрежение результатами клинических испытаний в угоду этим соображениям.

Так мы видим, что нестрогий подход к научному методу, излишняя фокусировка на личном опыте, игнорирование процедур академической науки и попытки устанавливать диалог исключительно по своим правилам ведут от искреннего желания заниматься доказательной наукой к поддержке псевдонаучных концепций.

Это очень печально, и подобные статьи, конечно же, ставят достоверность остального содержимого сайта под очень большой вопрос. Хотя и до этого раздела было ясно, что скорчер.ру требует серьёзной перепроверки профильными специалистами, демонстрация столь низких стандартов доказательности в вопросах альтернативной медицины заставляет задуматься о том, каковы эти стандарты по другим тематикам.

7. Вывод

Вспомним заявку автора скорчер.ру, с которой мы начали:

Как показал наш обзор, локальные термины и предметная "аксиоматика" являются сомнительными достоинствами, создающими существенный барьер между сайтом и научными материалами за его пределами. Подход к научной методологии, даже в самой доброжелательной трактовке, весьма спорен. Специалисты затрагиваемых областей подчёркивают, что, хотя на сайте имеется вполне адекватное изложение научных данных, немало на нём и слишком поспешных, а порой и прямо необоснованных выводов. Гипотезы и предположения автором сайта отдельно не обозначаются, что вряд ли даёт дилетанту возможность отделить одно от другого.

Стиль изложения материала вызывает трудности даже у специалиста. Объяснения простых понятий превращаются в пространные рассуждения на несколько страниц. При этом ни форма изложения, ни строгость подачи материала не соответствуют научным. Отсутствуют явные ссылки на научные исследования, а ряд источников представляет из себя научно-популяризаторский материал, что в научных работах недопустимо. Также автор демонстрирует слабые навыки работы с научной литературой. Обзоры исследований или ссылки на них найти на сайте не удалось.

Несмотря на неоднократные восхваления научного метода, автор настраивает читателя против научного сообщества, искажает или не понимает смысл научной публикации и процедур рецензирования, обвиняет большинство учёных в профнепригодности, а затем высказывает поддержку альтернативной медицине в лице гомеопатии, акупунктуры и японского массажа шиатцу.

В итоге, на сегодняшний день нет возможности рекомендовать сайт скорчер.ру в качестве надёжного источника знаний по каким-либо научным дисциплинам. Школьники и студенты только запутаются, получат массу противоречивых сведений, усвоят термины, значения которых вне сайта принципиально другие, а также получат ложное ощущение компетенции. Немаловажным фактором является и время, которое потребуется для охвата столь сложно изложенного материала. Для широкой публики сайт слишком техничен.

Scorcher.ru - это личный сайт любителя психофизиологии, материалы которого не соответствует стандартам изложения и доказательности, принятыми в современной науке.

8. Конструктивные предложения

Что, с моей точки зрения, мог бы сделать автор ресурса, чтобы улучшить ситуацию? Я могу дать несколько простых рекомендаций, которые напрямую следуют из критики, обозначенной выше:

1. Исправить статьи, где затрагивается вопрос рецензируемых публикаций, и правильно отразить смысл процедур рецензирования.

2. Пересмотреть своё отношение к компетенции "большинства специалистов", либо сформулировать эти соображения более корректно, с доказательствами и статистикой.

3. Чётко отделять справочный материал из учебников и реально проведённых клинических испытаний от собственных соображений.

4. Весьма существенным плюсом было бы явное указание источников каждой конкретной статьи - учебников и публикаций - чтобы читатель мог свериться с ними и иметь более полное представление о том, как конкретно был обобщён материал. Хотя в некоторых случаях ссылки присутствуют, правилом это не является.

5. Развивать навык работы с научной литературой, а также ориентироваться на уже существующие обзоры.

Реакция автора скорчер.ру и мои комментарии

Ответ на этот обзор был написан Наном в день публикации, 4-ого августа 2014 года: Рецензия на Критический обзор сайта scorcher.ru Кириллом Алферовом (орфография автора в названии и цитатах, приведённых далее, сохранена). Затем ответ был отредактирован и дополнен. Мой комментарий на этот ответ сделан по состоянию страницы на 16-ое августа 2014 года, будет она потом исправляться или нет, неизвестно.

Рецензия автора скорчер.ру практически не содержит ответов на проблемы его сайта. Он не потрудился написать нормальный ответ и комментировал этот обзор построчно.

К сожалению, он стремился всё сводить к каким-то личным нападкам, хотя в тексте выше нет ни одного примера перехода на личности. Такая реакция типична для дилетанта, а не исследователя. Исследователь работает с аргументами, дилетант переводит всё на личности и на критику реагирует агрессией. Рецензию Нана воспринимать всерьёз трудно.

Но автор скорчера пошёл дальше и написал статью про Общество скептиков, где назвал его сектой под моим предводительством, выбирал фразы из контекста статей на нашем сайте и пытался представить дело так, будто мы продвигаем лозоходство и существование миров за пределами времени и пространства. Для этого была, например, использована статья "Проблематика вечной жизни", где он взял аргумент верующих и представил его как будто исходящим от меня.

Подобное отношение к критике печалит. С моей точки зрения, честная, недвусмысленная критика - это демонстрация настоящего уважения к исследователю. Ничего в этом обзоре не является оскорбительным. Речь шла и идёт исключительно о научности сведений на сайте.

И уж точно никто не ставил себе целью "опорочить" сайт или его автора. Этим занялся сам Нан, который незрелой реакцией на вполне корректную критику нанёс существенный ущерб репутации скорчер.ру среди многих популяризаторов и любителей науки.

Хотя комментировать в "рецензии" Нана почти нечего, я решил отметить несколько моментов, которые мы слышали чаще всего и от любителей сайта.

Также, я учёл те замечания Нана, которые мне показались справедливыми, и либо внёс изменения в обзор, либо добавил пояснения, в частности во втором разделе по поводу личной терминологии. Я объяснил в чём видится проблема и что возможность пользоваться тем, что больше никто этой терминологией не пользуется, не является теоретической, а постоянно используется и автором сайта и его сторонниками для того, чтобы выставлять специалистов якобы дураками.

1. "Это не авторитетный сайт"

И любители сайта и его автор говорят, что скорчер.ру не позиционируется, как научный. В пример приводится вот эта страница. Аргумент не принимается, поскольку в данном обзоре процитировано описание с главной страницы сайта, где чётко утверждается, что материалы являются "наилучшими" и должны соответствовать ожиданиям специалистов соответствующих областей. Наличие на сайте другой страницы, которая говорит, что всё это просто личное мнение, таким образом, является противоречащей информацией. Использование то одной страницы, то другой, когда это удобно, интеллектуально нечестно. Автору сайта следует определиться, как конкретно он позиционирует свой сайт.

2. Обвинения во лжи и клевете.

Нан сказал, что сокрытие его имени - это ложь. Тем не менее, придумано это было не мной, а взято вот с этой страницы: авторские права сайта Fornit. Здесь чёрным по белому написано, что автор публикуется под псевдонимом. В чём состоит ложь, я так и не понял. Речь ведь идёт не о возможности при желании отыскать имя человека, а о том, как он позиционирует себя и свой материал. Автор сайта скорчер.ру пользуется псевдонимом, при чём из определённого принципа - что и было сказано.

В рецензии также идут обвинения в клевете, однако где была усмотрена клевета - неясно. Видимо, Нан пользуется каким-то своим, оригинальным определением. Он пишет, что моя фраза "похоже, автор сознательно не пишет завершённые главы" - это клевета. В чём она состоит? Это лишь предположение, на что и указывает вводное "похоже". Сам Нан, кстати, не смущается предполагать, что я потратил на его сайт пару выходных (что является неправдой) или что я скопировал аргументы со статьи на Луркморе. К слову, на Луркморе есть немало достойных статей по теме критического мышления, и если аргумент хорош, неважно откуда он взят. Но в данном случае я с Луркмора ничего не брал и не понимаю, что можно было взять. Заметить бесконечные перекрёстные ссылки и зависимость одних ключевых статей от других - справиться с этим можно и без Луркмора.

Тем не менее, забавно, что на форуме у себя Нан пригрозил мне судом. А как же естественно-научное мировоззрение? Если бы в науке каждый раз, когда критиковались исследования, их автор грозился подать в суд, не было бы у нас сейчас компьютеров, стиральных машинок, ракет, антибиотиков и электричества.

3. Переходы на личности

Нан постоянно упоминает мою фразу, что я написал обзор только из-за активности любителей сайта, и делает вывод, что я делаю это из мести. Однако это спекуляция, к тому же не самая убедительная. Совершенно естественно, что настойчивые отсылки на сайт, которые мы получали от одного из слушателей подкаста, заинтересовали меня и моих коллег. При этом у нас нет никаких трудностей с исправлением информации, и в своих подкастах мы неоднократно это делали и продолжаем делать. Если слушатель указывает нам на существенную ошибку и приводит убедительные источники, в следующем выпуске мы объясняем, что сказали неправильно и почему.

Но главное - моя мотивация не имеет никакого отношения к делу. Вне зависимости от моей мотивации, аргументы в обзоре либо верны, либо нет. И смотреть надо на аргументы, а не уводить разговор в другую сторону.

4. Список "аксиом"

Ещё один забавный момент, это претензии Нана к тому, что я использовал слово "аксиома". Оказывается, у него на сайте не список аксиом, но "аксиоматика". В обзоре уже было сказано, что этот аргумент бессмысленен, поскольку под аксиоматикой и подразумевается список аксиом. Но затем он говорит, что под аксиоматикой подразумеваются "оригинальные статьи исследований":

Здесь, во-первых, снова жонглирование словами и попытки выставить всех дураками, потому что мы понимаем слова не так, как их у себя на сайте определил Нан. Во-вторых, примеры, которые я привёл в статье - это и это - не являются никакими "оригинальными статьями исследований". Это художественные научно-популярные статьи. Налицо просто ложь со стороны Нана.

Другие примеры не лучше. Смотрим случайную статью, скажем, Промежуточный мозг. Это - тоже не "оригинальная статья исследования". Либо словосочетание "оригинальная статья исследования" на скорчер.ру понимается как-то по-своему, но в эти игры мы играть не будем. Ясно одно - перед нами просто описательный текст, а не научная статья из рецензируемого журнала.

Далее автор скорчера утверждает, что претензии к отсутствию ссылок необоснованы и что внизу каждой статьи есть ссылка на источник. Однако, это отговорка. Ссылки, как правило, ведут на сам же скорчер. Например, посмотрим, куда нас отсылает статья про промежуточный мозг. Вот источник. Как видим, это опять сайт скорчер, а вовсе не отсылка к публикации в рецензируемом журнале. Что это за текст? Похоже на перепечатывание учебника со вставками Нана. Учебник - это не "оригинальные статьи исследований", как нам обещал Нан. Ну да ладно. В конце этой страницы снова отсылка к источнику. На этот раз, правда, уже на внешний сайт. Наконец-то! Ну что - отсылка хотя бы на учебник?..
Увы. Ссылка ведёт на несуществующую страницу сайта про строительство и недвижимость (!!!) Вот эта ссылка, вот скриншот:

Вот так, стоит сделать несколько кликов по "аксиоматике", и мы видим, что перед нами просто пускание пыли в глаза.

В своей "рецензии" Нан не гнушается пользоваться и другими нечестными приёмами. Например, вот что он сказал по поводу отсылки к аксиоматическому методу:

Однако, если пройти по ссылке в обзоре, видно, что статья взята из Большой Советской Энциклопедии. Указаны в конце текста и авторы - Ю. А. Гастев, А. С. Есенин-Вольпин. Подобная неточность даже в мелочах просто поражает.

Естественно, после всего этого ни его рецензию, ни сам сайт скорчер воспринимать всерьёз уже невозможно.

5. Предмет обсуждения

И у себя на форуме, и в этой рецензии Нан упорно повторяет, что я сужу о незнакомой мне области:

"Кирилл очень далек от понимания специфики психической организации, хотя так уверенно судит в незнакомой области, ну точно как домохозяйка о политике."

Вместе с тем, обзор фокусировался вовсе не на психофизиологии, а на научной методологии. Где Нан увидел мои суждения о его "предметной области"? Даже когда идёт критика конкретных положений, она идёт не с позиции специализированной критики, а с позиции обзора научных публикаций. Когда личная гипотеза выдаётся в качестве факта, при явном отсутствии консенсуса - для понимания проблематичности этой ситуации не надо лезть в "предметную область".

То, что и Нан и его сторонники постоянно ставят в упрёк мне и другим скептикам, что мы судим о незнакомой области, говорит о том, насколько невнимательно и поверхностно они читают доводы оппонентов.

6. Википедия

Нан утверждает, что не пытался добавить сайт скорчер.ру на Википедию. Я и не имел в виду, что он пытался, речь шла о попытках любителей его системы продвигать на Википедии сомнительные "научные" сведения. Формулировку я подправил, чтобы такого впечатления не создавалось.

Статья про Википедию на скорчере вообще написана очень безответственно. Используется некая "новость", что 9 из 10 статей Википедии ошибочны, без ссылки на эту новость. Не была дана ссылка на обзор по другим исследованиями точности Википедии, которые перечислены здесь. Упомянутые мной "ответы на возражения против Википедии" были проигнорированы. То, что Нану запретили создавать статью, посвящённую компании, которую он продвигал - правильно. Непонятно, какой реакции можно было ожидать от модераторов. Я бы на их месте поступил также. Удивление по этому поводу означает лишь глубокое непонимание того, что такое энциклопедия.

7. Заключение

Хотя общая направленность рецензии Нана меня не сильно удивила, качество его ответов оказалось значительно ниже, чем я ожидал. Не было даже попытки ответить вежливо и по существу. Что, в общем-то, в немалой степени демонстрирует, что научные публикации и формат работы "официальной науки" - всё-таки не пустой звук.

Медиа материалы

Сайт был обсуждён в подкасте "Скептик", выпуск 057.