edgeways.ru
Список форумов
Кулуары
Серьезно о несерьезном и несерьезно о серьезном. Место для культурного отдыха. 
Потерянное при публикации: как измерение вредит науке
Пользователь: rstm (IP-адрес скрыт)
Дата: 05, February, 2018 15:38

Независимо от того, какие измерения разработаны, чтобы оце-
нивать людей, независимо от того, насколько они неадекватны,
в человеческой природе заложено стремление приспособиться к
ним и получить как можно большую оценку. Поэтому не должно
удивлять, что попытки количественно определить качество науч-
ных публикаций привели ко многим поведенческим и политиче-
ским изменениям в мире науке.
Для исследователей в науке всегда было крайне важным опуб-
ликовать свою работу. Всегда имелись три цели: во-первых, рас-
пространить новую информацию, чтобы другие могли усвоить ее;
во-вторых, чтобы другие ученые могли повторить исследования или
основываться на них, используя дополнительные наблюдения или
эксперименты; и лишь в-третьих, чтобы поддержка ученого, финан-
совая или иная, могла быть оправдана в глазах заинтересованных
сторон. Эта третья причина была вспомогательной, но более это
не так; опубликование стало главной целью, потому что это –– путь
выживания ученого [Lawrence ]. Эта кардинальная смена при-
оритетов нанесла вред научной практике, трансформировала моти-
вацию исследователей, изменила способ представления результатов
и уменьшила точность и доступность научной литературы.
Позвольте мне объяснять: если вы публикуетесь, чтобы получить
талон на питание, вам следует это делать, когда вы голодны, а не
тогда, когда работа завершена, окончательно прояснена и достойна публикации. Это объясняет, например, почему многие диссер-
тации на степень PhD издаются в неудовлетворительном виде до
конца обучения по программе PhD: если студент должен остаться
в науке после получения степени, он будет нуждаться в гранте, а
большинство заявок на грант требует публикаций. Эти публикации
требуют времени на подготовку и на принятие к опубликованию
в журнале, и это время должно быть добавлено к задержке между
начальной подачей заявки на грант и моментом поступления де-
нег –– а это означает, что многие студенты должны начать готовить
бумаги так рано, когда они еще едва знают, чем они занимают-
ся! Постдоки должны публиковать, чтобы получить работу, и более
старшие ученые должны постоянно добавлять к своему списку пуб-
ликаций новые наименования, чтобы возобновлять гранты или по-
лучить постоянную работу. Снова и снова работы представляются в
журналы преждевременно, а проекты либо срочно слепляются друг
с другом, либо специально конструируются, чтобы «сделать статьи»
до истечения сроков. Умелые карьерные ученые учатся правильно
упаковывать свои работы, чтобы они могли быть поданы сначала в
журналы, а затем в утробы грантовских агентств.
Далее, имеется вопрос, в какой журнал послать работу. Так как
ученые теперь оцениваются не столько по их силе, интересам или
качеству самой работы, сколько по импакт-факторам журналов
[Steel at al. ], многие, если не большинство ученых, тратят
слишком много время и усилий на обдумывание и хлопоты по по-
воду стратегии опубликования. Что следует делать, если статья от-
клонена первоначально выбранным журналом? Стоит ли произве-
сти еще один заход в надежде на изменение решения редакции
или было бы более благоразумным немедленно попробовать другой
журнал? Если другой журнал, то следует ли снова посылать ста-
тью неизменной или же попытаться облачить результаты в иной
маскарадный костюм? Возможно, в статью стоит добавить другие
находки, чтобы она выглядела более современной и пробуждала к
себе интерес. Возможно, статья нуждается в связи с чем-то недавно
изданным и модным, «крюке», как это называют журналисты, или
же в увязывании с идущими сейчас спорами: ученые выучили, что
редакторы должны поддержать импакт-фактор своих журналов, а
споры могут привести к цитированию. Есть столько уловок, кото-
рые можно попробовать, но все они отнимают время, и если они
терпят неудачу, как это часто происходит, то месяцы оказываются
потраченными впустую и приоритет может быть потерян.

Эти уловки нацелены прежде всего на редакторов, поскольку
именно они будут решать, должна ли работа быть отрецензирова-
на. Однако, когда этот барьер преодолен, следующем препятстви-
ем является процесс рецензирования, а рецензенты представля-
ют различные опасности для квалифицированного автора статей.
Здесь нужно действовать очень тщательно. Нужно позаботиться о
том, чтобы процитировать всех «лидеров» области. Также может
быть безопаснее преуменьшить любые результаты, не соответству-
ющие восприятию вероятных рецензентов, и неблагоразумно от-
крыто противопоставлять расходящиеся результаты. В настоящее
время нормальная стратегия должна состоять в игнорировании или
скрытии конфликтов. Их открытое рассмотрение может быть опас-
ным, так как, возможно, какой-то из рецензентов может быть раз-
дражен, ибо он участвовал в получении этих результатов (или он
даже может быть ответственен за них). Это особенно относится к
журналам с высоким импакт-фактором, поскольку редакторы этих
журналов постоянно настаивают, чтобы статью похвалил «с энту-
зиазмом» каждый из рецензентов, вследствие чего одна двусмыс-
ленная рецензия может погубить статью. Однако у всех этих уло-
вок есть своя обратная сторона, поскольку они обычно уменьша-
ют объективность и ясность аргументов. Политика обессиливает
науку.
По моему мнению, растущее использование h-индекса [Hirsch
] –– который, будучи основанным на числах цитирований, пы-
тается дать количественное выражение сразу и производительно-
сти, и влиятельности ученого –– приведет к зависимости от цитиро-
вания и к одержимости им. Я предсказываю что «вылавливание ци-
тирований» (citation-fishing) и «цитатный обмен» (citation-bartering)
станут обычной практикой [Lawrence ]. Отмечу, что большин-
ство журналов теперь устанавливает предел для числа ссылок ––
либо напрямую, либо ограничивая число слов в статьях, включая
ссылки. Авторы таким образом поощряются делать неадекватные
или несоответствующие цитирования. Например, ссылка на един-
ственный обзор вместо нескольких оригинальных статей, сообщаю-
щих об открытии, требует меньшего количества слов, и, поскольку
обычно имеется нескольких различных соответствующих обзоров,
выбор того, какой именно процитировать, легко может иметь ско-
рее политический, чем научный характер. Сколь неадекватны ни
бывают цитирования, ученые будут оценивать по ним собственную
работу, и это приводит к сомнительной практике. Например, ка-
кие-то ученые будут утверждать свое превосходство над другими,
если они имеют больше цитирований, и это будет одобрено счето-
водами повсюду. Как следствие, тот, кто работает в небольших обла-
стях (где имеется склонность к меньшему цитированию), окажется
в невыгодном положении.
Дэвид Колкухун изучал ситуацию в Империал Колледже, Лондон.
Он проанализировал последствия охвата научной жизни такими из-
мерениями (www.dcscience.net). В этом несомненно дремучем кол-
ледже ожидается, что каждый ученый выдаст ежегодно по крайней
мере  статьи, из которых по крайней мере одна должна быть в
журнале с импакт-фактором выше . Колкухун убедительно дока-
зывает, что эти требования не имеют никакого смысла, указывая,
например, что если бы современные измерения были применены
в прошлом, то некоторые из самых лучших ученых, включая Нобе-
левских лауреатов, время от времени терпели бы карьерную неу-
дачу.
Имеются и другие последствия использования численных изме-
рений: поскольку такое использование поощряет агрессивное, стя-
жательское и эксплуататорское поведение [Lawrence , Lawrence
, Montgomerie––Birkhead ], оно отберет среди ученых тех,
кто обладает этими качествами. Я обосновал в другом месте, поче-
му творческому открытию не помогают измерения, которые отби-
рают жестких борцов и направлены против более склонных к раз-
мышлениям скромных людей [Lawrence ]. Например, Эд Лью-
ис, получивший нобелевскую премию  г. по физиологии или
медицине и бывший в течение своей жизни преданным и скром-
ным ученым, а также редким и нерегулярным автором статей, имел
очень низкий h-индекс и не смог бы выиграть гранты в сегодняш-
нем мире. Кроме того, в среднем, женщины менее агрессивны,
чем мужчины [Baron-Cohen , Babcock––Laschever , Lawrence
, Symonds et al. ] и, таким образом, хотя эти измерения дис-
криминируют более деликатных ученых обоих полов, женщин это
касается в большей мере. Статистические данные не оставляют со-
мнений, что женщины наиболее часто выпадают из биологической
науки [ETAN ], а многие из них очень талантливы. Наиболее
часто озвучиваемые причины таковы: (;) «Я не хочу тратить остав-
шуюся часть моей жизни на конкуренцию и хвастовство», (;) «Я не
хочу получать приз в борьбе за получение гранта», и (;) «Современ-
ная наука превратилась в борьбу за выживание, а я предпочитаю
делать что-нибудь другое».

Что следует сделать, чтобы улучшить положение вещей? По мое-
му мнению, грантовые агентства должны использовать другие спо-
собы оценки качества работы и объявить об этом. Тогда те, кого они
поддерживают, могли бы тратить меньше времени на интриги по
опубликованию своих статей в журналах тщеславия и больше вре-
мени на исследование и решение научных проблем [Keller ]. По
моему ограниченному опыту, заявки на грант не описывают того,
что вы фактически делаете, а являются в действительности тестом
на изобретательность и осведомленность, в котором честность име-
ет малую цену; они сводятся к попытке продемонстрировать, что вы
знаете что делаете, можете предугадать результаты экспериментов
и оценить, что опасно раскрывать. Вам требуется проницательность
в понимании того, что могло бы впечатлить оценивающие комис-
сии. Я не уверен, сколь хорошо этот нелепый процесс служит време-
ни или науке. Чтобы уменьшить давление на ученых, которые про-
водят так много времени, придумывая заявки на грант, и сократить
количество нудных текстов, подлежащих оценке и сравнению, я
предлагаю использовать альтернативное средство заявки на грант,
которое бы целиком основывалось на качестве работы последних 5
лет, как это имеет место в Канаде (CNSRC). Все, что претенденты,
которые использовали бы этот метод, должны были бы сделать, ––
это перечислить, скажем, 3 статьи из тех, что они считают своими
лучшими работами за последние 5 лет, и кратко описать тех, кто бы-
ло ответственен за эти работы. Преимущество оценки лишь неболь-
шого количества работ имеет, помимо очевидного аспекта –– умень-
шения объема чтения, еще и тот, что авторы поощрялись бы писать
малое число работ, означающих или сообщающих что-то важное,
вместо большого числа работ, написанных только ради того, что-
бы быть подсчитанными. Воодушевляет, что в США и, конкретно,
в Медицинском институте Говарда Хьюза оценка ограничивается 
статьями за последние  лет, выбранными претендентами. Возмож-
но, это первый шаг в том, что, на мой взгляд, было бы полезной
тенденцией. Но как следует оценивать эти статьи? Только просто
читая их: никакого лучшего пути нет. Этот метод был использован
в прошлом; он не «объективен», но служит попыткой получить то,
что имеет значение; это, я думаю, лучше, чем полагаться на точ-
ное измерение того, что не имеет значения. Исследование должно
быть оценено в отношении строгости, новизны и значимости, ярко-
сти, экономической и эвристической ценности; эти качества может
быть трудно оценить, но мы должны пытаться

[www.mccme.ru]


(tu): gogasy

Перейти: <>
Опции: ОтветитьЦитировать

Тема Написано Дата
Потерянное при публикации: как измерение вредит науке(tu) rstm 05.02.2018 15:38
безумный дословный перевод РАНец 08.02.2018 16:17
Наукометрический центр Александр 15.04.2021 13:21


Ваше имя: 
Ваш email: 
Тема: 
Smileys
...
(loading smileys)
Незарегистрированный пользователь должен ввести код, чтобы публиковать сообщение. Действителен только последний показанный код.
Введите код:  Картинка
В онлайне
Michael_Sv, VVU, rstm
Гости: 59

This forum powered by Phorum.