edgeways.ru
|
Кулуары
Серьезно о несерьезном и несерьезно о серьезном. Место для культурного отдыха.
|
Потерянное при публикации: как измерение вредит науке Пользователь: rstm (IP-адрес скрыт) Дата: 05, February, 2018 15:38 Независимо от того, какие измерения разработаны, чтобы оце-
нивать людей, независимо от того, насколько они неадекватны, в человеческой природе заложено стремление приспособиться к ним и получить как можно большую оценку. Поэтому не должно удивлять, что попытки количественно определить качество науч- ных публикаций привели ко многим поведенческим и политиче- ским изменениям в мире науке. Для исследователей в науке всегда было крайне важным опуб- ликовать свою работу. Всегда имелись три цели: во-первых, рас- пространить новую информацию, чтобы другие могли усвоить ее; во-вторых, чтобы другие ученые могли повторить исследования или основываться на них, используя дополнительные наблюдения или эксперименты; и лишь в-третьих, чтобы поддержка ученого, финан- совая или иная, могла быть оправдана в глазах заинтересованных сторон. Эта третья причина была вспомогательной, но более это не так; опубликование стало главной целью, потому что это –– путь выживания ученого [Lawrence ]. Эта кардинальная смена при- оритетов нанесла вред научной практике, трансформировала моти- вацию исследователей, изменила способ представления результатов и уменьшила точность и доступность научной литературы. Позвольте мне объяснять: если вы публикуетесь, чтобы получить талон на питание, вам следует это делать, когда вы голодны, а не тогда, когда работа завершена, окончательно прояснена и достойна публикации. Это объясняет, например, почему многие диссер- тации на степень PhD издаются в неудовлетворительном виде до конца обучения по программе PhD: если студент должен остаться в науке после получения степени, он будет нуждаться в гранте, а большинство заявок на грант требует публикаций. Эти публикации требуют времени на подготовку и на принятие к опубликованию в журнале, и это время должно быть добавлено к задержке между начальной подачей заявки на грант и моментом поступления де- нег –– а это означает, что многие студенты должны начать готовить бумаги так рано, когда они еще едва знают, чем они занимают- ся! Постдоки должны публиковать, чтобы получить работу, и более старшие ученые должны постоянно добавлять к своему списку пуб- ликаций новые наименования, чтобы возобновлять гранты или по- лучить постоянную работу. Снова и снова работы представляются в журналы преждевременно, а проекты либо срочно слепляются друг с другом, либо специально конструируются, чтобы «сделать статьи» до истечения сроков. Умелые карьерные ученые учатся правильно упаковывать свои работы, чтобы они могли быть поданы сначала в журналы, а затем в утробы грантовских агентств. Далее, имеется вопрос, в какой журнал послать работу. Так как ученые теперь оцениваются не столько по их силе, интересам или качеству самой работы, сколько по импакт-факторам журналов [Steel at al. ], многие, если не большинство ученых, тратят слишком много время и усилий на обдумывание и хлопоты по по- воду стратегии опубликования. Что следует делать, если статья от- клонена первоначально выбранным журналом? Стоит ли произве- сти еще один заход в надежде на изменение решения редакции или было бы более благоразумным немедленно попробовать другой журнал? Если другой журнал, то следует ли снова посылать ста- тью неизменной или же попытаться облачить результаты в иной маскарадный костюм? Возможно, в статью стоит добавить другие находки, чтобы она выглядела более современной и пробуждала к себе интерес. Возможно, статья нуждается в связи с чем-то недавно изданным и модным, «крюке», как это называют журналисты, или же в увязывании с идущими сейчас спорами: ученые выучили, что редакторы должны поддержать импакт-фактор своих журналов, а споры могут привести к цитированию. Есть столько уловок, кото- рые можно попробовать, но все они отнимают время, и если они терпят неудачу, как это часто происходит, то месяцы оказываются потраченными впустую и приоритет может быть потерян. Эти уловки нацелены прежде всего на редакторов, поскольку именно они будут решать, должна ли работа быть отрецензирова- на. Однако, когда этот барьер преодолен, следующем препятстви- ем является процесс рецензирования, а рецензенты представля- ют различные опасности для квалифицированного автора статей. Здесь нужно действовать очень тщательно. Нужно позаботиться о том, чтобы процитировать всех «лидеров» области. Также может быть безопаснее преуменьшить любые результаты, не соответству- ющие восприятию вероятных рецензентов, и неблагоразумно от- крыто противопоставлять расходящиеся результаты. В настоящее время нормальная стратегия должна состоять в игнорировании или скрытии конфликтов. Их открытое рассмотрение может быть опас- ным, так как, возможно, какой-то из рецензентов может быть раз- дражен, ибо он участвовал в получении этих результатов (или он даже может быть ответственен за них). Это особенно относится к журналам с высоким импакт-фактором, поскольку редакторы этих журналов постоянно настаивают, чтобы статью похвалил «с энту- зиазмом» каждый из рецензентов, вследствие чего одна двусмыс- ленная рецензия может погубить статью. Однако у всех этих уло- вок есть своя обратная сторона, поскольку они обычно уменьша- ют объективность и ясность аргументов. Политика обессиливает науку. По моему мнению, растущее использование h-индекса [Hirsch ] –– который, будучи основанным на числах цитирований, пы- тается дать количественное выражение сразу и производительно- сти, и влиятельности ученого –– приведет к зависимости от цитиро- вания и к одержимости им. Я предсказываю что «вылавливание ци- тирований» (citation-fishing) и «цитатный обмен» (citation-bartering) станут обычной практикой [Lawrence ]. Отмечу, что большин- ство журналов теперь устанавливает предел для числа ссылок –– либо напрямую, либо ограничивая число слов в статьях, включая ссылки. Авторы таким образом поощряются делать неадекватные или несоответствующие цитирования. Например, ссылка на един- ственный обзор вместо нескольких оригинальных статей, сообщаю- щих об открытии, требует меньшего количества слов, и, поскольку обычно имеется нескольких различных соответствующих обзоров, выбор того, какой именно процитировать, легко может иметь ско- рее политический, чем научный характер. Сколь неадекватны ни бывают цитирования, ученые будут оценивать по ним собственную работу, и это приводит к сомнительной практике. Например, ка- кие-то ученые будут утверждать свое превосходство над другими, если они имеют больше цитирований, и это будет одобрено счето- водами повсюду. Как следствие, тот, кто работает в небольших обла- стях (где имеется склонность к меньшему цитированию), окажется в невыгодном положении. Дэвид Колкухун изучал ситуацию в Империал Колледже, Лондон. Он проанализировал последствия охвата научной жизни такими из- мерениями (www.dcscience.net). В этом несомненно дремучем кол- ледже ожидается, что каждый ученый выдаст ежегодно по крайней мере статьи, из которых по крайней мере одна должна быть в журнале с импакт-фактором выше . Колкухун убедительно дока- зывает, что эти требования не имеют никакого смысла, указывая, например, что если бы современные измерения были применены в прошлом, то некоторые из самых лучших ученых, включая Нобе- левских лауреатов, время от времени терпели бы карьерную неу- дачу. Имеются и другие последствия использования численных изме- рений: поскольку такое использование поощряет агрессивное, стя- жательское и эксплуататорское поведение [Lawrence , Lawrence , Montgomerie––Birkhead ], оно отберет среди ученых тех, кто обладает этими качествами. Я обосновал в другом месте, поче- му творческому открытию не помогают измерения, которые отби- рают жестких борцов и направлены против более склонных к раз- мышлениям скромных людей [Lawrence ]. Например, Эд Лью- ис, получивший нобелевскую премию г. по физиологии или медицине и бывший в течение своей жизни преданным и скром- ным ученым, а также редким и нерегулярным автором статей, имел очень низкий h-индекс и не смог бы выиграть гранты в сегодняш- нем мире. Кроме того, в среднем, женщины менее агрессивны, чем мужчины [Baron-Cohen , Babcock––Laschever , Lawrence , Symonds et al. ] и, таким образом, хотя эти измерения дис- криминируют более деликатных ученых обоих полов, женщин это касается в большей мере. Статистические данные не оставляют со- мнений, что женщины наиболее часто выпадают из биологической науки [ETAN ], а многие из них очень талантливы. Наиболее часто озвучиваемые причины таковы: ( «Я не хочу тратить остав- шуюся часть моей жизни на конкуренцию и хвастовство», ( «Я не хочу получать приз в борьбе за получение гранта», и ( «Современ- ная наука превратилась в борьбу за выживание, а я предпочитаю делать что-нибудь другое». Что следует сделать, чтобы улучшить положение вещей? По мое- му мнению, грантовые агентства должны использовать другие спо- собы оценки качества работы и объявить об этом. Тогда те, кого они поддерживают, могли бы тратить меньше времени на интриги по опубликованию своих статей в журналах тщеславия и больше вре- мени на исследование и решение научных проблем [Keller ]. По моему ограниченному опыту, заявки на грант не описывают того, что вы фактически делаете, а являются в действительности тестом на изобретательность и осведомленность, в котором честность име- ет малую цену; они сводятся к попытке продемонстрировать, что вы знаете что делаете, можете предугадать результаты экспериментов и оценить, что опасно раскрывать. Вам требуется проницательность в понимании того, что могло бы впечатлить оценивающие комис- сии. Я не уверен, сколь хорошо этот нелепый процесс служит време- ни или науке. Чтобы уменьшить давление на ученых, которые про- водят так много времени, придумывая заявки на грант, и сократить количество нудных текстов, подлежащих оценке и сравнению, я предлагаю использовать альтернативное средство заявки на грант, которое бы целиком основывалось на качестве работы последних 5 лет, как это имеет место в Канаде (CNSRC). Все, что претенденты, которые использовали бы этот метод, должны были бы сделать, –– это перечислить, скажем, 3 статьи из тех, что они считают своими лучшими работами за последние 5 лет, и кратко описать тех, кто бы- ло ответственен за эти работы. Преимущество оценки лишь неболь- шого количества работ имеет, помимо очевидного аспекта –– умень- шения объема чтения, еще и тот, что авторы поощрялись бы писать малое число работ, означающих или сообщающих что-то важное, вместо большого числа работ, написанных только ради того, что- бы быть подсчитанными. Воодушевляет, что в США и, конкретно, в Медицинском институте Говарда Хьюза оценка ограничивается статьями за последние лет, выбранными претендентами. Возмож- но, это первый шаг в том, что, на мой взгляд, было бы полезной тенденцией. Но как следует оценивать эти статьи? Только просто читая их: никакого лучшего пути нет. Этот метод был использован в прошлом; он не «объективен», но служит попыткой получить то, что имеет значение; это, я думаю, лучше, чем полагаться на точ- ное измерение того, что не имеет значения. Исследование должно быть оценено в отношении строгости, новизны и значимости, ярко- сти, экономической и эвристической ценности; эти качества может быть трудно оценить, но мы должны пытаться [www.mccme.ru] : gogasy |
Тема | Написано | Дата |
---|---|---|
Потерянное при публикации: как измерение вредит науке | rstm | 05.02.2018 15:38 |
безумный дословный перевод | РАНец | 08.02.2018 16:17 |
Наукометрический центр | Александр | 15.04.2021 13:21 |