2013 № 4 (9)

Резолюция Международной ассоциации научно-исследовательских институтов в области истории искусств (RIHA)

Измерение качества в истории искусств*

Данная резолюция является итогом дискуссий в рамках Ежегодной Ассамблеи RIHA, состоявшихся в Брюсселе (2010) и Праге (2011). Она была выработана в результате серии семинаров, посвященных этой теме, которые проводились в июне 2011 года в Институте Искусств Стерлинга и Фрэнсис Кларк в Уильямстауне, штат Массачусетс.

Предисловие

Гуманитарные науки имеют свои собственные строгие методы оценки качества научных исследований, существенно отличающиеся от методов, используемых в точных науках (естествознание, технологии, инженерное дело и математика). Как и в любой другой дисциплине, оценка научных исследований в гуманитарных науках должна приносить полезные результаты и основываться на внимании к качеству, строгости и достоверности информации. Однако, в отличие от естественных наук, которые нацелены преимущественно на самые последние открытия и часто имеют встроенный механизм устаревания, гуманитарные науки имеют другие задачи и другие временные критерии. Таким образом, при оценке результативности гуманитарных исследований надо принимать во внимание то, что временные пределы их измеримого влияния, также как и пределы связанного с ними прогнозирования, более широки, и здесь необходимо, по возможности, применять критические методы, специфичные именно для гуманитарных наук.

1. БИБЛИОМЕТРИЯ

В искусствознании и гуманитарных науках использование библиометрии для оценки результатов приобретает все большую популярность в качестве замены рецензированию.

В течение более ста лет библиометрия играла важную роль в повышении качества и результативности естественных наук. В последние годы она поддерживалась национальными и международными организациями как менее затратный, по сравнению с рецензированием, способ оценки качества исследований в сфере искусствознания и гуманитарных наук. Эта тенденция была обусловлена следующими факторами:

- библиометрические индексы коммерциализировались;

- библиотечно-информационные сервисы сегодня поставлены на профессиональную основу, и библиометрия стала использоваться в определении закупочной политики;

- библиометрию стали применять для составления национальных и международных таблиц рейтингов университетов, и институты заинтересованы занять в этих рейтингах высокое место.

Системы, предлагающие оценивать специальные дисциплины посредством сравнительного анализа, кажущегося ценностно-нейтральным, привлекательны для неспециалистов. В результате происходит «существенный переход от хорошо обоснованного скептицизма к некритическому принятию библиометрических цифровых показателей»[1].

1.1. Достоинства библиометрии

Использование библиометрии в оценке результатов исследований в искусствознании и гуманитарных наук не то, чтобы совсем не имеет преимуществ. Библиометрия противодействует субъективной предвзятости и фаворитизму, неизбежным в традиционном процессе рецензирования. Так как библиометрия использует более полный охват данных, она может предложить и более широкую перспективу в контексте данной дисциплины, чем ограниченные и выборочные знания отдельно взятого рецензента. С более практической точки зрения, источники, подобные Google books, могут предоставить информацию о публикациях, которые не привлекли внимания рецензентов в обычных журналах. Таким образом, библиометрия – в качестве составной части более широкого и всеохватного процесса обзора и рецензирования (который больше соответствует задачам оценки качества в гуманитарных науках) – вполне может иметь смысл в определенных учреждениях и определенных контекстах.

1.2. Неприменимость библиометрии в сфере искусствознания и гуманитарных наук

Убедительные аргументы в пользу библиометрии и подобных ей количественных измерений как единственного механизма оценки исследований могут быть приведены только в отношении тех областей естественных наук и медицины, в которых все основные результаты исследований опубликованы в признанных журналах международного уровня и на одном и том же языке. Применение данных методов к исследованиям в гуманитарных науках глубоко проблематично и имеет весьма незначительную ценность. Как заметил один высокопоставленный сотрудник Фонда «Фольксваген», «следует признать, что нам просто не хватает достоверных данных и соответствующей методологии, чтобы принимать решения о финансировании в сфере гуманитарных наук, основываясь на библиометрическом анализе»[2].

Этому есть много причин.

Библиометрические данные, как и данные о цитировании, в основном составляются на основе журнальных статей, которые являются главным средством распространения результатов новых исследований в естественнонаучной, технической и медицинской сферах. В гуманитарных науках, напротив, журнальная статья не является столь же значительным средством. Золотым стандартом здесь по-прежнему остается монография как наивысшее научное достижение, имеющее значительно большее влияние.

В 2008 году в Программе оценки научных исследований, проводимой в Великобритании, книги и главы из книг составили 1.2% от всех предоставленных материалов в области естественных наук и инженерного дела, но 47.6% от представленных материалов в области искусства и гуманитарных наук. И наоборот, журнальные статьи составили 93.8% и 95.4% от представленных данных соответственно в естественных науках и инженерном деле, но только 32.1% в искусствознании и гуманитарных науках[3].

По этой причине библиометрический анализ не учитывает большинство значимых публикаций в гуманитарных дисциплинах; таким образом оценка исследований в этой сфере на основе данного метода будет в корне неверна. По результатам статистических данных программы Системы повышения стандартов исследований (Research Excellence Framework, REF) 2008 года в отчете правительства Великобритании пришли к следующему выводу: «в обществоведении, гуманитарных науках и искусствознании типичный объем [журнальных статей] настолько мал, что библиометрический анализ может дать лишь незначительные ориентиры в исследовательской деятельности, поэтому он является всего лишь одним из возможных и притом весьма неполных показателей ее результативности»[4].

Эта системная неспособность библиометрического анализа и индексов цитирования служить основой для оценки качества исследований в искусствознании и гуманитарных науках еще более усугубляется особыми техническими проблемами. Первая из них касается баз данных:

• Ни один из списков периодических изданий не обеспечивает адекватного охвата всего, что издается в гуманитарной области. Последние исследования показывают, что, например, из 5,197 журналов, входящих в список ERIH, только 3,942 одновременно включены и в Ulrich’s[5].

• Существующие списки (AHCI, Ulrich’s, ERIH, ERA, HCA и т. п.) не дают полного охвата научных исследований, результаты которых были опубликованы на иных языках, кроме английского[6].

• Результаты исследований, доступные библиометрическому анализу, ограничены пределами академической науки и не включают в себя результаты научной работы, предназначенной для более широкого общественного использования – например, музейные публикации высокого научного уровня.

Вторая серьезная проблема – лингвистическая:

• Английский монолингвизм, на который преимущественно ориентирован библиометрический анализ, совершенно неуместен в сфере искусствознания и гуманитарных наук, где большую роль играют языковые особенности и различия. Результаты исследований обычно публикуются на языке исследователя или на языке той культуры, к которой относится исследуемая тема. Ни в том, ни в другом случае язык не является нейтральным средством передачи информации. В электронном репозитории совместного пользования Hathi Trust английские названия в разделе гуманитарных наук исследовательских библиотек составляют всего лишь 48%[7].

Третья группа проблем относится к социальной сфере:

• В библиометрии заключен инструмент дискриминации, так как ученые старшего возраста вероятнее всего будут иметь наивысшие показатели цитирования.

• Как правило, существует известный временной промежуток до момента, когда публикация в сфере гуманитарных наук начинает цитироваться: знания в этой области не устаревают так же быстро, как в естественных и точных науках. Иногда требуется довольно много лет, чтобы данная информация получила признание и распространение. Передовые ученые могут иногда годами ждать, пока вся отрасль в целом начнет признавать те концептуальные сдвиги, которые они привнесли.

• Исследователям, находящимся в начале своей карьеры или же связанным семейными обязательствами, может понадобиться больше времени для того, чтобы попасть на радары цитирования, что лишний раз подтверждает иные временные измерения для работ в гуманитарной сфере.

1.3. Библиометрия и история искусств

История искусств как отрасль гуманитарных наук имеет свои особенности, которые должны учитываться в любом эффективном процессе оценки:

• Библиометрия является особенно дискриминационной для истории искусств, так как в интернете появляется менее 10% всех публикаций, в основном из-за проблем с авторскими правами и разрешениями на воспроизведение.

• История искусств по природе своей является междисциплинарной и постоянно развивающейся наукой, однако новые отрасли, инновационные подходы и междисциплинарные исследования, которые не поддаются категоризации в качестве поля в базе данных, исключаются из библиометрического анализа.

• В дополнение к монографиям, журнальным статьям, сборникам, переводам, комментариям, словарям, материалам конференций, публикациям источников существуют носители научной информации, присущие исключительно истории искусств: сюда входят каталоги выставок, каталоги коллекций, аннотированные каталоги с комментариями, видео, кураторская деятельность, онлайн-выставки, и т. п., которые не регистрируются в базах данных, основанных на журнальных публикациях.

2. РЕЦЕНЗИРОВАНИЕ

Невозможность полагаться исключительно или в основном на библиометрию, как это было обосновано выше, приводит нас к поддержке рецензирования как наиболее эффективного средства оценки качества и результативности работы в истории искусств. Критический взгляд на рецензирование раскрывает его возможности и ограничения в качестве основного средства оценки. Ниже мы рассматриваем аспекты рецензирования в том виде, в котором оно существует сейчас, и предлагаем принципы и стандарты для его практического улучшения.

2.1. Негативные аспекты рецензирования

Рецензирование не является совершенной системой оценки; оно основано на человеческой деятельности и потому не может считаться безошибочным. Как было отмечено в Британском парламентском отчете 2011 года, в рецензировании есть следующие очевидные риски:

• Личный и учрежденческий фаворитизм.

• Гендерные предубеждения.

• Неосознанное предубеждение против людей с экзотическими или иностранными именами.

• Тенденция к препятствованию нововведениям и сохранению существующего положения вещей[8].

2.2. Позитивные аспекты рецензирования

Несмотря на указанные выше недостатки, обоснованная рецензия является наиболее эффективным, беспристрастным и этичным методом оценки качества научной работы в гуманитарных науках. В полноценном процессе рецензирования суждения о качестве работы должны быть подкреплены ссылками на конкретные свидетельства и основаны на четко определенных стандартах. Рецензент рассматривает комплексное содержание работы, опираясь на знания в данной области и с отсылками к более широкому полю для обсуждения. Именно через коллективный диалог можно наиболее точно оценить научное качество и результативность в гуманитарной сфере.

2.3. Принципы высококачественного рецензирования

Условия, на которых происходит рецензирование, должны быть ясны с самого начала и исследователю, и рецензенту, причем обе стороны должны выразить свое формальное согласие с этими условиями. Использование открытого рецензирования, одностороннего рецензирования «вслепую» (при котором имя заявителя не обозначается) или двойного рецензирования «вслепую» (при котором не обозначаются имена ни заявителя, ни рецензента) должно быть внятно оговорено с самого начала.

Традиционно рецензирование следует рассматривать как работу на благо отрасли: есть надежда, что активные исследователи будут также выступать в роли активных рецензентов.

«Бремя» рецензирования не следует возлагать исключительно на более опытных представителей отрасли, необходимо распределить его максимально широко.

Состав коллегии рецензентов должен непосредственно гарантировать разнообразие, соответствующее рецензируемой работе.

В области истории искусств для обеспечения необходимого разнообразия профессиональных качеств рецензентов, в него могут включаться эксперты, приглашенные из:

- широкого круга университетов и колледжей, отличающихся численностью сотрудников, местоположением и компетентностью на локальном, национальном и международном уровнях;

- музеев с различным штатом и разнообразными коллекциями;

- исследовательских организаций;

- правительственных и независимых художественных организаций;

- независимых ученых.

Эксперты должны находиться на разных стадиях их карьеры, но иметь, как правило, докторскую степень или сравнимую с ней степень отличия в искусстве и/или науке, и покрывать не только более традиционные области истории искусств, но и такие как:

• Визуальная культура

• Материальная культура

• Гендерные исследования

• Фотография и оптическое воспроизведение

• Видео

• Междисциплинарные исследования.

2.4. Выбор рецензентов

Честность и успех рецензирования полностью зависит от выбора и привлечения рецензентов соответствующей квалификации. Для этого существует несколько механизмов, которые включают в себя:

• Выдвижение организаций и отдельных ученых соответствующей квалификации: это стандартная процедура, которая гарантирует высокий уровень экспертной оценки, однако здесь есть возможность консервативного уклона взглядов и суждений.

• Самовыдвижение: приглашение к рецензированию, размещенное на вебсайте или в дискуссионной группе; это обеспечивает широту распространения запроса и убеждает научную общественность в открытости процесса. Этот способ, однако, не всегда обеспечивает наиболее желательных рецензентов.

• Имея в виду повторяющиеся конкурсы грантов, научных стипендий и тому подобного: бывшие грантополучатели могут быть приглашены или даже обязаны участвовать в рецензировании в течение определенного периода.

• Реестр потенциальных рецензентов с возможностью поиска, находящийся в ведении таких организаций как CAA, RIHA и национальных ассоциаций по истории искусств, в обязанности которых входит обеспечение качества и прозрачности процесса в данной области: расстановка тегов помогает определить профессиональную специализацию рецензентов, их знание языков и т.д.

2.5. Стандарты качественного рецензирования

• Рецензенты должны придерживаться нормативных правил, разработанных для подробно мотивированной оценки.

• Рецензенты должны аргументировать свои суждения, обосновывая их с помощью доказательств.

• Рецензенты должны предоставить свои рецензии в заранее оговоренные сроки.

• Рецензенты должны соблюдать привила относительно минимального и максимального объема рецензии.

• Рецензенты должны быть готовы в нужный момент поделиться своими суждениями с другими рецензентами.

2.6. Этика

• Рецензенты должны заявить об имеющемся конфликте интересов: личные отношения, рецензируемый является научным руководителем/консультантом, они работают в одном и том же учреждении, они сотрудничают.

• Конфиденциальность и интеллектуальная собственность заявителя должны быть защищены: рецензент должен подписать соглашение о неразглашении сведений о личности и рецензируемых материалах.

• Рецензент не может использовать никакую часть рецензируемого материала в своей собственной работе.

• Рецензия может быть использована исключительно для цели, указанной в письменной форме.

• Рецензия и вообще всякий отклик должны носить вежливый характер.

2.7. Оценка рецензии

Последующая оценка рецензии и ее результативности весьма желательна, и может проводиться на межорганизационной основе. При этом журнал, субсидирующая организация, государственное учреждение или другие подобные институции предоставляют рецензию для организации того же уровня в целях перекрестного анализа. Потенциально, RIHA может служить координационным центром подобных инициатив.

3. РЕКОМЕНДАЦИИ

• Главный принцип заключается в том, что качество работы должно превалировать над количеством. Избыточное количество посредственных научных работ не служит ничьим интересам.

• Библиометрию и числовые измерения, подходящие для количественных исследований, не следует использовать для оценки научной деятельности в гуманитарной сфере.

• Существует, однако, некоторая ограниченная область, в которой информация о цитировании может быть использована для экспертной оценки в определенных областях, таких как история искусств в технологической сфере.

• Для того чтобы гарантировать справедливые и равные для всех результаты оценки, необходимо использовать разнообразные методы, отражающие особенности оцениваемого материала в развитии.

• Стандарты качества должны быть определены и сформулированы учеными, активно работающими в данной отрасли, и донесены до соответствующей оценивающей инстанции.

• Необходимо прояснение процесса рецензирования для рецензента и для совета, заказавшего рецензию, через систему правил, обеспечивающих последовательность, прозрачность и тщательность оценки. В шаблоне рецензии должны учитываться местные условия и переменные факторы, свойственные данной отрасли науки. Дополнительное преимущество от предоставления рецензентам шаблонов рецензий будет заключаться в оптимизации и облегчении процесса рецензирования. При более оптимальном процессе пул потенциальных рецензентов будет увеличиваться.

• Коллегии рецензентов должны быть разнообразными по составу и включать специалистов как узкого, так и широкого профиля.

• Необходимо создать международный реестр рецензентов, с обозначением их специализации.

• Рецензенты должны получать отклик на написанные ими рецензии от организации-заказчика, особенно если в процессе участвуют несколько рецензентов.

• По завершении рецензирования рецензент должен отдать себе отчет в собственных предпосылках и предложить способы улучшения качества и точности оцениваемого проекта.

4. ЗАКЛЮЧЕНИЕ

Из сказанного выше ясно, что библиометрия, индексы цитирования и подобные им методы измерения результативности не могут служить показателями качества научной работы в гуманитарной сфере. Следовательно, совершенно необходима совместная работа всех, кто занят научной и административной работой в области истории искусств и визуальной культуры в самом широком их понимании для того, чтобы выработать и применить надежные и независимые модели оценки, которые были бы четко сформулированными, справедливыми и поддающимися адаптации. Они должны быть основаны на рецензировании, способны к адаптации и изменению применительно к индивидуальным условиям.

Постановили: RIHA поддерживает важность рецензирования в оценке качества в гуманитарных науках, отвергает опору исключительно на индексы цитирования и подобные методы измерения результативности, и утверждает рекомендации, указанные в данном документе.

Резолюция принята единогласно Ежегодной Ассамблеей RIHA в Праге, 11-12 ноября 2011 года, директорами и представителями следующих институтов, входящих в состав RIHA:

Bibliotheca Hertziana — Max-Planck- Institute für Kunstgeschichte, Rome

Центр Перспективных Исследований Визуальных Искусств, Вашингтон, Округ Колумбия (Center for Advanced Study in the Visual Arts, Washington, D. C. )

Институт Искусств Кларка, Уильямстаун, Массачусетс (Clark Art Institute, Williamstown, MA)

Институт Искусств Курто, Лондон (Courtauld Institute of Art, London)

Датская Национальная библиотека по искусству, Копенгаген (Danmarks Kunstbibliotek, Danish National Art Library, Copenhagen)

Немецкий Центр Истории Искусств, Париж Deutsches Forum für Kunstgeschichte (Centre allemand d'histoire de l'art), Paris

Исследовательсткий Институт Гетти, Лос Анжелес (The Getty Research Institute, Los Angeles )

Национальный Институт Истории Искусств, Париж (Institut National d’Histoire de l’Art, Paris )

Institut Royal du Patrimoine Artistique – Koninlijk Instituut voor het Kunstpatrimonium (IRPA-­‐KIK), Bruxelles/Brussel

Институт Истории Искусств Словацкой Академии наук, Братислава (Ústav dejín umenia SAV (Institute of Art History of Slovak Academy of Sciences), Bratislava)

Институт Искусств Польской Академии Наук, Варшава (Instytut Sztuki Polskiej Akademii Nauk (Institute of Art of the Polish Academy of Sciences), Warsaw)

Институт Истории Искусств, Прага (Ústav dějin umění (Institute of Art History), Prague)

Институт Истории Искусств, Загреб (Institut Za Povijest Umjetnosti (Institute of Art History), Zagreb)

Instituto Amatller de Arte Hispánico, Barcelona

Институт Истории Искусств «Георги Опреску», Бухарест (Institutul de Istoria Artei "George Oprescu" ("George Oprescu" Institute for Art History), Bucharest)

Международный культурный Центр, Краков (Międzynarodowe Centrum Kultury (International Cultural Centre), Krakow)

Kommission für Kunstgeschichte an der Österreichischen Akademie der Wissenschaften, Vienna

Институт Макса Планка, Флоренция (Kunsthistorisches Institut in Florenz – Max-Planck-Institut, Florence)

Исследовательский Институт Истории искусств Венгерской Академии Наук, Будапешт (MTA Müvészettörténeti Kutatóintézet (Research Institute for Art History of the Hungarian Academy of Sciences), Budapest)

Национальный Музей, Стокгольм (Nationalmuseum (The Nationalmuseum of Fine Arts), Stockholm)

Нидерландский Институт Истории Искусств, Гаага (Rijksbureau voor Kunsthistorische Documentatie (RKD, Netherlands Institute for Art History), Den Haag)

Schweizerisches Institut für Kunstwissenschaft (SIK-­‐ISEA), Zurich

Институт Истории Искусств Франца Стеле, Научно-Исследовательский Центр Словенской Академии Наук и Искусств, Любляна (Umetnostnozgodovinski inštitut Franceta Steleta, Znanstvenoraziskovalni Center, Slovenske akademije znanosti in umetnosti (France Stele Institute of Art History, Scientific Research Center of the Slovenian Academy of Sciences and Arts), Ljubljana)

Исследовательский Институт Визуальных Искусств, Эдинбург (Visual Arts Research Institute Edinburgh (VARIE), Edinburgh)

Институт Варбурга, Лондон (The Warburg Institute, London)

Zentralinstitut für Kunstgeschichte, München

Примечание

1. Перевод с английского Н. Е. Федоровой под редакцией Д. В. Трубочкина.

Список литературы

1. Питер Вейнгард. Оценка результативности исследований: опасность цифр.  Bibliometric Analysis in Science and Research (Julich: Forschungszentrum Julich: 2003), с. 8.
2. Саймон Соммнер. Библиометрический анализ и частное финансирование исследований. Там же, с. 220.
3. Совет по финансированию высшего образования в Англии (HEFCE), Отчет о пилотной программе развития библиометрических индексов для Системы повышения стандартов исследований (Research Excellence Framework), сентябрь 2009(http://www.hefce.ac.uk/pubs/hefce/2009/09_39/), с. 160, таблица.
4. Там же, с. 154.
5. Дайана Хикс. Создание библиометрической базы данных для общественных и гуманитарных наук. 2009 (http://works.bepress.com/diana_hicks/18), с. 6.
6. Там же, с. 12-13.
7. Hathi Trust Languages (http://www.hathitrust.org/visualizations_languages), 14.08.11.
8. Комиссия по науке и технологиям Палаты Общин. Рецензирование научных публикаций. Восьмой отчет Сессии 2010-2012 (Лондон, Государственная Канцелярия, июль 2011) с. 15-18.