Упражнение по оценке исследований - Research Assessment Exercise

В Упражнение по оценке исследований (RAE) проводилась примерно каждые пять лет от имени четырех британских высшее образование советы по финансированию (HEFCE, SHEFC, HEFCW, ДЕЛНИ ) для оценки качества исследований, проводимых британскими высшими учебными заведениями. Представления RAE по каждой предметной области (или единица оценки) присваивается рейтинг экспертной комиссией предметных специалистов. Рейтинги используются для информирования о распределении финансирования исследований, взвешенных по качеству (QR), которое каждое высшее учебное заведение получает от своего национального совета по финансированию. Предыдущие РАЭ проводились в 1986, 1989, 1992, 1996 и 2001 годах. Самые последние результаты были опубликованы в декабре 2008 года.[1] Его заменил Рамки передового опыта в исследованиях в 2014.

Различные средства массовой информации подготовили рейтинговые таблицы учебных заведений и дисциплин на основе результатов RAE 2008 года. Различные методологии приводят к одинаковым, но не идентичным рейтингам.

История

Первое упражнение по оценке исследований в области высшего образования в Великобритании было проведено в 1986 г. Маргарет Тэтчер Правительство. Его провел Комитет по грантам университета под председательством кембриджского математика Питер Суиннертон-Дайер. Целью исследования было определить распределение финансирования университетам Великобритании в условиях жестких бюджетных ограничений. Комитет получил отчеты об исследованиях по 37 предметным областям («центрам затрат») в университетах, а также пять выбранных результатов исследований. Он присваивал рейтинги качества, помеченные как «выдающееся», «выше среднего», «среднее» или «ниже среднего». Финансирование исследований, выделяемое университетам (так называемое «финансирование, связанное с качеством»), зависело от рейтингов качества предметных областей. По словам Суиннертон-Дайера, цель заключалась в том, чтобы установить определенную степень прозрачности распределения финансирования во время сокращения бюджетов.[2]

Последующая исследовательская оценка была проведена в 1989 г. под названием "упражнение по избирательности исследования" Совет по финансированию университетов. Отвечая на жалобу университетов на то, что им не разрешили представить свои «в полном объеме», Суиннертон-Дайер разрешила представить два результата исследований на каждого сотрудника. Оценка также была расширена до 152 предметных областей («единиц оценки»). По словам Роджера Брауна и Хелен Карассо, только около 40% средств, связанных с исследованиями, было выделено на основе оценки представленных материалов. Остальное было распределено на основе количества сотрудников и студентов, а также доходов от исследовательских грантов.[2]

В 1992 г. различие между университетами и политехническими вузами было отменен. Совет по финансированию университетов был заменен региональными советами по финансированию, такими как HEFCE. Бехрам Бехрадня, политический директор HEFCE, пришел к выводу, что оценка исследования должна стать «намного более надежной и точной». Это привело к учреждению в 1992 году исследовательской оценки. Результаты 1992 года, тем не менее, были оспорены в суде Институтом стоматологической хирургии, и судья предупредил, что система должна стать более прозрачной. Группы оценки в последующих упражнениях должны были гораздо более четко описывать критерии оценки и методы работы. В 1996 году вся оценка на основе объема была удалена из-за критики, согласно которой вознаграждался объем, а не качество.[2]

В 1992 г. также было предусмотрено, что сотрудники, представленные для аттестации, должны быть на должности к определенной дате («дате переписи»), чтобы противостоять критике, что переведенные сотрудники все еще учитывались при аттестации. Это привело к явлению «переманивания» высококвалифицированных кадров другими университетами в преддверии переписи. В эксперименте 2001 г. кредит на персонал, который переводил учреждения в середине цикла, можно было разделить между двумя учреждениями. На учениях 2008 года это было отменено.[2]

Оценка 2008 года также внесла серьезные изменения. Вместо единой оценки за всю предметную область («единица оценки») каждому результату исследования присваивалась оценка. Это было сделано для того, чтобы противостоять критике, что большие отделы могли скрывать «очень длинный хвост» меньшей работы и при этом получать высокие оценки, и, наоборот, отличные сотрудники в низко оцененных отделах не могли получить адекватное финансирование. Таким образом, единые оценки для единиц оценивания были заменены «профилями качества», которые указывали соотношение исследований каждого отдела по каждой категории качества.[2]

Шкала

2008

RAE 2008 использовала четырехбалльную шкалу качества и выдавала профиль, а не единый совокупный показатель качества для каждой единицы. Уровни качества, основанные на оценке результатов исследования, исследовательской среды и показателей уважения, определяются как:

РейтингОписание
4*Лучшее в мире качество по оригинальности, значимости и строгости
3*Превосходное на международном уровне качество с точки зрения оригинальности, значимости и строгости, но которое, тем не менее, не соответствует самым высоким стандартам качества.
2*Признанное на международном уровне качество благодаря оригинальности, значимости и строгости
1*Признанное на национальном уровне качество с точки зрения оригинальности, значимости и строгости
НеклассифицированныйКачество ниже признанных на национальном уровне стандартов. Или работа, которая не соответствует опубликованному определению исследования для целей данной оценки.

Каждой единице оценки была присвоена профиль качества - гистограмма с пятью столбцами, показывающая долю исследований, которые соответствуют каждому из четырех уровней качества или являются неклассифицированными.

Предыдущие оценки

В 1992, 1996 и 2001 годах для каждого рейтинга использовались следующие описания.

Рейтинг в 2001 и 1996 годах1992 РейтингОписание
5*5*Качество исследований, которое приравнивается к достижимым уровням международного мастерства в более чем половине представленных исследований и достижимым уровням национального мастерства в остальных.
55Качество исследований, которое приравнивается к достижимым уровням передового опыта на международном уровне в половине представленных исследовательских работ и к достижимым уровням передового опыта на национальном уровне практически во всех остальных. (То же определение)
44Качество исследований, которое приравнивается к достижимым уровням национального превосходства практически во всей представленной исследовательской деятельности, демонстрируя некоторые свидетельства международного превосходства. (То же определение)
3а3Качество исследований, которое соответствует достижимому уровню национального мастерства в более чем двух третях представленных исследовательских работ, что, возможно, свидетельствует о международном превосходстве. (Качество исследований, которое приравнивается к достижимому уровню национального мастерства в большинстве подобластей деятельности или к международному уровню в некоторых)
3b3Качество исследований, которое соответствует достижимому уровню национального мастерства в более чем половине представленных исследований. (Качество исследований, которое приравнивается к достижимому уровню национального мастерства в большинстве подобластей деятельности или к международному уровню в некоторых)
22Качество исследований, приравниваемое к достижимому уровню национального мастерства в половине представленных исследовательских работ. (То же определение)
11Качество исследований, приравниваемое к достижимым уровням национального превосходства ни в одном или практически ни в одном из представленных исследований. (То же определение)

Эти рейтинги были применены к «единицам оценки», таким как французский язык или химия, которые часто в широком смысле приравниваются к университетским факультетам. Были созданы различные неофициальные рейтинговые таблицы исследовательского потенциала университетов путем агрегирования результатов единиц оценки.[нужна цитата ] Составление рейтинговых таблиц университетов на основе RAE проблематично, поскольку объем и качество являются важными факторами.

Процесс оценки

Процесс оценки RAE фокусируется на качестве результатов исследований (что обычно означает статьи, опубликованные в научных журналах и материалах конференций), исследовательской среде и показателях уважения. Каждая тематическая панель определяет точные правила в общих рекомендациях. Для RAE 2008 учреждениям предлагается представить четыре результатов исследования, опубликованных в период с января 2001 г. по декабрь 2007 г., для каждого штатного сотрудника, выбранного для включения.[3]

В ответ на критику предыдущих оценок и изменений в трудовом законодательстве, RAE 2008 больше учитывает работников, занятых неполный рабочий день, или тех, кто только что получил достаточный трудовой стаж для включения в процесс.

Критика

RAE не обошлось без критиков. В различных его версиях мнения исследователей, менеджеров и политиков разделились.[4] Среди критических замечаний стоит отметить тот факт, что он явно игнорирует публикации большинства исследователей, работающих полный рабочий день в Великобритании, на том основании, что они работают по срочным контрактам. Согласно руководящим принципам RAE 2008, большинство ассистентов-исследователей «не имеют права указываться в качестве активного научного персонала».[5] Публикации исследователей по контрактам с фиксированным сроком исключаются из оценочного задания, если только эти публикации не могут быть зачислены на счет сотрудника, имеющего право на участие в RAE. Это применимо, даже если оцениваемый сотрудник внес лишь незначительный вклад в статью.[6] Верно и обратное явление, когда не занимающиеся исследованиями активные сотрудники, работающие по постоянным контрактам, такие как преподаватели, которые в основном отвечали за преподавательскую деятельность, также оказались под более глубоким контрактным давлением со стороны своих университетов-нанимателей с целью создания результатов исследований. Другая проблема заключается в том, что сомнительно, чтобы группы экспертов обладали необходимым опытом для оценки качества результатов исследований, поскольку эксперты работают намного хуже, если они выходят за рамки своей конкретной области специализации.[7]

С 1996 г. AUT, теперь включены в УКУ, придерживается политики оппозиции упражнению по оценке исследований.[8] По его мнению,

RAE оказал катастрофическое влияние на систему высшего образования Великобритании, что привело к закрытию отделений с сильным исследовательским профилем и здоровым набором студентов. Он несет ответственность за потерю рабочих мест, дискриминационную практику, повсеместную деморализацию персонала, сужение исследовательских возможностей из-за чрезмерной концентрации финансирования и подрыв отношений между преподаванием и исследованиями.

Официальный Обзор оценки исследований, «Отчет Робертса» за 2003 год, подготовленный по заказу финансирующих организаций Великобритании,[9] рекомендовал внести изменения в оценку исследования, частично в ответ на такую ​​критику.

Специальный комитет Палаты общин по науке и технологиям рассмотрел отчет Робертса и занял более оптимистичное мнение.[10] утверждая, что, «RAE оказал положительное влияние: он стимулировал университеты к управлению своими исследованиями и обеспечил направление средств на области передового опыта исследований», он пришел к выводу, что "в университетах произошло заметное улучшение результатов исследований". Тем не менее он утверждал, что «РАЭ в ее нынешнем виде добились своего», и предложил реформированный RAE, в значительной степени основанный на рекомендациях Робертса.

Планируемые изменения в системе RAE

Было объявлено[11] в 2006 году Бюджет что после учений 2008 года система метрики будут разработаны для информирования о будущих распределениях финансирования КО. Предполагается, что после первоначальных консультаций с сектором высшего образования Советы по финансированию высшего образования введут систему оценивания на основе показателей для предметов в области науки, технологий, инженерии и медицины. Процесс экспертной оценки, вероятно, останется в отношении математики, статистики, искусства, гуманитарных наук и социальных наук.

HEFCE разработала новый набор аранжировок, известный как Рамки передового опыта в исследованиях (REF),[12] который был представлен как продолжение RAE 2008 года.

Рекомендации

  1. ^ «РАЭ 2008». Упражнение по оценке исследований. Получено 20 августа 2013.
  2. ^ а б c d е Пол Джамп, Эволюция REF, Times Higher Education, 17 октября 2013 г.
  3. ^ "Определения". RAE 2008. Получено 20 августа 2013.
  4. ^ Алис, Оанча (2014). «Оценка исследований как технология управления в Соединенном Королевстве: результаты исследования воздействия RAE 2008». Zeitschrift für Erziehungswissenschaft. 17: 83–110.
  5. ^ Рекомендации RAE 2008 Пункт 79
  6. ^ Мэдден, Эндрю (19 декабря 2008 г.). «Исследователи РАЭ забыли». Хранитель. Получено 20 августа 2013.
  7. ^ Корбин, Зоя. «Неспециализированный гамбит RAE мог привести к грубым ошибкам, - говорится в исследовании». Times Higher Education. Получено 20 августа 2013.
  8. ^ «РАЭ 2008». Союз университетов и колледжей. Получено 20 августа 2013.
  9. ^ Обзор оценки исследования В архиве 20 июля 2007 г. Wayback Machine - докладывать Сэр Гарет Робертс в финансовые органы Великобритании, май 2003 г.
  10. ^ «Наука и технологии - Одиннадцатый отчет». Парламент Великобритании. 23 сентября 2004 г.. Получено 5 июля 2014.
  11. ^ Шеперд, Джессика (30 января 2007 г.). «Трудный патч». Хранитель. Получено 20 августа 2013.
  12. ^ «Рамки передового опыта в исследованиях». REF 2014. Получено 20 августа 2013.

дальнейшее чтение

внешняя ссылка