Технологические аспекты педагогического исследования

Каждый эксперт создает собственную интуитивную модель анализируемого явления на основе своего понимания причинно-следственных связей, определяющих суть явлений, что и позволяет эксперту формулировать приближенные количественные оценки. При сообщении эксперту новой информации, он творчески ее перерабатывает и совершенствует свою модель анализируемого явления, тем самым повышая достоверность оцен

ок.

Организаторы экспертного опроса должны обеспечить условия для формирования и совершенствования экспертами моделей анализируемого явления. Анкеты первого тура составляются таким образом, чтобы ориентировать на изучение структуры явления, анализ характеризующих его факторов, формирование аргументов, соответствующих различным суждениям.

В последующих турах внимание специалистов должно быть обращено на условия, обеспечивающие совершенствование моделей. Для этого организаторы сообщают каждому эксперту систематизированные аргументы, полученные в результате обработки данных первого тура экспертизы, и обеспечивают их активное обсуждение. Эксперту необходима вся дополнительно поступающая информация, способствующая более глубокому пониманию анализируемого явления.

Только после того, как проведен полный обмен информацией между всеми членами экспертной группы, возможен переход к получению количественной оценки. Для этого организаторы опроса должны четко сформулировать цель работы и определить совокупность оцениваемых экспертами педагогических фактов или событий, составить вопросы анкеты. Они могут быть разделены на следующие типы.

Вопрос, ответ на который заключается в выборе одного из нескольких точно сформулированных мнений.

Вопрос о поведении эксперта в конкретной ситуации. Ответы фиксируют наличие или отсутствие определенного действия. Например, предполагается некоторая типичная ситуация, отражающая специфику работы на занятиях трудовой подготовки школьников. Экспертам предлагается оценить конкретные действия педагога по стимулированию преобразовательной деятельности школьников («+», «-» соответствуют наличию или отсутствию действия).

Вопрос, требующий оценить численное значение или вероятность какой-либо величины.

Вопрос, цель которого замаскирована относительно измеряемого фактора. Измерение заключается в системе оценок, формируемых организаторами опроса в зависимости от ответов экспертов. В этом случае, например, экспертам задается серия вопросов, касающихся некоторой педагогической проблемы, для оценки, например, креативности мышления новых или начинающих экспертов.

Требования к составу экспертной группы.

1. Индивидуальные требования к эксперту определяют его компетентность в исследуемой области и эрудицию в смежных областях, творческий характер деятельности, наличие положительного отношения к эксперименту.

В соответствии с этим эксперт должен обладать фундаментальными научными знаниями, позволяющими на основе полученной информации создавать собственную модель анализируемого явления. Он должен быть способным творчески перерабатывать предоставленную ему информацию и синтезировать нетривиальные выводы. Эксперту необходимо обладать способностью противостоять предубеждениям и массовым мнениям, но доверять групповым экспертным оценкам.

Один из способов отбора экспертов заключается в составлении специальных вопросов, отвечая на которые кандидат в эксперты должен показать свои возможности. Ответ на каждый из поставленных вопросов дается в короткое время (порядка 10 мин.). Кроме того, специалист дает «самооценку» своих знаний в области заданного вопpoca, выражаемую, например, в виде числа. Подобные анкеты позволяют судить как о действительных знаниях эксперта, так и о способности критически оценивать собственные возможности. При помощи подобного рода анкет не только производится отбор экспертов, но и оценивается их компетентность, учитываемая при ведении экспертизы.

2. Эксперты должны быть особо компетентными в данной области психолого-педагогических наук: процесс трудовой и технологической подготовки школьников. Чрезвычайно узкая специализация может привести к односторонности суждений. Поэтому в экспертной группе необходимы специалисты в смежных областях знания.

При значительном уменьшении числа экспертов возрастает влияние оценки отдельного эксперта на коллективную оценку группы. Вместе с тем значительное увеличение числа экспертов приводит к возрастанию разнообразия оценок (в том числе за счет слабо аргументированных суждений малокомпетентных экспертов), усложнению обмена информацией между экспертами и трудностям организационного порядка. Число экспертов по категориям специалистов определяется характером анализируемой проблемы.

Правила работы экспертной группы определяют условия работы каждого эксперта и отношения между экспертной группой и организаторами опроса и сводятся к следующему: к полной информированности каждого эксперта о результатах оценок, сделанных остальными экспертами, и аргументах, обосновывающих эти оценки; к независимости каждого эксперта при обсуждении результатов групповой оценки и аргументации собственного суждения; к сохранению анонимности оценок и аргументов каждого эксперта по отношению к остальным членам группы; к периодической корректировке результатов оценок за счет притока информации со стороны внешней среды.

Правила выработки коллективной экспертной оценки зависят от способа измерения предпочтительности оцениваемых факторов или событий.

Исследователями практикуются разные способы работы. Так, С.И. Архангельский предлагает получить коллективную экспертную оценку в таком алгоритме:

- формирование цели экспертизы и вопросов для экспертов;

- формирование правил проведения опроса или характеристики взаимоотношений;

- формирование групп экспертов:

- выбор способа оценки компетентности экспертов;

- формирование правил обработки мнений экспертов;

- проведение опроса и определение групповых оценок;

- определение способа согласованности экспертов.

Технологизация данного этапа исследования предполагает реализацию следующих процедур:

1. Представление организаторами исследования каждому эксперту информации по проблеме в виде сформулированной цели опроса и анкеты, включающей совокупность оцениваемых факторов и событий.

2. Осуществление решения сформулированной для исследования задачи каждым экспертом независимо от других и предоставление результатов организаторам экспертизы.

3. Формирование коллективного суждения экспертной группы организаторами опроса путем статистической обработки анкет для выявления и обобщения аргументов, соответствующих различным суждениям.

4. Организация уточнения мнения экспертов на основе данных, полученных в результате обработки информации по выработке коллективного суждения.

При проведении групповой экспертной оценки трудно учесть влияние, оказываемое на экспертов организаторами опроса. Экспертная оценка (так же как и другие экспертные методы исследования) не является способом выявления общественного мнения, а должна рассматриваться в качестве средства глубокого и всестороннего изучения педагогических проблем, окончательное решение которых всегда остается за самим исследователем. Эффективность экспертных оценок, несомненно, возрастает по мере накопления знаний о закономерностях формирования человеком моделей исследуемых явлений, выяснения условий, способствующих повышению мыслительной активности, проникновения в сами механизмы творчества.