Экспертная оценка

Это - особая разновидность метода опроса, где требования, применяемые в массовых опросах, неприемлемы. В процессе массового опроса источником социологической информации, которая дает оценку тем или иным сторонам объекта исследования, выступают и представители этого же объекта. При экспертном опросе ситуация другая. Эксперты почти никогда не выступают представителями объекта исследования.

В начале, мероприятия и процедуры экспертных оценок разрабатывались главным образом для применения футурологической деятельности (предвидение, прогнозирование), экономического планирования, вопросам управления и науковедения. Методологическая обусловленность применения экспертных оценок в социологии наиболее проявляется при рассмотрении диагностического аспекта экспертизы. Поэтому, как правило, экспертная оценка (опрос) широко используется в разведывательных и пробных исследованиях для получения предварительных данных об объекте, предмете анализа, для уточнения гипотез и задач основного исследования, для разработки прогноза и дополнения и выяснения определенных процессов и явлений . Как правило, исследуют и такие ситуации, связанные с попыткой прогнозировать изменение того или иного социального явления, процесса, с необходимостью представить состояние предмета, представляет интерес, или дать оценку таким сторонам деятельности и характеристикам людей, по которым их самооценка может оказаться ошибочной. Подобная информация может поступать только от компетентных лиц - экспертов, имеющих глубокие знания о предмете или объекте исследования.

Практика применения экспертных методик (как для решения проблем прогнозирования, управления, так и в традиционных сферах социологического исследования) показала, что они в такой же степени и важны и надежны, как и метод массовых опросов с его расширенной методике обеспечения репрезентативности. Экспертные методики содержат ряд експлицийованих (совместных, похожих) понятий: экспертные системы, диагностика, экспертный опрос и оценки, мнения, сценарии. Но в социологии традиционно в экспертизе акцентируется в качестве опроса. Таким образом, экспертный опрос занимает здесь центральное место. В свою очередь оно специфициюеться в двух основных формах экспертной работы: экспертного опроса (со всеми разновидностями - от индивидуального интервью с коллективным генерирования идей и метода Дельфи) и диагностики.

Важный момент при проведении такого рода опроса - отбор экспертов, прежде всего по уровню их компетентности. На первом этапе отбора в качестве критерия целесообразно использовать два признака: род занятий и стаж деятельности по профилю, что нас интересует. При необходимости нужно принимать во внимание также и уровень, характер образования, опыт, возраст. Как всегда, первый список может быть достаточно широким, однако в дальнейшем его целесообразно "сузить", поскольку не каждый человек способен выступить в роли эксперта. Но основным среди всех критериев отбора экспертов является их компетентность. Для ее определения применяются - с той или иной степенью точности - методы самооценки экспертов, оценки результатов прошлой деятельности кандидатов в эксперты и коллективные оценки авторитетности экспертов.

Метод самооценки обусловливает оценку каждым из кандидатов в эксперты собственной компетентности (как правило, по 5-балльной шкале), включая показатели, характеризующие степень его участия в исследуемой проблеме. Используют также разного рода справочники, типа "кто есть кто", списки членов профессиональных групп и т. Д. Это помогает определить, где данный кандидат учился, работал, которыми аспектами профессиональной деятельности он занимался. Критериями отбора специалистов экспертной группы может служить также и количество опубликованных работ и т. Д. Если кандидаты в эксперты знают друг друга, то эффективным может быть метод коллективной оценки каждого из них другими. Хотя некоторые специалисты считают, что коллективные оценки менее точны, чем самооценки, все же анализ различий между ними позволяет осуществить более обусловлен подбор экспертов.

Не менее эффективным оказывается метод "снежного налета": отобранные на первом этапе эксперты называют компетентных специалистов, которые, в свою очередь, включаются в процесс отбора; эти же отобраны эксперты рекомендуют других специалистов. Этот процесс завершается стабилизацией совокупности рекомендуемых экспертов, когда их список перестает пополняться новыми фамилиями. После составления предварительного списка проводится их оценка путем социометрической процедуры, где критерием оценки специалиста частота рекомендаций его другими экспертами.

В экспертную группу должны входить специалисты, способные провести экспертизу с учетом различных сторон исследуемой проблемы. Поэтому экспертной группы желательно привлекать специалистов, которые представят различные научные направления.

В прикладной социологии разработан целый ряд приемов опроса экспертов, которые используются для получения разного рода оценок, в том числе и прогностических. Основной инструментарий экспертных опросов - анкета или бланк-интервью, разработанные по специальной программе. В соответствии с этим процедура опроса заключается либо в анкетировании, или в интервьюирования экспертов. В отличие от массового опроса, программа опроса экспертов не столь детализирована и носит преимущественно концептуальный характер. В ней, прежде всего, однозначно формулируются явления, которые подлежат изучению, и предусматриваются в виде гипотез возможные варианты их последствий.

Продуктивным способом организации групповой экспертной оценки является коллективное обсуждение индивидуальной мысли или выделения из экспертной группы наиболее квалифицированных авторитетных экспертов с целью коррекции оценок. Существенным моментом согласования мнений в процессе группового выбора является селекция наиболее мотивированных выводов. Экспертная оценка - это не просто формулировка, отбор и обработка выводов экспертов. Оно определяется прежде всего работой экспертов по обеспечению аргументации выводов, их мотивации и демонстрации того, почему отдается предпочтение. Выводы (мнение) - это своего рода идейная позиция в системе различных вариантов личной информации, анализ которой способствует выдвижению гипотез и установлению истины.

Простой формой применения экспертного метода (без процедуры опроса) является формирование специальных групп для выработки общего решения с заданной проблемы. Другой формой экспертной оценки является совещание, на котором коллективный "разум", выше умного из участников. В случаях, когда не известны даже самые общие подходы к проблеме и время не позволяет проводить трудоемкие исследования, эффективным может быть применение метода "мозговой атаки" или "мозгового штурма" ("брейнсторминг"), что является разновидностью совещания, которая отличается от классической рядом особенностей. Выработка группового решения в процессе "мозговой атаки" производится так:

■ формулируется обобщенно проблема, при этом подчеркивается ее ядро;

■ формируются две группы участников, из которых одна генерирует идеи, а другая отбирает ценные и нужные;

■ формируется группа наблюдателей-секретарей;

■ начинается "атака" с объявления проблемы, которую необходимо решить;

■ все идеи фиксируются таким образом, что они должны быть в поле зрения всех участников;

■ ведущий поддерживает все высказанные идеи, стимулируя азарт умственного соревнования;

■ группа оценки отбирает наиболее интересные (перспективные) идеи и на определенном этапе формирует новое, более узкое задание, которое ближе к цели (цикл может повторяться несколько раз).

Наибольший успех "мозгового штурма" будет обеспечен при соблюдении следующих условий:

■ к каждой группе должно входить до десяти человек из примерно равным социальным статусом;

■ желательно, чтобы эксперты знали имя друг друга;

■ совещание должно проходить в непринужденной, удобной обстановке;

■ наблюдатели (которые фиксируют перспективные идеи) для удобства должны находиться вне группы.

При проведении брейнсторминга следует исходить из того, что нужно получить как можно больше любых присущих данной проблеме идей и ни в коем случае не выражать ценностного суждения ни по сделанных предложений, ни по их авторов. В данном случае количество идей важнее качество. Участники заседания не должны перебивать друг друга. Идея, высказанная одним, может послужить толчком для новой идеи (навести на мысль) другого.

Достаточно часто в прикладной социологии применяют такой метод экспертного прогноза, как "метод Дельфи". Это - один из самых эффективных экспертных методов. Свое название метод получил от древнегреческого города Дельфи, в котором жили мудрецы, которые предусматривали развитие будущих событий. Предвещание дельфийских мудрецов принципиально отличались от пророчень обычных жрецов, потому что они обнародовались только после тщательного обсуждения на совете и досконального ознакомления всех членов совета с обстоятельствами дела. Обогащенный современными знаниями старинный метод оценки будущих событий и положения путем опроса экспертов стали называть методом Дельфи. Суть этой формы экспертной оценки - в проведении ряда последовательных конфиденциальных опросов группы экспертов по исследуемой проблеме в несколько туров. Его цель - формирование согласованных мнений на основе многократного опроса одних и тех же экспертов. После первого опроса и обобщения результатов итоги сообщаются участникам экспертной группы. Затем проводится повторный опрос, в ходе которого эксперты либо подтверждают свою точку зрения, высказанную на предыдущем этапе, или меняют свое мнение в соответствии с мнением большинства. Так повторяется несколько раз. В ходе такой процедуры формируется более или менее согласованная оценка.

Дельфийский метод можно применять как для принятия решений прогностического характера, так и для оценки их осуществления. Существенным недостатком метода Дельфи является его высокая трудоемкость и длительность процедур.

Экспертный опрос предполагает соблюдение таких правил и требований:

■ указать, сущность которой проблемы изучается, и мотив обращения к эксперту;

■ данные, подтверждающие компетентность эксперта (область знаний, состояние, квалификация);

■ информация о содержании предлагаемых вопросов;

■ правильная формулировка каждого проблематичного вопроса;

■ вспомогательные замечания, комментарии, предложения.

От качества конкретных экспертных оценок зависит надежность решений, принимаемых на их основе, в значительной степени зависит и от качественного состава экспертов, тщательности разработки процедуры экспертизы, уровня проведения опроса и обработки его результатов.

(Более подробно см. Специальную литературу).

 
< Пред   СОДЕРЖАНИЕ   След >