Методы индивидуальных экспертных оценок. В индивидуальных экспертных оценках наиболее часто применяются два метода формирования прогноза: аналитические экспертные оценки и опрос-интервью.

Аналитические экспертные оценки предполагают длительную и тщательную самостоятельную работу эксперта над анализом тенденций, оценкой состояния и путей развития прогнозируемого объекта. Этот метод дает возможность эксперту использовать всю необходимую ему информацию об объектах прогноза. Свои соображения эксперт оформляет в виде докладной записки.

Разновидность метода опроса – интервью предполагает беседу прогнозиста с экспертом, в ходе которой прогнозист в соответствии с заранее разработанной программой ставит перед экспертом вопросы относительно перспектив развития прогнозируемого объекта. Успех такой оценки в значительной степени зависит от способности интервьюируемого эксперта экспромтом давать заключения по самым различным фундаментальным вопросам, чаще всего систематизированным в виде опросного листа или анкеты.

Из множества методик, использующих метод опроса, рассмотрим методику эвристического прогнозирования, суть которой заключается в получении и обработке прогнозных оценок путем систематизированного опроса экспертов, например, квалифицированных специалистов в области профилактической деятельности. Программа действий, следующая: разработка опросного листа, сбор экспертных оценок, оценка степени компетентности экспертов, обработка опросных листов, верификация прогноза, оценка ошибок в прогнозировании (ошибки исходных данных, ошибки моделей прогноза, ошибки согласования, ошибки стратегии), обобщение прогнозных экспертных оценок, синтез прогнозных моделей.

В основе методики эвристического прогнозирования лежат некоторые теоретические допущения:

– у эксперта имеется психологическая установка на будущее, базирующаяся на профессиональном опыте и интуиции;

– процесс эвристического прогнозирования и процесс решения задачи (научной проблемы) тождественны;

– тенденции развития объекта прогнозирования возможно однозначно отобразить в виде системы прогнозных моделей, получаемых из обобщения прогнозных экспертных оценок.

Эти допущения реализуются в методике эвристического прогнозирования путем системы приемов работы с экспертами, способами формирования вопросов и анкет, алгоритмами обработки экспертных оценок и синтеза прогнозных моделей.

Интервьюирование может быть свободным, когда опрашиваемому предлагается рассказать об интересующей исследователя теме и по ходу ставятся вопросы, или направленным, программируемым, в процессе которого эксперту предлагается ответить на ряд вопросов индивидуального опросного листа⁹.

Вопросы при этом задаются самые разные: а) открытые (ответ в свободной форме), закрытые (с готовыми вариантами ответов) и смешанные; б) общие и частные, прямые и косвенные; в) основные и вспомогательные – контрольные, вопросы-фильтры, функционально-психологические – контактные и буферные.

Опросный лист состоит из вводной, основной части и заключительной.

Вводная часть – содержит краткое обращение к респонденту (опрашиваемому эксперту), в котором указывается, кто проводит опрос, объясняется цель опроса и направление использования результата (скажем, прогнозирование рецидивной преступности в регионе), подчеркивается важность личного участия данного респондента в опросе, четко излагаются правила заполнения опросного листа, гарантируется анонимность ответа.

Основная – содержит базовые вопросы, в последовательности которых постепенно раскрывается содержание исследуемой проблемы. Контактные вопросы поддерживают интерес к участию в исследовании, буферные – смягчают взаимовлияние вопросов в анкете. Вопросы-фильтры либо выясняют и детализируют знания респондента об интересующем исследователя явлении, либо ставят своеобразные «ловушки» на добросовестность, чтобы отсеять тех, кто отвечает не задумываясь.

Контрольные вопросы уточняют, дополняют сведения, получаемые из ответов на основные вопросы. Функционально-психологические вопросы применяются для снятия установок, возникающих в ходе опроса, для перехода от данной темы к другой и для снятия некоторого психологического напряжения в конце опроса.

Заключительная часть – демографическая, так как содержит вопросы, касающиеся объективного положения опрашиваемого (образование, стаж работы и пр.). Поэтому ее называют еще и «объективкой» или «паспортичкой». Может использоваться как показатель компетентности.

Компетентность (К) экспертов различна, и потому существуют различные приемы оценки ее показателей. Наиболее удобным является способ, при котором на основе специальной шкалы выставляются оценки в баллах. Повышение объективности оценки достигается введением своеобразных «ножниц»: «показатель объективной компетентности (К_о) – показатель относительной самооценки (К_с)». При этом величина К вычисляется как корень квадратный из произведения показателей относительной самооценки К_о и компетентности К_с. Значит, показатели компетентности связаны отношением К² = К_о×К_с, или К = √К_о×К_с, а компетентным считается специалист, получивший не менее пяти баллов из десяти возможных. Опросные листы, отражающие некомпетентные мнения, отбрасываются. Значение показателя объективной компетентности, или номинальный балл эксперта, вычисляется исходя из следующего соображения: мнение эксперта в области его специализации, на которое можно положиться полностью, как правило, оценивают в 10 баллов; достаточно компетентное – 8 баллов; компетентное – 5 баллов; малокомпетентное – 2 балла.

Градуировка показателя относительной самооценки такова: 10 баллов – эксперт специализируется по данному вопросу, имеет по нему законченные результаты или практические разработки (внедренные в практику деятельности компетентных органов или фундаментальные научные исследования); 8 баллов – в практическом решении данного вопроса эксперт участвует, но этот вопрос не входит в сферу его узкой специализации, 5 баллов – вопрос входит в сферу тесно связанного с его узкой специализацией направления (смежная прикладная дисциплина либо базовая теоретическая дисциплина); 3 балла – вопрос входит в сферу производственных интересов эксперта¹⁰.

Для определения степени компетентности потенциального эксперта используется опросный лист, где учитывается уровень квалификации эксперта в узкой области специализации, уровень теоретической подготовки, его практический опыт, широта кругозора, острота мышления и физическое состояние, предлагается описанная выше шкала самооценки. Дополнительно можно включить взаимооценку экспертов, иначе говоря, степень авторитетности в кругу специалистов.

Теперь предположим, что нам необходимо определить компетентность эксперта – студента магистратуры юридического вуза, имеющего высшее техническое образование, стаж работы в органах внутренних дел 7 лет, освоившего метод прогнозирования в процессе работы в информационно-аналитическом подразделении МВД, ГУВД, знающего пример разработки достаточно точного краткосрочного прогноза преступности, владеющего прогностической терминологией, усвоенной из специальной литературы, написавшего реферат по криминологии на тему «Прогнозирование и планирование борьбы с преступностью». Кроме того, эксперт считает, что его познания о прогнозировании и планировании равноценны, может назвать трех специалистов по прогнозированию. Физической работой или спортом занимается регулярно. Прилично владеет компьютерными технологиями и английским языком.

Числовые значения характеристик эксперта обычно выставляются на основе специально разработанной совокупности параллельных шкал.

Оценим их по десятибалльной шкале и сведем в таблицу. Получаем: нормированная сумма баллов по всему набору соответствующих характеристик, оценивающих квалифицированность эксперта, равна 5,8 (вычисляется как среднее арифметическое), то есть показатель объективной компетентности равен 6 баллам.

Далее эксперт проставляет (см. приложение 2, вопрос 18 опросного листа) балл относительной самооценки, равный 8 (что соответствует степени участия эксперта в практическом решении данного вопроса). Тогда показатель компетентности эксперта по нашей проблеме равен корню квадратному из произведения вычисленных показателей:

К²= 6,8, то есть К ≈7.

Заметим, что человеку свойственно ошибаться, а правдоподобные рассуждения, достоверные либо оригинальные умозаключения нет смысла отбрасывать из-за того, что эксперт добросовестно заблуждается относительно оценки собственных познаний в интересующей нас области. Нововведением автора является метод штрафов в оценке компетентности эксперта и установление допустимых пределов завышения или занижения показателя его относительной самооценки.

Так, если числовое значение показателя самооценки завышено (занижено) и отличается от объективного показателя более чем на 4 балла, то предлагается оштрафовать относительную самооценку: вычесть (или прибавить) 4 балла. Это замечание имеет отношение к практике применения экспертных оценок в правоохранительных органах и касается лишь оригинальных умозаключений эксперта.

Мы рассмотрели только некоторые стадии работы по экспертному методу. Анализ, обработка, обобщение, верификация экспертных оценок производится традиционными методами математической статистики.

В процессе исследования нами был проведен опрос практических работников Уральского региона (янв. 1991 г.: Свердловская и Челябинская области, Республика Башкортостан), который показал отношение практиков к состоянию дел в сфере ведомственного прогнозирования преступности и проблемы совершенствования криминологической подготовки кадров органов внутренних дел в регионе.

Почти четверть опрошенных (24,5 %) расценивают как достоверную информацию, содержащуюся в первичных документах, более двух третей (71,7 %) – считают ее не совсем достоверной. Из всех методов, обеспечивающих, на взгляд респондентов, получение прогностической информации, более половины опрошенных предпочтение отдали опросу (анкетирование и интервьюирование в соотношении 3:1 и изучению документов, треть – аналитическим докладным запискам, наблюдениям, психологическим тестам, аналогии и методу наименьших квадратов. Только пятая часть опрошенных называла методы Делфи, «мозгового штурма», моделирования, эксперимент (социальный), экстраполяции. Ни один не упомянул метод «написания прогностического сценария», что вполне объяснимо для практика, не имеющего об этом методе представления.

Малую частоту обращения к некоторым методам респонденты объяснили: недостаточным знанием их (58,5 %), слабой автоматизацией методов (56,6 %), отсутствием массивов нужной криминологической информации (35,8 %), сложностью технологии использования и неудовлетворительными сроками получения результатов (15 %).

По мнению практиков, высказывания коллег против внедрения новых методик прогнозирования преступности вызваны в первую очередь тем, что при внедрении типовых методик не учитываются местные условия (особенности) работы (50,9 %), затем нежеланием изучать эту методику и работать с ней (39,6 %), наконец, из-за увеличения трудозатрат (26,4 %), а то и просто из-за слабого; знания или полного незнания методик прогнозирования преступности (17 %). Заметим, что 75,5 % опрошенных не знают убедительных примеров того, что при внедрении в практику компетентных органов (организаций) существующие методики прогнозирования дают достаточно точные прогнозы и обеспечивают высокую надежность распознавания.

Для оценки эффективности методики прогнозирования респонденты считают достаточными следующие критерии: способность сотрудников воспользоваться методикой (62,3 %); способность методики выдавать необходимую информацию, точность выдаваемого методикой прогноза (39,6 %); компетентность экспертов, опрашиваемых по методике (39,6 %). Только 15 % опрошенных отметили, что требуется совокупный критерий или участие методики в комплексной системе прогнозирования.

Повышение эффективности использования методик прогнозирования в разработке прогнозов зависит, по мнению респондентов, от следующих факторов: полноты учета прогностически значимой информации и технической оснащенности органа внутренних дел компьютерами и средствами связи (67,9 %); качества заполнения учетных документов (60,4 %); развития способностей работников воспользоваться методикой (50 %) и практической значимости получаемых результатов (43,3 %): простоты, надежности, удобства применения методики (41,5 %); отношения руководства (любого уровня) к прогностической деятельности сотрудников (и прогнозам, в частности, – 35,8 %). На последнем месте по количеству упоминаний в ответах респонденты наряду с перечисленными указали использование различных типов прогностически значимой информации и частоту обращения к методикам.

Методы коллективных оценок основываются на принципах выявления коллективного мнения экспертов о перспективах развития объекта прогнозирования.

Зависимый интеллектуальный эксперимент предполагает обмен мнениями между экспертами. К нему относят методы «комиссий» и «мозговой атаки (штурма)». Первый метод основан на работе специальных комиссий или группы экспертов «за круглым столом», когда обсуждают ту или иную проблему для согласования мнений и выработки единого мнения. Недостаток его в том, что группа экспертов в своих суждениях руководствуется в основном логикой компромисса.

«Мозговой штурм» – методика генерации, зарождения альтернативных идей решения конкретной проблемы путем обсуждения их группой высококвалифицированных специалистов без какой бы то ни было предварительной подготовки. Группы мозгового штурма могут состоять из 6-12 человек. Предполагается наличие в группе экспертов хотя бы одного ведущего специалиста, так называемого генератора идей. Приветствуется любая самая несуразная идея. Желательна комбинация идей и их усовершенствование. На этапе варьирования и комбинирования идей их не оценивают, чтобы стимулировать порождение новых идей.

Если задача сформулирована просто, понятно, в виде, удобном для обсуждения, то в группу можно включить умных, одаренных людей, не являющихся экспертами в данной области. Их задача – воспринимать новые идеи и обдумывать их. На этапе обсуждения и критической оценки идей они могут задавать самые неожиданные вопросы. На роль оппонента, критически оценивающего любую идею, выискивающего слабые места, недостатки идей, можно назначить одного из экспертов, если нет потенциального критически настроенного оппонента.

Делфи – метод независимого интеллектуального эксперимента. В данном случае при опросе, проводимом в форме анкет, каждый эксперт высказывает свое мнение (оценку) независимо от других участников. Затем производится статистическая обработка анкет и формируется коллективное мнение группы, выявляются, обобщаются аргументы в пользу различных суждений; вся информация сообщается экспертам. В течение примерно месяца проводится 3–4 тура опроса, во время которых участники пересматривают оценки и объясняют причины своего несогласия с коллективным суждением. В результате происходит сужение диапазона оценок. Особенности метода: анонимность, использование результатов предыдущего тура опроса, статистическая характеристика группового ответа.

Мнения специалистов могут расходиться по разным причинам. Резко выделяющееся мнение необходимо анализировать отдельно от остальных, а в последующих турах опроса постараться получить объяснение причин его появления. Если мнения специалистов рассогласованные полностью, то, возможно, неудачен подбор специалистов, или анкета составлена неверно, или объем информации об исследуемом объекте прогнозирования не позволяет сделать какие-либо выводы о его развитии и состоянии.

Важно определить степень согласованности мнений экспертов по предмету суждения – исследуемым направлениям развития объекта прогнозирования. Для этого необходимо вычислить коэффициент конкордации (W), который принимает значение в пределах от 0 до 1. При W = 0 имеем несогласованность абсолютную, а W = 1 означает полное единодушие, или согласованность мнений экспертов.

Обозначим через m общее число экспертов, оценивающих хотя бы одно направление. r_ij – это ранг, назначенный j-направлению (j = 1, 2, 3, …, n; n – число исследуемых направлений) в соответствии с весом, данным i-экспертом (i = 1, 2, 3, …, m; m – число экспертов). При ранжировании по убыванию весов ранг будет меняться от 1 до n. Вес фактора эксперт оценивает по десятибалльной системе. Если среди весов, данных ¡-экспертом ¡-направлению, есть одинаковые, то им назначается ранг (важность), равный среднеарифметическому. Тогда в соответствии с методами ранговой корреляции вводится показатель важности – сумма рангов:

Чем меньше сумма, тем важнее направление.

Среднеарифметическое значение суммы рангов оценок по всем направлениям равно Ŝ= (1/n) ΣS_j (j = 1, 2, 3, … n). Отклонение суммы рангов, полученных j-направлением, от среднего значения суммы рангов оценок по всем направлениям, определяется как их разность: d_j = S_j – Ŝ.

Величина Т_і – показатель связанных (равных) рангов, зависимый от количества t равных весов, назначенных i-экспертом: .

Тогда коэффициент конкордации, вычисленный по совокупности всех направлений, определяется по формуле:

Кроме статистической оценки согласованности мнений экспертов при обработке результатов экспертных оценок в виде количественных данных, содержащихся в анкетах, определяются также статистические оценки прогнозируемых характеристик: среднее значение прогнозируемой величины, дисперсия и др.

Обработка результатов экспертной оценки относительной важности факторов, от которых зависит рассмотренное выше повышение эффективности использования методик прогнозирования, показала, что коэффициент конкордации в нашем случае равен 0,56 для уровня значимости α = 0,001. Вероятность (а) того, что согласованность мнений экспертов есть случайное совпадение, определяется по таблице значений «хи-квадрат»¹¹ [так называемого критерия Пирсона]:

χ²_R =m(n−1)W ,

для числа степеней свободы V = n−1.

Из-за ограниченности материальных и людских ресурсов (компьютеров с надлежащим программным обеспечением, и квалифицированных криминологов) существует определенная граница роста эффективности использования методик прогнозирования и базы криминологических данных.