Любые изменения в условиях или результатах деятельности организации (промышленного предприятия, торговой фирмы или банка), связанные с той или иной альтернативой управленческого решения, можно определить только тогда, когда существуют соответствующие показатели, которые можно измерить. Но речь идет не только о количественных измерениях в привычном для нас понимании, но и о качественных оценках, позволяющих судить о динамике происходящих изменений. Поэтому, говоря об оценках экспертов, мы понимаем под ними количественные или качественные измерения соответствующих показателей.

В зависимости от целей экспертизы, эксперты могут оценивать стоимость недвижимости, ожидаемый уровень инфляции, изменения валютного курса, надежность эмитента ценной бумаги, рейтинг банка и т.д. Объекты оценки и оцениваемые показатели весьма разнообразны. Если при этом эксперт должен измерить значение количественного показателя (дать количественную оценку), он может указать конкретное числовое значение или интервал, в котором оно лежит. Если же эксперт должен определить значение показателя, который может быть оценен только качественно (дать качественную оценку), то он может использовать для этого вербально-числовые шкалы.

Итак, экспертная информация может носить как количественный, так и качественный характер. Рассмотрим наиболее распространенные методы ее измерения отдельно для каждого из этих двух случаев.

Методы получения количественных экспертных оценок

Непосредственная количественная оценка. Эксперт непосредственно указывает числовое значение показателя для оцениваемого объекта (альтернативы), например, стоимость квартиры или земельного участка, предполагаемую емкость рынка и т.п. Если конкретное значение показателя указать трудно, эксперт может определить диапазон, в котором находится это значение.

Метод средней точки. Этот метод используется, когда альтернативных вариантов, требующих оценки, достаточно много. В начале эксперт количественно оценивает наиболее предпочтительную альтернативу - f(а1) и наименее предпочтительную - f(а2). Далее он должен подобрать третий альтернативный вариант а3, оценка которого f(а3) расположена в середине между значениями f(a1) и f(a2) и равна половине их суммы. Затем экспертом определяется оценка альтернативы а4, значение которой - f(а4) - расположено посередине между значениями f(а1) и f(а3), и альтернативы а5 - f(а5), значение которой является средним значением между f(а3) и f(а4), и так далее до тех пор, пока не будет дана оценка всех сравниваемых альтернатив.

Методы получения качественных экспертных оценок

Метод экспертной классификации. Этот метод целесообразно использовать, когда необходимо определить принадлежность оцениваемых альтернатив к установленным и принятым классам, категориям, уровням, сортам и т.п., например, оценка дегустаторами сортов чая или определение категории отеля. Если классы установлены заранее, то эксперту последовательно предъявляют альтернативные варианты и тот определяет, к какому классу принадлежит данная альтернатива. Если же классы не установлены, то эксперту предъявляют альтернативные варианты парами и просят определить, относятся они к одному классу или к разным. После чего альтернативы предлагаются для оценки последовательно, и выясняется, можно ли каждую из них отнести к одному из образовавшихся классов, или для нее надо образовать новый класс. Процедура повторяется до тех пор, пока не будут оценены (расклассифицированы) все альтернативы.

Метод ранжирования альтернатив. Сущность этого метода заключается в упорядочивании сравниваемых альтернатив по степени предпочтительности определенного признака. Если таких альтернатив сравнительно немного (не более 20), то эксперту предъявляется весь набор альтернативных вариантов, и он указывает наиболее предпочтительный среди них. Затем эксперт определяет наиболее предпочтительный вариант из оставшихся. И так далее, пока все оцениваемые альтернативы не будут проранжированы. Если же оцениваемых вариантов больше, то сначала производится их разбиение на упорядоченные по предпочтению группы с помощью метода экспертной классификации, а затем ранжирование внутри каждой группы.

Метод экспертных кривых. Этот метод применяется, когда целью экспертизы является разработка прогнозов на основе анализа динамики изменения показателей, характеризующих объект экспертизы, например, темпов роста ВВП, инфляции, уровня безработицы и т.п. Использование данного метода предполагает построение на основе имеющихся статистических данных графика, отображающего тенденцию динамики анализируемого показателя. Затем, при помощи экстраполяции, эта тенденция продолжается в будущее, что дает возможность оценить значение данного показателя в прогнозируемом периоде. Однако использование экстраполяции может привести к существенным ошибкам, т.к. не учитывает возможность качественных изменений, приводящих к смене тенденции. Поэтому далее, на основе обобщенного мнения экспертов, на графике определяются точки, в которых следует ожидать смены тенденции изменения оцениваемого показателя, что позволяет наглядно представить возможные альтернативные сценарии развития ситуации.

Двум рассмотренным выше группам методов получения экспертных оценок соответствуют и два типа шкал:

шкалы количественных измерений;

шкалы качественных измерений.

Количественные шкалы

Абсолютная шкала. Если требуется определить количество мест в аудитории или количество работников, необходимых для выполнения определенной операции, то число, являющееся результатом подобных измерений, определяется однозначно и является единственным. В этом и заключается особенность абсолютной шкалы.

Шкала отношений. Предполагает возможность производить измерения в различных системах единиц. Так, например, если оценивать массу предмета в килограммах, получим одно числовое значение, в фунтах - другое и т.д. Однако какой бы системой измерений ни пользоваться, отношение масс любых двух предметов будет одинаково и при переходе от одной системы к другой не меняется. То же самое наблюдается и при измерении длины предметов. Это типичные примеры шкалы отношений, в которых отношения числовых оценок остаются неизменными.

Шкала интервалов. В шкале интервалов при переходе от одной системы измерений к другой отношения числовых значений оцениваемых альтернатив не сохраняются, однако сохраняется отношение разностей числовых оценок. Примером измерений в шкале интервалов является определение температуры, которую, как известно, можно измерять по разным шкалам: Цельсия, Фаренгейта и т.д. Каждый раз мы будем получать разные числа, т.к. в различных шкалах используются различные точки начала отсчета и различные единицы масштаба измерений. Но эти разные числовые оценки соответствуют одной и той же температуре объекта.

Шкала разностей. Если при переходе от одной числовой системы измерений к другой меняется лишь точка начала отсчета, такие шкалы называются шкалами разностей. Примером количественных оценок в шкале разностей являются системы летоисчисления, отличающиеся точкой начала отсчета (от рождества Христова, от сотворения мира или от переселения пророка Мохаммеда из Мекки в Медину).

Качественные измерения являются гораздо менее строгими, они носят субъективный характер и для них используются другие типы шкал, основными из которых являются следующие.

Качественные шкалы

Номинальная шкала (шкала наименований). Суть измерений оцениваемых альтернатив в этой шкале - разбиение их на классы по определенному признаку. Всем альтернативам, попавшим в один класс, должно соответствовать одно и то же число. Примерами измерений в номинальных шкалах может служить разбиение студентов одного курса на группы, разделение изделий по уровням качества (сортам) и т.д.

Порядковая шкала. Эта шкала используется для ранжирования, т.е. определения порядка предпочтения альтернатив, выраженности того или иного свойства, например важности, срочности и т.п.

Довольно часто в ходе экспертизы возникает необходимость измерения показателей, оценки которых носят заведомо субъективный характер. Так, например, на знаниях и опыте специалистов основаны оценки степени риска при реализации того или иного инвестиционного проекта, конкурентоспособности определенного вида продукции, уровня компетентности кандидата на вакантную должность и т.п. В этих случаях используют особый тип порядковых шкал - вербально-числовые шкалы. Их особенность как раз и состоит в том, что они позволяют измерить степень интенсивности какого-либо свойства, имеющего субъективный характер. В состав вербально-числовой шкалы входят содержательное (словесное) описание выделенных градаций и соответствующие им (градациям) числовые значения.

Наиболее известна широко применяемая на практике шкала Харрингтона, показанная в табл. 6.1.

Таблица 6.1.

Шкала Харрингтона

Приведенные в таблице числовые значения получены на основе статистического анализа большого массива данных, благодаря чему шкала Харрингтона имеет универсальное применение и может в соответствующих модификациях (например, в виде шкалы баллов) использоваться для оценки различных показателей качественного характера.

Подводя итоги изучения экспертных методов, следует отметить, что их значение состоит в том, что они усиливают элемент коллегиальности в процессе принятия сложных решений и, используя интуицию и коллективную генерацию идей, позволяют находить новые, оригинальные решения проблем, к которым нельзя прийти с помощью только логических рассуждений.

В то же время между всеми рассмотренными способами разработки и обоснования решений (методами моделирования и экспертными методами) на практике довольно трудно установить четкие границы, т.к. разрешение комплексных проблем современного менеджмента требует и комплексного использования различных логических, статистических, математических и эвристических приемов. Поэтому не какая-то одна, а преобладающая группа способов и формирует тот или иной метод. Области применения методов принятия решений зависят, в основном, от характера решаемых проблем и условий принятия решений, что отражено на рис. 6.1.

Выводы

Сущность экспертных методов принятия решений заключается в получении ответов специалистов на заранее поставленные перед ними вопросы, обработке полученной информации с помощью специальных логических и математических процедур и преобразовании ее в форму, удобную для выбора наиболее предпочтительной альтернативы решения.

Среди методов экспертных оценок (различающихся процедурой организации экспертизы) основными являются метод комиссий, метод мозговой атаки, метод Дельфи и метод разработки сценариев.

В процессе формирования экспертной комиссии возникает проблема оценки качеств эксперта - необходимость учитывать его профессиональные знания, опыт деятельности и результаты работы в предшествующих экспертизах.

Способы оценки качеств эксперта делятся на три группы: априорные (не учитывающие эффективность его участия в предыдущих экспертизах); апостериорные (основанные на реальных результатах участия специалиста в проведении экспертиз) и тестовые (предполагающие проведение специального испытания для потенциального эксперта).

Экспертная информация может носить как количественный, так и качественный характер. Для получения количественных оценок основными методами являются метод непосредственной количественной оценки и метод средней точки. Для получения качественных оценок используются экспертная классификация, ранжирование альтернатив и метод экспертных кривых. Этим двум группам методов получения экспертных оценок соответствуют и два типа шкал: шкалы количественных измерений и шкалы качественных измерений.

Вопросы для самопроверки

Что включает в себя понятие априорные методы оценки эксперта?

В каких случаях принято использовать апостериорные методы оценки?

Каковы условия применения тестовых методов оценки качеств эксперта?

В чем различие количественных и качественных экспертных оценок?

По каким параметрам строятся качественные шкалы?

Методы качественной оценки риска.

План

§ 1. Понятие оценки предпринимательских рисков.

Методы количественной оценки риска.

Методы качественной оценки риска.

§1. В процессеуправления рисками особое внимание уделяется механизму оценки предпринимательского риска. Оценка риска – это определение количественным и качественным способом величины (степени) риска.

В процессе принятия управленческого решения в любой сфере деятельности перед предпринимателем стоит задача выбора только одного, которое бы отвечало его требованиям. Для этого предпринимателю необходимо проанализировать все возможные варианты и их последствия.

Оценка предпринимательского риска зависит от многих факторов, в том числе, как от объективных, так и от субъективных. Так, качество оценки уровня риска зависят и от опыта предпринимателя, и от ситуации, в которой принимается решение. Если решение принимается в условиях неопределенности, предприниматель точно знает результат каждого из вариантов решения. Однако, как отмечалось выше, наличие определенности – это довольно редкое явление в предпринимательстве. Причем неопределенность может возникнуть даже при вполне ясном однозначном выборе, в случае если решение принимается в условиях, когда состояние внешней среды неизвестно или быстро меняется.

Оценка предпринимательских рисков, и в том числе финансовых, проводится с целью определения вероятности и размера потерь, характеризующих величину риска.

Следует различать качественную и количественную оценку предпринимательского риска. Качественная оценка может быть сравнительно простой, ее главная задача – определить возможные виды риска, а также факторы, влияющие на уровень риска при выполнении определенного вида деятельности. Качественный анализ проводится, как правило, на стадии разработки бизнес-плана. На данном этапе оценки риска предприниматель должен выявить основные виды рисков, влияющие на результаты предпринимательской деятельности.

Количественная же оценка является более трудоемкой, длительной и затратной. В исследованиях, посвященных проблеме риска, встречаются разные подходы к определению критерия количественной оценки риска. Рассмотрим некоторые из них.

В случае рассмотрения риска как вероятности неудачи критерием оценки риска является вероятность того, что полученный результат окажется меньше требуемого значения. Расчет данного критерия производится по следующей формуле:

где R – критерий оценки риска;

P – вероятность наступления рискового события;

D tr – требуемое (планируемое) значение результата;

D – полученный результат.

Недостатком рассмотренного метода является то, что он позволяет оценить уровень риска только после получения определенного результата, а для предпринимателя важно оценить риск на этапе принятия решения. Для этого существует метод оценки риска, который в качестве критерия последнего рассматривает абсолютную величину, исчисляемую по формуле:

где R – степень риска;

У – ожидаемый ущерб;

Р(У) – вероятность ущерба.

§2. Наиболее распространенными методами количественного анализа риска являются следующие:

Статистический;

Анализ целесообразности затрат.

Суть статистического метода заключается в том, что изуча­ется статистика потерь и прибылей, имевших место на данном или аналогичном производстве, устанавливается величина и ча­стота получения той или иной экономической отдачи и состав­ляется наиболее вероятный прогноз на будущее.

К числу основных расчетных показателей этого относятся: дисперсия, среднеквадратическое (стандартное) отклонение, коэффициент вариации.

Мерой количественной оценки величины риска служит по­казатель «среднее (математическое) ожидаемое значение событий (результата)», который рассчитывается по формуле:

где – среднее ожидаемое значение;

– абсолютное значение -го результата;

Вероятность наступления -го результата;

Число вариантов исхода событий.

Другими показателями оценки риска являются величины
изменчивости (колеблемости) возможного результата - среднее
квадратическое отклонение действительных результатов от сред­него ожидаемого значения и дисперсия, которые определяются по формулам:

; (4)

, (5)

где σ - среднее квадратическое отклонение;

σ 2 - дисперсия.

Остальные обозначения соответствуют принятым ранее.

Дисперсия и среднее квадратическое отклонение характери­зуют абсолютную колеблемость возможных финансовых резуль­татов.

Для сравнительной оценки наиболее пригодны показатели относительной колеблемости: коэффициент вариации и бета-коэффициент.

Коэффициент вариации (V) рассчитывается по формуле:

Бета-коэффициент (β)применяется для оценки риска вложений в ценные бумаги и рассчитывается по формуле:

где Δ i - процент изменения курса i-й ценной бумаги;

Δ - средний процент изменения курсов всех акций на фон­довом рынке.

При значении коэффициента вариации до 10% колеблемость считается слабой, при значении 10-25% - умеренной, свыше 25% - высокой. Соответственно оценивается и степень финан­сового риска.

Анализ целесообразности затрат заключается в определении потенциальных зон риска. В качестве исходных факторов, ко­торые могут вызвать рост планируемых затрат, рассматривают следующие факторы или их комбинации:

ü первоначальная недооценка стоимости проекта;

ü изменение границ проектирования;

ü различие в производительности;

ü увеличение первоначальной стоимости проекта;

ü изменение условий реализации проекта.

Факторы могут быть детализированы. Примером может слу­жить анализ показателей финансовой устойчивости с целью оп­ределения степени риска финансовых средств.

Все указанные выше методы анализа позволяют провести, как правило, количественную оценку риска и определить численную величину возможных потерь и вероятность их появления. Но на практике количественный анализ риска дополняется его каче­ственным аспектом.

Качественный анализ риска может быть сравнительно простым. Его главная задача - определить факторы риска, этапов и ра­бот, при выполнении которых риск возникает, т.е. установить потенциальные области риска, после чего определить все возмож­ные риски.

Все факторы, влияющие на степень риска, можно подразде­лить на объективные и субъективные. К объективным относятся факторы, не зависящие непосредственно от самой фирмы, ин­фляции, конкуренция, политические и экономические кризисы, экология, таможенные пошлины и т.д. Субъективные факторы характеризуют непосредственно данную фирму: производствен­ный потенциал, кадровый состав, хозяйственные связи, финан­совое состояние.

В зависимости от полученных результатов определяют, на­сколько безопасна среда, в которой функционирует фирма либо осуществляется реализация данного проекта.

В литературе по проблеме риска приводится много методов качествен­ной оценки финансовых рисков, использующие результаты опыта, интуицию, сбор и анализ различной информации, т.е. эвристические методы.

Особенностью таких методов и моделей является отсутствие строгих ма­тематических доказательств оптимальности получаемых решений. Общей на­правленностью этих процедур является использование человека как «измери­тельного прибора» для получения количественных оценок и суждений.

Яркими примерами традиционных эвристических процедур служат раз­личные экспертизы (метод экспертных оценок), консилиумы, совещания и т.п., результатом которых являются экспертные оценки состояния объекта исследо­вания.

Метод экспертных оценок находит достаточно широкое применение в различных областях деятельности, и на его основании реализуются дорого­стоящие мероприятия.

Метод экспертных оценок представляет собой процедуру получения оценки риска с помощью опросов специально отобранных экспертов относи­тельно значений некоторых параметров и/или показателей анализа. Для осу­ществления экспертной оценки формируется группа аналитиков различного направления, хорошо информированных в области рассматриваемой проблемы. Члены экспертной группы отбираются по признакам их формального профес­сионального статуса и должностного положения, ученой степени, стажа прак­тической и научной работы, а также результатам тестирования и аттестации со стороны коллег и других специалистов. Группа экспертов должна обеспечивать надежность и полноту анализируемой информации, возможность ее проверки с точки зрения методологии ее формирования, создавать условия для статистиче­ской устойчивости анализируемых рядов динамики и гарантировать надеж­ность самой процедуры оценки. Форма опроса экспертов может быть аноним­ной, очной или заочной, индивидуальной или групповой.

Каждому эксперту предоставляется полный набор анализируемой инфор­мации, перечень возможных рисков и шкала оценки вероятности их наступле­ния (или ненаступления). Например, предлагается следующая шкала оценки ка­кого-то конкретного риска:

0 – несущественный уровень риска;

25 – скорее всего рисковая ситуация не наступит, т. е. уровень риска со­хранит свой оптимальный уровень;

50 – рисковая ситуация не определена, и, вероятно, необходима дополни­тельная информация;

75 – достаточно высокая вероятность наступления рисковой ситуации;

100 – рисковая ситуация наступит обязательно.

Затем экспертные оценки подвергаются анализу на их различие и проти­воречивость. При этом максимально допустимая разница между оценками кон­кретного вида риска двух экспертов не должна превышать определенного, за­ранее заданного значения вероятности наступления этого риска:

max /Ai – Bi / <= K (2),

где А, В – вектор оценки для каждого из двух экспертов;

i – вид оцениваемого риска;

К – значение критерия.

Например, при наличии трех экспертов должно быть сделано три оценки: для попарного сравнения мнений первого и третьего, первого и второго и вто­рого и третьего экспертов.

Помимо метода экспертных оценок к группе качественного анализа уровня финансового риска можно отнести такие методы, как метод аналогий, метод «Due Diligence» («должное внимание»), «дерево решений», метод «Монте-Карло».

Метод аналогий, который заключается в сравнении вида, размера и причин возникновения или изменения конкретного анализируемого риска с аналогичной ситуацией. Сравнение проводится с ситуацией в прошлом или су­ществующей в аналогичных институциональных единицах в настоящем. Для этой цели используются результаты исследовательской и маркетинговой ин­формации.

Метод «Due Diligence» («должное внимание»), который используется, главным образом, банками или небанковскими финансовыми учреждениями, проводящими некоторые банковские операции. В основе этого метода лежит система сбора и анализа информации об эффективности деятельности клиен­тов, учредителей и всех субъектов третьего уровня маркетингового анализа: по­средников, поставщиков, конкурентов и всех видов контактных аудиторий.

«Дерево решений». Метод построения «дерева решений» используется чаще всего для анализа риска, при котором можно выделить обозримое количе­ство просчитываемых вариантов. Этот метод заключается в определении веро­ятности реализации определенного количества возможных сценариев, в опре­делении количественных и качественных параметров риска для каждого сцена­рия. Для проведения исследования методом «дерева решений» необходимо иметь максимально возможный объем количественной и качественной инфор­мации не только в статике, но и в динамике. Для сбора и оценки данных необ­ходимо соблюдать следующую последовательность:

1. определение состава и продолжительность жизненного цикла процесса и/или конкретной финансовой операции;

2. определение ключевых внешних и/или внутренних событий, которые могут оказать влияние на динамику уровня риска;

3. определение времени наступления этих событий;

4. определение возможных решений или вариантов действий, которые могут быть предприняты в результате наступления или ненаступления каждого ключевого события;

5. определение вероятности принятия каждого из возможных решений;

6. определение уровня риска при прохождении каждого из выявленных этапов процесса.

На основании полученного результата строится «дерево решений». Его узлы представляют собой ключевые события, а стрелки (векторы) и соединяю­щие узлы – объективный процесс/конкретную финансовую операцию и т.д.

Для проведения анализа полученного «дерева решений» необходимо оп­ределить все возможные сценарии и в зависимости от ситуации выбрать опти­мальный.

Метод «Монте-Карло», который является методом формализованного описания неопределенности, применяемый в наиболее сложных для прогнози­рования ситуациях.

Метод основан на применении имитационных моделей, позволяющих создать множество сценариев, согласованных с заданными ограничениями на исходные переменные. Имитационное моделирование – это искусственный эксперимент, при котором вместо проведения натуральных испытаний прово­дятся опыты на математических моделях.

На практике данный метод может быть применен только с использова­нием ряда компьютерных программ, позволяющих описывать прогнозные мо­дели с большим количеством случайных сценариев.

Основным недостатком качественного анализа финансовых рисков явля­ется высокий уровень субъективности и, как следствие, отсутствие уверенности в достоверности полученных оценок. Именно поэтому во многих случаях предпочтительней считаются методы количественного анализа.

Количественные оценки, например деловых и организаторских качеств работника, производятся, как правило, с помощью экспертных оценок. При этом для характеристики кандидата на должность сначала устанавливают (с учетом специфики производства и условий работы) 6-7 критериев. Например:

1. способность организовывать и планировать труд;

2. профессиональная компетентность;

3. сознание ответственности за выполняемую работу;

4. контактность и коммуникабельность;

5. способность к нововведениям;

6. трудолюбие и работоспособность.

По каждому из этих критериев на основе изучения деятельности кандидатов на должность дается соответствующая оценка по избранной, например, пятибалльной шкале (отлично - 5; хорошо - 4; удовлетворительно - 3; не -удовлетворительно - 2; плохо - 1).

Оценки по критериям обычно располагают по нарастающему количественному значению. Например, при оценке по критерию "способность организовывать и планировать труд":

"1" - явно неорганизованный работник и руководитель;

"2" - не умеет организовывать и планировать свой труд и труд подчиненных;

"3" - умеет организовать трудовой процесс, но не всегда удачно планирует работу;

"4" - умеет хорошо организовывать и планировать свой труд и труд подчиненных;

"5" - умеет создавать и поддерживать четкий порядок в работе на основе эффективного планирования.

По своей значимости в общей оценке кандидата на конкретную должность определенные качества всегда имеют различный удельный вес, что устанавливается экспертным путем. Например, по шести указанным выше критериям могут быть приняты определенные значения.

Для определения общей оценки деловых и организаторских качеств кандидата на управленческую должность составляется специальный оценочный лист.

Естественно, чем выше общая оценка по каждой группе качеств, тем более достоин кандидат заместить должность в аппарате управления. Наибольшая возможная оценка - 5, а самая низкая - 1.

Образование, стаж работы и возраст работника должны обязательно учитываться при оценке деловых качеств. Дело в том, что образование - одна из основных качественных характеристик при определении уровня квалификации работника, стаж работы - количественная мера опыта, а возраст находится во взаимосвязи со стажем работы.

Данные об образовании кандидата, его стаже и возрасте учитываются путем расчета коэффициента профессиональной перспективности по формуле:

К = Оу.обр. (1 + С/4 + В/18), где

Оу.обр. - оценка уровня образования, которая обычно принимается (составляет

0,15 для лиц, имеющих незаконченное среднее образование;

0,60 - для лиц со средним образованием;

0,75 - для лиц со среднетехническим и незаконченным высшим образованием;

1,00 - для лиц с высшим образованием по специальности;

С - стаж работы по специальности. В соответствии с рекомендациями НИИ труда он делится на 4 (в связи с тем, что, как установлено, стаж в 4 раза меньше влияет на результативность труда, чем образование);

В - возраст. В соответствии с рекомендациями НИИ труда он делится на 18 (установлено, что влияние возраста на результативность труда в 18 раз меньше, чем влияние образования). При этом за верхний предел возраста для мужчин принимается 55 лет, а для женщин - 50.

На этапе определения общей оценки кандидата на должность величина коэффициента профессиональной перспективности суммируется с общей оценкой по деловым и организаторским качествам. Совершенно очевидно, что предпочтение отдается тому кандидату, который в итоге получит наибольшую оценку, притом обязательно еще и с учетом таким же способом полученных оценок по группам личностных качеств.

Проверка практикой, бесспорно, имеет решающее значение для оценки любого управленческого работника. В связи с этим рекомендуется осторожно и терпеливо испытывать и распознавать среди них настоящих организаторов, сочетающих интерес к делу с умением наладить совместную работу коллектива людей. Для этого при работе с резервом кадров на выдвижение широко практикуется их привлечение к временному исполнению обязанностей руководителя в период его отсутствия, стажировка и другие формы и методы практической проверки. Однако и в таких случаях результаты работы требуют объективных оценок.

На ряде российских организаций накоплен положительный опыт оценки управленческого персонала. Сущность одного из наиболее апробированных и достаточно эффективных методов заключается в использовании квалификации, опыта и интуиции наиболее компетентных в своей области работы специалистов - экспертов. Важнейшими условиями применения этого метода является обеспечение анонимности выставляемых экспертами оценок и обоснованность подбора состава экспертных комиссий.

Если анонимность достигается через специальное анкетирование или тестирование, то обоснованность подбора состава экспертов состоит в их тщательной предварительной оценке, а также в методически грамотном и целенаправленном формировании количественного и качественного состава. Например, главные требования к эксперту - его компетентность в управлении производством, нравственность, глубокие знания и признанное умение решать специальные задачи в соответствии с определенными- функциями.

Одно из требований - хорошо разбираться в одной из смежных специальных областях деятельности, например, для технолога - в экономике, для экономиста - в технологии, линейного руководителя - в правовых вопросах и т. д. Традиционное требование к формированию группы экспертов состоит в их способности провести экспертизу с учетом разнообразных сторон деятельности оцениваемого работника.

Главная опасность при подборе состава экспертов состоит в завышении доли какой-либо подгруппы экспертов, заведомо близкой в своем мнении. Эта опасность заключается не только в односторонности выставляемой оценки, но и в том, что при обработке экспертных мнений все другие оценки потеряют свою значимость. По той же самой причине нежелательно включение в экспертную группу специалистов, авторитет которых резко отличается от среднего авторитета членов комиссии.

Используются группы экспертов двумя способами - индивидуально или группой. Индивидуальный, более распространенный и эффективный способ, заключается в том, что каждый эксперт дает оценку анонимно и независимо от других, а затем эти оценки обобщаются. Групповой способ основан на совместной работе экспертов и получении суммарной оценки от всей группы в целом. При таком способе согласование индивидуальных оценок сочетается с последовательным ознакомлением каждого эксперта с оценками остальных. Требование анонимности при таком способе соблюсти возможно, но при "бумажной технологии" уже появляются сложности.

Групповая экспертиза включает следующие обязательные этапы:

Разработка программы (выбор формы группового суждения с перечнем вариантов или оценок), рекомендаций, решений; выработка принципов и методов получения группового суждения;

Выбор техники опроса или способов выявления индивидуальных мнений;

Формирование экспертной группы;

Проведение опроса экспертов;

Обработка результатов (получение группового суждения);

Анализ результатов.

Результат работы экспертов отражается в документе, вариантами которого могут быть рекомендации, обобщающие оценки, решения. Самым гласным вариантом оформления экспертизы является решение. Самым распространенным - рекомендации, но с указанием определенных признаков будущего решения.

Подбор, согласование и утверждение экспертных комиссий обычно проводят начальник отдела кадров и руководитель организации (организации). Начальник отдела кадров знакомит экспертов с методикой оценки с помощью научного консультанта, который первый раз практически руководит всей работой. На уровне организации в состав экспертных комиссий (комиссия для оценки руководителей аппарата управления, комиссия для оценки линейных руководителей производственных подразделений, комиссия для оценки специалистов аппарата управления) включают обычно 3 - 5, но не более 7 человек. При этом в числе экспертов должны быть как оцениваемый, так и его руководитель.

Анкета оценки руководителя или специалиста, карточка эксперта на аттестуемого, бланк результатов опроса экспертов на аттестуемого, а также, бланк расчета итоговой оценки на аттестуемого - таковы обязательные документы почти любой методики независимо от способа расчетов (вручную или с использованием компьютера).

Основным инструментом аттестации является анкета, которая представляет собой специально разработанный вопросник, включающий перечень определенных качеств и варианты ответа. При этом перечень качеств, которыми должен обладать специалист, зависит от сферы его деятельности и занимаемой должности. Поэтому правильный подбор качеств, их перечень для каждой конкретной должности, а также оценки в баллах рекомендуется устанавливать конкретной экспертной комиссией в организации. Именно в этом - одно из важнейших условий объективной оценки работника.

После обсуждения результатов каждая экспертная комиссия утверждает не только перечень качеств для включения в анкету, но и определяет количественную оценку каждого качества в баллах. Например, в анкету рекомендованы десять качеств, и все они оценены по десятибалльной системе оценок (смотри Таблицу 1).

Таблица 1.

Расположены эти качества в анкете в ранжированный ряд - от более до менее значимого. В соответствии с этим и выставляется первая оценка аттестуемому. Она характеризует степень значимости качества. Вторая оценка - это оценка степени проявления этих же качеств аттестуемого по четырем вариантам ответа. Эксперт при этом должен установить, как часто определяемое качество проявляется у аттестуемого по следующей балльной шкале:

1. если всегда - 1,5 балла;

2. если в большинстве случаев - 1 балл;

3. если иногда - 0,5 балла;

4. если почти никогда - 0 баллов.

При первой оценке ставится знак "+" в графе против качества и его оценки в баллах. При второй оценке ставится знак "+" в графе, соответствующей мнению эксперта.

Обработка результатов оценки аттестуемого осуществляется путем заполнения специального бланка - "Бланк результатов опроса экспертов на аттестуемого". С этой целью знаки "+" из анкет, поставленные экспертами, переносят со знаком "V" в этот бланк. В другом бланке ("Бланк расчета средней оценки аттестуемого") по каждому качеству рассчитывается средний балл по формуле:

Где Зср - средний балл оценки качества по степени его функциональной значимости;

З10 ... 31 - оценка экспертом степени значимости качества по десятибалльной шкале;

N10 ... n1 - количество экспертов, которые присвоили качеству оценку по степени значимости (в баллах);

Одновременно в этом же бланке по каждому из качеств рассчитывается средний балл степени проявления этого качества у аттестуемого по формуле:

Где Пср - средняя оценка степени проявления качеств у аттестуемого;

П1,5 ... П0,5 - степень проявления качеств у аттестуемого по оценке экспертов;

N1,5 ... n0,5 - количество экспертов, отнесших качество к степени его проявления у аттестуемого к тому или иному баллу оценки;

N - общее количество экспертов.

Затем по каждому качеству определяется средневзвешенный балл по формуле:

К = Зср * Пср, где К - качество.

Расчет эталона производится следующим образом: сумма баллов по всем 10 качествам (10+9+8+7+6+5+4+3+2+1 = 57) умножается на 1,5 (коэффициент степени проявления качества, если оно проявляется всегда), или на 1,0 (если оно проявляется в большинстве случаев), или же на 0,5 (если качество присутствует иногда). В итоге получаем следующие результаты:

1) 57 х 1,5 = 85,5;

2) 57 х 1,0 = 57,0;

3) 57 X 0,5 = 28,5.

Таким образом, в первом случае, если оценка работника составляет более 85 баллов, формулируют вывод о его повышении или включении в состав резерва на выдвижение. Во втором случае, если оценка составит от 57 до 85 баллов, делают заключение о соответствии занимаемой должности. В третьем случае, если оценка составляет ниже 28 баллов, фиксируют вывод о том, что работник не соответствует занимаемой должности. При этом весьма ценно и то обстоятельство, что детальный анализ оценок экспертов по качествам может помочь определить для каждого работника конкретные направления совершенствования его деятельности.

Методы измерения и оценки личностного и профессионального развития

План

1. Количественные и качественные измерения.

2. Основные направления измерения личностного и профессионального развития.

3. Противоречия личностного и профессионального развития.

4. Личностное и профессиональное развитие и его мониторинг

Ключевые слова: качественная оценка, количественное измерение, личностное развитие, профессиональное развитие, мониторинг.

– качественная оценка предполагает нечисловую (даваемую на уровне измерений наименования или порядка) оценку значимых личностных и профессиональных качеств;

– количественное измерение производится на основе разработки специальных числовых шкал (на уровне измерений интервалов или отношений) для оценки выраженности значимых личностных и профессиональных качеств;

– личностное развитие в узком смысле – это актуально достигнутый уровень выраженности значимых качеств личности как целостного системного образования. При этом для различных практических задач значимыми оказываются различные по своей обобщенности и уровню качества личности; в широком смысле динамика изменения значимых личностных качеств в различной временной перспективе. Методически для изучения личностного развития в широком смысле чаще всего используется процедура мониторинга личностного развития;

– профессиональное развитие – в узком смысле – это актуальный уровень выраженности качеств личности, существенно связанных с ее профессиональной успешностью; в широком смысле – это изменение за определенный промежуток времени (например, между двумя аттестациями) качеств личности, связанных с профессиональной успешностью. Для оценки такого развития может применяться процедура мониторинга профессионального развития;

– мониторинг представляет собой систематическую процедуру сопоставимого измерения уровня выраженности значимых личностных и профессиональных качеств, производимую через регулярные интервалы времени. Он позволяет оценить динамику изменения оцениваемых качеств.

Количественные и качественные измерения

Качественная оценка и количественное измерение в психологических исследованиях и практических приложениях с формальной точки зрения могут рассматриваться как частные случаи более общей процедуры измерения. В первом приближении, приписывание числовых значений для представления свойств можно назвать измерением . В результате измерения, в каждом конкретном случае с измеряемым свойством ассоциируется числовое значение. Однако такое приписывание не является произвольным. Необходимо, чтобы отношения между числовыми значениями соответствовали тем отношениям, которые реально существуют между измеряемыми ими аспектами объекта измерения. Для удобства исследователей принято выделять четыре типа такого рода соответствий, которые получили название уровней измерения. Различают следующие уровни измерения (или шкалы для измерений):

Наименований (номинальный);

Порядковый (ординвальный);

Интервальный;

Отношений.

Первые два уровня измерения традиционно рассматривают как качественную оценку, а последние два в совокупности образуют то, что называется количественным измерением свойств.

Чем выше уровень, тем большим набором "полезных" для исследователя и практика свойств обладает соответствующая измерительная шкала. С этой точки зрения самым низким уровнем измерения является номинальный, а самым высоким – уровень отношений. Традиционно развитие измерительных средств (например, шкал в психологических тестах) идет от простого к сложному. В терминах уровней измерения это означает, что от первоначального создания измерительных инструментов, работающих на номинальном уровне происходит последовательный переход, по мере познания особенностей изучаемых свойств и их связей с другими свойствами, сначала к порядковому уровню измерения, а затем к количественному уровню измерения, воплощенному в балльных шкалах. На практике этой тенденции противостоит постоянно растущая сложность измерительных методик, приводящая к росту стоимости их использования и повышению требований к специалистам применяющим их.

Рассмотрим подробнее особенности представленных выше уровней измерения и конкретные примеры их использования для оценки личностных и профессиональных качеств работников.

Номинальное измерение формализует процедуру классификации, но при этом обладает самым маленьким набором полезных свойств, давая лишь набор дискретных категорий, позволяющих разграничивать разные объекты.

Наиболее простые примеры номинального уровня измерений связаны с полом, национальностью, партийной принадлежностью оцениваемого лица.

В целях оценки кадров достаточно широко применяется матричный метод, предполагающий сопоставление, например, набора реальных и требуемых качеств. Результат такого сопоставления является номинальным по уровню измерения и содержит оценки "соответствует – не соответствует". Отметим, что существуют и более сложные варианты этого метода, позволяющие получить количественные оценки работников.

Метод выполнения - методика, предусматривающая качественное описание того, что сделал работник за определенный период. Она же позволяет получить оценку деятельности на номинальном уровне (в терминах "сделал – не сделал"). Кроме того иногда используют метод критического случая (метод инцидентов ), в рамках которого проводится анализ поведения оцениваемого лица в трудных или критических ситуациях, а так же могут рассматриваться его срывы в работе.

Порядковое измерение позволяет не только разбить объекты на классы, но и упорядочить их. Наиболее известным примером такой шкалы является школьная отметка (от 1 до 5).

Для оценки с помощью порядковой шкалы латентного одномерного свойства на основании совокупности внешних проявлений (которые имеют или не имеют место в отношении конкретного объекта), разработан специальный алгоритм построения соответствующих шкал, получивший название шкалы Гуттмана*. Распространенность порядковых измерений для оценки профессионального развития иллюстрируется традиционным итогом аттестационных процедур "соответствует занимаемой должности" – "соответствует занимаемой должности при условии улучшения работы" – "рекомендуется смена деятельности", образующим типичную порядковую шкалу.

* Ядов В.А. Социологическое исследование. Методология, программа, методы. М., 1987. С.98-102.

Наряду с этим, в силу своей простоты, достаточно распространена, особенно при проведении оценки в небольших трудовых коллективах (до 10 человек), методика классификации по порядку, предусматривающая выделение лучших и худших работников.

Для этого эксперты располагают работников по каждому из оцениваемых критериев (их может быть несколько) по порядку, от самого лучшего до самого худшего. Индивидуальная итоговая оценка может определяться как сумма порядковых мест по всем используемым критериям оценки. Благодаря такому суммированию (хотя с точки зрения теории измерения не совсем корректному) появляется возможность перейти от порядковых шкал к интервальным и дать итоговую оценку в баллах.

Интервальное измерение – позволяет не только классифицировать или упорядочивать объекты, но и сказать, насколько большим или меньшим количеством измеряемого свойства по сравнению с другими объектами они характеризуются. Измерение основывается на существовании некоторой стандартной единицы измерения.

Например, доход можно измерять в рублях за год. Единицей измерения является рубль. Другой пример – измерение температуры. Есть разные системы измерения (Цельсия, Фаренгейта, Кельвина). Практически все стандартизованные психологические тесты, использующиеся для оценки профессионального и личностного развития дают в результате балльные оценки, что позволяет отнести их к интервальному уровню измерения.

Очень многие интервальные шкалы являются "естественными". Это шкалы возраста, дохода, веса. Кроме того, существует технология разработки интервальных шкал, применяемых для измерения латентного показателя по его внешне наблюдаемым проявлениям. Наиболее известна шкала равных интересов Терстоуна.

Шкала равных интервалов Терстоуна используется для определения субъективного отношения (зачастую явно не осознаваемого) к некоторому явлению, например, отношения к работе, на основании ряда внешних признаков. Для этого выполняются следующие шаги.

1. Выработать не менее 30 суждений позитивного и негативного характера (это внешние признаки). Например, "труд является первой жизненной потребностью", "без труда не вытащить и рыбку из пруда", "работа не волк, в лес не убежит" и т.д.

2. Подобрать группу экспертов (не менее 50 человек, отобранных случайно из исследуемой аудитории).

3. Каждый из экспертов должен рассортировать весь список суждений по 11 классам. Число классов может быть и другим, оно зависит от необходимой исследователю "дробности" шкалы, определяющей ее точность. В класс 1 попадают суждения с максимально положительным отношением к объекту, в класс 11 – с максимально отрицательным, в 6-й класс – с нейтральным отношением.

4. Проводится анализ экспертизы:

определяется цена (вес) каждого суждения на шкале в 11 интервалов. Так, если для определения веса использовались мнения 300 судей-экспертов, то для одного какого-то утверждения, например, "работа не волк, в лес не убежит" оценки могут распределяться следующим образом (см. табл. 1).

Понятия количественные и качественные методы в психологии

Определяя методы как пути познания, С.Л. Рубинштейн отмечал, что методология должна быть осознанной и не превращаться в форму, механически накладываемую на конкретное содержание науки. Рассмотрим вопрос, насколько осознаны пути познания в психологии и как исследователи понимают и определяют количественные и качественные методы.

В качестве основных психологических методов С.Л. Рубинштейн в «Основах общей психологии » называет наблюдение, эксперимент, приемы изучения продуктов деятельности. В данном перечне не находится места количественным методам.

В 70-е годы в отечественной психологии распространение получила вторая классификация методов психологического исследования, созданная Б.Г. Ананьевым.

Он выделяет следующие группы методов:

1. Организационные;
2. Эмпирические;
3. Методы обработки данных;
4. Интерпретационные методы.

Количественные и качественные методы были отнесены к методам обработки данных. Количественные методы он определяет как математико-статистические приемы обработки психологической информации, а качественные методы – это описание тех случаев, которые наиболее полно отражают типы и варианты психических явлений и являются исключением общих правил.

Классификацию Б.Г. Ананьева подверг критике представитель ярославской школы В.Н. Дружинин, предложив свою классификацию.

По аналогии с другими науками он выделяет три класса методов в психологии:

1. Эмпирические;
2. Теоретические;
3. Интерпретационные.

Качественные и количественные методы отдельно в классификации тоже не оговариваются, но предполагается, что они помещены в раздел эмпирических методов, что отличается от классификации Б.Г. Ананьева. Существенно дополнил классификацию Б.Г. Ананьева представитель ленинградской школы психологов В.В. Никандров. Он относит количественные и качественные методы к неэмпирическим методам в соответствии с критерием «этапности психологического процесса». Автор под неэмпирическими методами понимает «научно-исследовательские приемы психологической работы вне контакта исследователя и индивида.

Помимо сохранившихся отличий в классификациях С.Л. Рубинштейна и Б.Г. Ананьева, существуют терминологические разночтения в понимании количественных и качественных методов.

Не дается точного определения этих методов в работах В.В. Никандрова. Качественные методы он определяет функционально, с точки зрения результата и называет их:

1. Классификация;
2. Типологизация;
3. Систематизация;
4. Периодизация;
5. Психологическая казуистика.

Количественный метод он подменяет определением количественной обработки, которая направлена в основном на формальное, внешнее изучение объекта. В качестве синонимов В.В. Никандров употребляет такие выражения как количественные методы, количественная обработка, количественное исследование. К основным количественным методам автор относит методы первичной и вторичной обработки.

Таким образом, проблема терминологической неточности является достаточно актуальной и приобретает новое звучание, когда исследователи стремятся отнести количественные методы к новым научным разделам «Психометрия» и «Математическая психология».

Причины терминологических расхождений

Можно назвать целый ряд причин, в результате которых нет строгого определения количественных и качественных методов в психологии:

• Количественные методы в рамках отечественной традиции не получили однозначно строгого определения и классификации, а это говорит о методологическом плюрализме;
• Количественные и качественные методы в традиции ленинградской школы рассматриваются как неэмпирический этап исследования. Московская школа трактует эти методы как эмпирические и возводит их до статуса методологического подхода;
• В терминологическом смешении понятий количественные, формальные, квантативные, математико-статистические, наблюдается конвенционализм, который сложился в психологическом обществе относительно определения этих количественных и качественных методов;
• Заимствование из американской традиции деления всех методов на количественные и качественные методы. Количественные методы, точнее исследования, подразумевают выражение и измерение результатов в количественных показателях. Качественные методы рассматриваются как «гуманитарные» исследования;
• Определение однозначного места и соотношение количественных и качественных методов, скорее всего, приводит к тому, что количественные методы подчиняются качественным методам;
• Современная теория метода уходит от классификации методов только на одном основании и строгом определении процедуры метода. Методологи выделяют в теории три направления:
  1. Совершенствование традиционной эмпирической модели;
  2. Критика эмпирической количественной модели;
  3. Анализ и апробация альтернативных исследовательских моделей.
• Разные направления развития теории метода обнаруживают тенденцию тяготения исследователей к качественным методам.

Количественные методы

Цель практической психологии заключается не в установлении закономерностей, а в понимании и описании проблем, поэтому она использует как качественные, так и количественные методы.

Количественные методы представляют собой приемы обработки цифровой информации, потому что носят математический характер. Такие количественные методы как категоризованное наблюдение, тестирование, анализ документов и даже эксперимент дают возможность получения информации для диагностики проблемы. Эффективность работы определяется на завершающем этапе. Основная часть работы – беседы, тренинги, игры, дискуссии – проводится с помощью качественных методов. Из количественных методов наибольшей популярностью пользуется тестирование.

Количественные методы имеют широкое применение в научных исследованиях и в социальных науках, например, при проверке статистических гипотез. К количественным методам прибегают для обработки результатов массовых опросов общественного мнения. Для создания тестов психологи применяют аппарат математической статистики.

Методы количественного анализа делятся на две группы:

1. Методы статистического описания. Как правило, они направлены на получение количественных характеристик;
2. Методы статистического вывода. Дают возможность полученные результаты корректно распространять на все явление, делать заключение общего характера.

С помощью количественных методов выявляются устойчивые тенденции и строятся их объяснения.

Недостатки количественного метода контроля связаны с его ограниченностью. Эти методы оценки знаний в сфере преподавания психологии могут быть использованы только для промежуточного контроля, проверки знаний терминологии, хрестоматийных экспериментальных исследований или теоретических концепций.

Качественные методы

Повышенный интерес и популярность, качественные методы приобретают только в последнее время, что связано с запросами практики. В прикладной психологии сфера применения качественных методов очень широка:

• Социальная психология осуществляет гуманитарную экспертизу социальных программ – пенсионная реформа , реформа образования, здравоохранения – с помощью качественных методов;
• Политическая психология. Качественные методы здесь необходимы для построения адекватной и эффективной избирательной кампании, формирования позитивного имиджа политиков, партий, всей системы государственного управления. Важными здесь будут не только количественные показатели рейтинга доверия, но и причины этого рейтинга, пути его изменения и др.
• При помощи качественных методов психология средств массовой коммуникации Исследует степень доверия тем или иным печатным изданиям, конкретным журналистам, программам.

Решающую роль в развитии качественных методов в психологии, таким образом, сыграла необходимость диалога психологической науки с различными сферами практической деятельности.

Качественные методы ориентируются на анализ информации, которая в основном представлена в словесной форме, поэтому возникает необходимость эту словесную информацию сжать, т.е. получить её в более компактном виде. В этом случае выступает кодирование, как основной прием сжатия.

Кодирование предполагает выделение смысловых сегментов текста, их категоризацию и реорганизацию.

Примерами сжатия информации являются схемы, таблицы, диаграммы. Таким образом, кодирование и наглядное представление информации являются основными приемами качественного анализа.