Если использовать несколько экспертов, то можно получить более точный результат.
Можно использовать более совершенные критерии, например, преимущество определить оценкой 1, худшее качество определить оценкой -1, а равноценное качество определить оценкой 0. Механизм составления ранжированного ряда остается прежним.
Психологами доказано, что попарное сопоставление лежит в основе любого выбора (т.е. Вы выбираете продукты, сравнивая их попарно), тем не менее, шкалу порядка часто составляют заранее (не ранжированный ряд) и фиксируют в ней опорные (реперные) точки, которые называют баллами.
Так появилась двенадцатибальная шкала интенсивности землетрясений MSK - 64, минералогическая шкала Мооса, пятибалльная шкала оценки знаний, баллы в фигурном катании и т.д. В таблице 2 в качестве примера приведена шкала твердости минералов Мооса.
Таблица 1. Ранжирование шести объектов путем попарного сравнения
Таблица 2. Шкала Мооса
Каждый последующий минерал оставляет царапину на предыдущем, т.е. является более твердым. Результаты измерений, полученные попарным сопоставлением, можно уточнить методом последовательного приближения.
Влияние состава экспертов на результаты экспертизы
При формировании экспертной группы целесообразно провести тестирование, взаимооценку экспертов и проверку согласованности мнений.
Тестирование
состоит в решении экспертами задач, с известными организаторам тестирования, но неизвестными экспертам результатами, и проверке по критерию Фишера гипотезы о принадлежности оценок разных экспертов к одной и той же генеральной совокупности оценок.
Самооценка состоит в том, что каждый эксперт в ограниченное время отвечает на вопросы специально составленной анкеты. Такое испытание проводят на компьютере и затем получают балльную оценку. Эксперты могут оценивать и друг друга, но для этого необходима доверительная обстановка и опыт совместной работы. Согласованность мнения экспертов можно оценивать по величине коэффициента конкордации:
где S
- сумма квадратов отклонений всех оценок рангов каждого объекта экспертизы от среднего значения;
n
- число экспертов;
m
- число объектов экспертизы.
Коэффициент конкордации изменяется в диапазоне 0<W
<1, причем 0 - полная несогласованность, 1 - полное единодушие.
Пример
Необходимо определить степень согласованности мнения пяти экспертов, результаты ранжирования которыми семи объектов приведены в таблице 3. Для определения степени согласованности используется специальная мера - коэффициент конкордации Кендалла (от лат. concordare
- привести в соответствие, упорядочить).
|
Номер объекта экспертизы
|
Оценка эксперта
|
Сумма рангов
|
Отклонение от среднего
|
Квадрат отклонения
|
|---|
|
|
|
|
|
|
|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Таблица 3. Данные для оценки согласованности мнений пяти экспертов
Оцениваем среднеарифметическое число рангов:
Q ср
= (21 + 15 + 9 + 28 + 7 + 25 + 35)/7 = 20.
Затем оцениваем сумму квадратов отклонений от среднего: S = 630. Определяем величину коэффициента конкордации:
W
= 12 * 630 / 25 * (343 - 7) = 0,9.
Много это или мало? Если провести соответствующие вычисления в STATISTICA
, то можно получить следующую таблицу результатов:
Рис. 1. Результаты проведения анализа в STATISTICA
Из этой таблицы следует, что различные мнения экспертов в данном примере незначимы: р<0.00014.
Влияние на результаты экспертизы количественного состава экспертов. С ростом числа экспертов в группе точность измерения повышается, что характерно для многократных измерений.
Количество экспертов n
, обеспечивающее заданную точность измерений, можно установить, зная закон распределения мнений экспертов и максимально допустимую стандартную ошибку оценки Sx
Качественная экспертиза -- это оценка качественных характеристик товара экспертами для установления соответствия их требованиям нормативных документов. Проводят эту экспертизу с целью определения качества товара в товарной партии при сдаче-приемке, или после длительного хранения, или при обнаружении скрытых технологических дефектов в процессе хранения, когда обычные сроки предъявления претензий поставщику истекли. Кроме того, экспертиза по качеству применяется при оценке образцов новых товаров перед постановкой их на серийное производство. Для пищевых продуктов качественная экспертиза только по органолептическим показателям называется дегустацией.
В зависимости от назначения качественная экспертиза бывает: приемочная, по комплектности, новых видов товаров, дегустация пищевых продуктов, по договорам.
Приемочной экспертизой по качеству называется оценка качества товаров экспертами для подтверждения достоверности результатов проверки при приемке. Основанием для проведения такой экспертизы могут служить: разногласия между поставщиком и получателем по результатам приемочного контроля, проведенного получателем в отсутствии поставщика и невозможности его явки на повторную приемку; обнаруженное или предполагаемое несоответствие фактического качества товара указанному в документах; нарушение упаковки (поломка, деформация и др.); наличие значительных качественных потерь в процессе транспортирования или хранения. При проведении качественной экспертизы пользуются стандартами, санитарными и ветеринарными правилами и инструкциями, правилами или кодексами транспортных организаций.
При проведении приемочной экспертизы по качеству эксперты должны придерживаться основных правил, которые включают следующие положения:
- 1. Перед началом экспертизы необходимо ознакомиться со всеми нормативными документами (стандартами на конкретные виды продукции, упаковку и маркировку, методы испытаний).
- 2. Качество товаров необходимо определять в соответствии с требованиями действующих стандартов, договоров. При Необходимости принимаемые товары могут оцениваться путем сопоставления с образцами или эталонами. Выбор показателей качества определяется целями и условиями проведения экспертизы. Чаще всего эксперты ограничиваются оценкой органолептических показателей и некоторых физико-химических показателей, используя простейшие средства измерений. Проверка микробиологических и сложных физико-химических показателей может быть рекомендована экспертом лишь в отдельных случаях после завершения приемки по качеству.
- 3. Для оценки качества должна быть отобрана выборка или объединенная проба, размер которой должен быть не менее установленных норм.
- 4. При неоднородности товарной партии, включающей товары разного качества (стандартные, 1-го или других сортов, нестандартные, брак, отход), эксперт должен выявить процентное содержание каждой фракции. При обнаружении дефектных товаров эксперт должен отобрать образцы товаров с наиболее характерными дефектами и установить причины их возникновения. Целесообразно направить образцы дефектной продукции в испытательную лабораторию для выявления их вида и причин возникновения. В акте экспертизы должно быть отражено процентное содержание продукции с различными дефектами.
- 5. При выявлении причин несоответствия качества эксперт должен указать в акте состояние тары и упаковочныхматериалов (их целостность, надежность, достаточность).
- 6. Эксперт не должен проводить приемочную экспертизу, если нарушена целостность товарной партии или предъявлены обезличенные товары, а также распакованные или без товарно-сопроводительных документов.
Экспертизой товаров по комплектности называется оценка экспертом наличия необходимых элементов комплекта и установление соответствия данным, указанным в технических документах. Правовой базой этой экспертизы является Гражданский кодекс РФ (ч. 2, ст. 478-480). Основанием для ее проведения служат особенности принимаемых товаров, целостность которых обеспечивается наличием в комплекте всех необходимых элементов. Все комплектующие элементы подразделяют на три группы:
- * обеспечивающие функциональное назначение товара, его эстетические свойства;
- * предназначенные для ремонта товара в процессе эксплуатации;
- * определяющие сохранность товаров при перевозке, хранении и реализации.
Экспертизе по комплектности подвергают в основном непродовольственные товары, а продовольственные товары -- только при продаже наборов продуктов.
Экспертизой качества новых товаров, называется оценка качества товаров по номенклатуре показателей, характеризующих степень новизны, возможность и целесообразность их выпуска в реализацию. Новый товар -- это продукция, предназначенная для реализации и отличающаяся от имеющихся товаров аналогичного назначения измененными потребительскими свойствами. Цель этой экспертизы качества -- определение практической полезности и показателей качества, которые могут создать потребительские предпочтения.
Правовая база экспертизы качества новых товаров отсутствует, а нормативная база представлена стандартами, санитарными и иными правилами и в этом совпадает с приемочной экспертизой. При экспертизе качества новых товаров используют различные методы оценки: органолептической, измерительной, социологической, экспертной. Решающее значение имеет экспертная оценка качества, а остальные методы выполняют вспомогательную роль.
Целью экспертизы может быть оценка всей номенклатуры показателей качества или только их части, например степени новизны. Выбор показателей качества обусловливается необходимостью соблюдения обязательных требований (безопасности, функционального назначения), а также определения степени новизны, что и составляет сущность экспертизы качества новых товаров. Степень новизны характеризуется количественными и качественными изменениями потребительских свойств, формирующими и удовлетворяющими новые потребности. Степень новизны может выражаться в баллах или процентах. Е.Е. Задесенец предлагает следующие градации степени новизны: товары незначительной новизны (степень новизны до 20%), товары нового вида (21--70%) и качественно новые товары (71-100%). В зависимости от градации нового товара выбирают и методы его изучения. Для товаров, степень новизны которых не превышает 70%, можно использовать сравнительные методы, основанные на сравнении показателей качества товаров одного наименования новых и уже известных. Для качественно новых товаров этот метод мало приемлем, поэтому для них применяют прогнозно-аналоговые, безаналоговые или комбинированные, которые являются разновидностями сравнительного метода, но на более высоком уровне, с использованием элементов прогнозирования. Прогнозно-аналоговый метод основан на построении перспективно-прогнозного ряда базовых образцов товаров-аналогов и использовании его для сравнительной оценки качественно новых товаров. Безаналоговый метод -- на анализе процессов потребления разными группами потребителей или процессов проектирования. Комбинированный метод основан на совмещении оценок ранее известных и новых потребительских свойств изучаемых товаров. В этом случае эксперты широко используют всю доступную им информацию о товарах-аналогах, об уровне проектных разработок. Комбинированный метод сочетает сравнительный метод для изучения качественных свойств и прогнозно-аналоговый (безаналоговый) для изучения новых свойств.
Дегустацией пищевых продуктов называется оценка органолептических показателей качества экспертами, проверенными на сенсорную чувствительность. Целью Дегустации является получение достоверных результатов при органолептической. оценке качества, снижение ее субъективности за счет высокой профессиональной компетентности экспертов, которая достигается узкой специализацией их по группам товаров. Отбор экспертов в дегустационные группы проводится путем проверки их сенсорной чувствительности, кроме того, эксперт должен иметь опыт органолептической оценки выбранной товарной группы.
Дегустацию пищевых продуктов проводят при экспертизе новых товаров, при необходимости выявления качественных изменений органолептических показателей, при определении товарного сорта и других градаций качества. Результаты дегустации могут быть- выражены в виде описания отдельных показателей, а также в баллах. В последнем случае применяют стандартные шкалы (шкалы балльной оценки) вин, пива, твердых сычужных сыров и сливочного масла) или для балловой оценки данного вида товара должна быть разработана специальная шкала.
Экспертизой товаров по договорам называется оценка экспертом соблюдения требований качества, установленных договорами купли-продажи, комиссии и хранения. Основанием для проведения такой экспертизы служат разногласия между сторонами, заключившими договор. Правовой базой проведения такой экспертизы являются Федеральный закон «О защите прав потребителей» (гл. 1 и 2, ст. 1--26), правила продажи товаров, правила комиссионной торговли непродовольственными товарами, утвержденные постановлением Правительства РФ от 6 июня 1998 г. № 569.
Необходимость в проведении экспертизы по договорам хранения появляется в случае возникновения количественных потерь сверх установленных норм или снижения качества товаров, а также при полной их потере. Снижение качества товаров при хранении происходит вследствие микробиологических, биологических, физических, химических, физико-химических и биохимических процессов. Нередко ухудшение качества товаров можно определить по органолептическим показателям, эксперт при этом самостоятельно принимает решение о необходимости исследования товара в испытательных лабораториях измерительными методами. Независимо от причин возникновения качественные потери списывают по актам, которые подписывают эксперты, руководитель и материально-ответственные лица. Нормы списания товаров за счет снижения качества отсутствуют.
Ассортиментной экспертизой называется оценка экспертом количественных и качественных характеристик товара для установления его ассортиментной принадлежности. Этот вид товароведной экспертизы как самостоятельный применяют только при возникновении разногласий между поставщиком и покупателем, продавцом и потребителем по вопросам ассортиментной принадлежности товара к определенной группе, наименованию, товарной марке или при установлении соответствия ассортимента товаров в партии ранее представленным образцам, каталогам или договорам купли-продажи.
Документальной экспертизой называется оценка экспертом товароведных характеристик товаров, основанная на информации товарно-сопроводительных, технологических и иных документов. При проведении документальной экспертизы отсутствующего товара эксперт анализирует имеющиеся документы: накладные, сертификаты, качественные удостоверения, акты списания, технические документы по контролю за температурно-влажностным режимом, докладные работников торговых организаций. Самостоятельно этот вид экспертизы проводится в случае отсутствия товара вследствие его реализации, хищения, порчи, гибели из-за непредвиденных обстоятельств. Сложность документальной экспертизы заключается в том, что при отсутствии товара эксперту приходится полагаться на представленные документы, которые могут быть фальсифицированы. Результаты экспертизы в таком случае зависят от компетентности эксперта, так Как в результате проведенной экспертизы могут быть опровергнуты документы, представленные торгующими организациями, а руководители и материально ответственные лица привлечены к уголовной ответственности.
Комплексной экспертизой называется оценка экспертом всех характеристик товара на основе их испытаний и анализа документов. Она может включать не только товароведные, но и стоимостные характеристики. Этот вид экспертизы применяют в тех случаях, когда необходимо всесторонне оценить товар с учетом позиций продавца, потребителя, а также сложившейся рыночной конъюнктуры. Комплексную экспертизу широко применяют в практике комиссионной торговли, при экспортно-импортных операциях внешнеторговой деятельности, при заключении договоров купли-продажи по образцам крупных партий товара. Комплексная экспертиза включает другие „виды экспертизы (количественную, качественную, ассортиментную и документальную), и поэтому все средства и методы, используемые для их проведения, применяются и для этой экспертизы.
Методы экспертной оценки показателей качества товаров -
это методы определения действительных значений единичных и комплексных показателей качества.
Предназначены для определения значений показателей качества расчетным или эвристическим путем в случаях, когда применение измерительных методов невозможно или неэкономично из-за чрезмерных расходов на их применение или длительного времени испытаний. Например, при определении вкуса и запаха пищевых продуктов используются только органо- лептические методы. Измерительные методы не дают точной и надежной оценки, несмотря на повышенные затраты.
Для дифференциальной и комплексной оценки образцов, значительно отличающихся по качеству, рекомендуется определять значение единичного показателя Р следующим образом :
К. = Р. / Р. 5 ,
где Р. 5 - базовое (эталонное значение).
Другой, более точный метод основан на исследовании показателей с целью определения видов зависимости f, т. е. с целью разработки формул для расчетов оценок показателей:
К = f (Р/ Р 5).
Оценка единичных показателей качества начинается с определения допустимых интервалов их изменения (Р. макс :
- Р™"). р. макс - наилучшее значение показателя, превышение которого нецелесообразно или невозможно. Принципы назначения максимально допустимого значения показателя (Р. макс) зависят от целей оценки качества, при этом необходимо, чтобы для всех показателей этот принцип был единым.
Повышение надежности экспертных оценок достигается путем членения сложных операций на простые, которые составляют многоступенчатую процедуру оценки допустимых значений показателя. Переход к каждой последующей ступени совершается после выработки согласованных решений на предыдущей.
Экспертная процедура определения допустимых значений показателей качества состоит из ряда операций:
выдачи экспертам анкетой пояснительных записок, в которых перечислены показатели качества и описаны принципы выбора допустимых значений показателей;
заполнения экспертами анкет и указания конкретных моделей продукции, значения которых они считают предельно допустимыми;
ознакомление каждого эксперта с оценками, назначенными другими экспертами, и их обсуждение;
проведение второго (иногда третьего и четвертого) тура анкетирования;
усреднение результатов оценки.
При значительном разбросе мнений проводится дополнительный тур голосования.
Для определения экспертами вида зависимостей (f) между значениям показателей Р. и их оценками К. нередко используется "метод главный точек". Необходимость его применения обусловлена тем, что разделение процедуры оценки на несколько этапов упрощает работу эксперта и позволяет ему дать оценки некоторым характерным точкам, исходя из которых можно построить модель искомой величины.
"Метод главных точек"
в зависимости от их числа имеет несколько разновидностей.
"Метод трех главных точек"
- метод, основанный на разделении значений показателей Р. на максимальное, минимальное, среднее значение и определении значений оценок К. в этих точках. Интервал шкалы между максимальной и минимальной точками задается заранее (шкалы О-ч-l или 0ч-10). В задачу эксперта входит также определение тенденции зависимости в интервале между главными точками и построение графика. После этого от графической зависимости можно перейти к аналитической формуле для расчета оценок показателя качества К. "Метод трех главных точек" позволяет разработать лишь приближенную модель оценки К.
"Метод семи главных точек"
- метод оценки по семибалльной шкале оценки показателей, значения которых определены экспериментальным или расчетным путем, а также органолептическим методом.
Семибалльная шкала является равномерной, т. е. при переходе от одного класса качества к другому оценка меняется на один балл. Эти шкалы нашли широкое применение, особенно при органолептической оценке. Для получения более точных результатов следует перейти к определению вида зависимости между оценками и баллами.
Для облегчения работы эксперта в пояснительной записке к анкете приводят пять графиков. Эксперт выбирает кривую (или комбинацию кривых), которая наилучшим образом, по его мнению, отражает характер зависимости f. Затем каждому классу качества назначается оценка в соответствии с характером зависимости и значениями показателей качества. При этом целесообразно пользоваться числами в интервале 0-10, кратными 0,5, причем класс "наивысшее качество" получает оценку 10.
Таким образом, график, построенный экспертом, характеризует зависимость между абсолютными значениями показателей Р. и их оценками К, а для показателей, оцениваемых органолептическими методами, - между классами качества и их оценками.
В заключение проводятся обсуждение полученных результатов, их обработка и анализ. Для показателей, определяемых измерительным и расчетным методами, желательно дать аналитическое описание кривых, что позволяет рассчитать оценку для любых значений показателей.
Применение "метода главных точек" дает возможность осуществлять группировку и классификацию показателей по видам зависимости.
Определение комплексных показателей качества осуществляется двумя видами методов:
методами комплексной оценки качества образцов товаров;
методами построения моделей комплексных показателей качества.
Методы комплексной оценки качества имеют две разновидности - экспресс-метод и методы движения по уровням без подготовки и с подготовкой.
Экспресс-методы комплексной оценки качества образцов товаров
основаны на определении комплексного показателя качества путем анализа значений отдельных единичных показателей и внешнего вида без предварительной их оценки и с учетом коэффициентов весомости.
При использовании этих методов необходимо учесть, что предельным количеством оцениваемых показателей даже для иысококвалифицированного эксперта является 7-9 показателей, расположенных на одном уровне иерархии и составляющих достаточно однородную группу. Кроме того, эксперты должны учитывать важность отдельных показателей с помощью коэффициентов весомости, взаимосвязь между ними, а также рассматривать качество товара как систему.
Метод движения по уровням без подготовки
представляет собой комплекс операций, осуществляемых последовательно, с постепенным повышением уровня. При этом анализ начинается от нижнего уровня дерева показателей. С учетом значения показателей нижнего уровня эксперт дает оценку показателям вышележащего уровня. Эти операции повторяются с повышением уровня до тех пор, пока не будет достигнут верхний уровень - комплексная (обобщенная) оценка качества.
Метод движения по уровням с подготовкой
основан на предварительном определении экспертами коэффициентов весомости показателей качества и их оценок. При назначении комплексных оценок эксперту известны средние значения коэффициентов весомости и оценки единичных показателей. Процедура определения комплексных показателей аналогична процедуре
по методу движения по уровням без подготовки.
Формализация процесса экспертной оценки
заключается в нахождении зависимости между значениями показателей качества Р. (или их оценками К.) и показателем качества нижележащего уровня, т. е. в определении вида решающей функции, которой пользуются эксперты при назначении комплексных показателей. При этом решающая функция, как и любая модель, упрощает объект исследования, так как учитываются не все показатели и связи между ними.
Исходными данными для определения вида функции могут служить результаты оценки качества различных образцов экспресс-методами или методами движения по уровням. Тогда оценки, назначенные экспертами, сводятся в общую матрицу, каждая строка которой представляет собой набор оценок единичных показателей образца и комплексных экспертных оценок. На основании этого могут быть разработаны машинные алгоритмы и составлены программы для нахождения решающих функций с помощью ЭВМ.
Лекция 13. ВИДЫ ЭКСПЕРТИЗ
Экспертные оценки
и способы измерений.
Оценка эксперта –
количественное и/или качественное
измерение соответствующего показателя.
Методы получения
количественных экспертных оценок
Эксперт указывает
конкретное числовое значение или
диапазон искомого параметра.
Применяется при
большом количестве альтернативных
вариантов.
Сначала выбираются
наиболее (А) и наименее (Я) предпочтительные
альтернативы. Далее – промежуточный
вариант – М, оценка которого делит
отрезок А – Я пополам.
Методы получения
качественных экспертных оценок
Экспертная
классификация (определение принадлежности
к группе, сорту, категории – сорт чая)
Ранжирование
альтернатив – упорядочение сравниваемых
альтернатив по степени предпочтительности
определённого признака.
Метод экспертных
кривых применяется для получении
прогнозов на основе анализа динамики
показателей, характеризующих объект
эксперимента (график, экстраполяция).
Для предотвращения ошибок при
экстраполяции на основе обобщенного
мнения экспертов на графике определяются
точки, в которых следует ожидать
изменения тенденции развития показателя.
Инструментами
вышеперечисленных методов являются
качественные и количественные шкалы.
19. Способы оценки качеств экспертов и формирование экспертных комиссий.
Метод суда.
Процедура аналогична
судебному заседанию. Часть экспертов
– обвиняют, часть – защищают, часть –
присяжные, выносящие окончательный
вердикт. Экспертные оценки – субъективны,
поэтому ключевой вопрос – подбор
экспертов.
Оценка качеств
эксперта
.
Эксперт
– специалист, профессионал, оценки и
суждения которого лицо, принимающее
решение, считает полезным учитывать в
процессе принятия решения.
Формирование
состава экспертной комиссии эависит
от:
Конкретной ситуации
принятия решения;
Возможностей
организаторов экспертизы привлечь для
работы высококвалифицированных
специалистов;
Возможностей
специалистов принять участие в работе
экспертной комиссии.
Не существует
общепринятой единой методики оценки
качеств эксперта.
Можно опираться
на:
Профессиональные
знания;
Опыт и эффективность
деятельности в составе экспертных
комиссий.
Способы оценки
качеств эксперта:
Априорные
– не используют информацию о результатах
участия эксперта в предыдущих экспертизах
(самооценка, взаимная оценка, метод
списка экспертов, документационный
(анкетный) метод).
Апостериорные
– используют информацию о результатах
участия эксперта в предыдущих экспертизах
(метод парных сравнений объектов,
наиболее предпочтительных для данного
эксперта, метод отклонения от
результирующей групповой оценки).
Тестовые
– подразумевают проведение специального
испытания.
Тест должен быть
специально разработан под конкретные
объекты экспертной оценки
Истинные значения
оцениваемых параметров (правильные
ответы) не должны быть известны эксперту
Должна быть
разработана шкала для определения
точности оценок, даваемых экспертом
Вероятность
случайного угадывания правильной
оценки должна быть очень мала.
Использование
тестовых методов позволяет оценить
такое важное профессиональное качество
эксперта как воспроизводимость экспертных
оценок. Проводят ряд аналогичных тестов
и оценивают полученные результаты.
Стабильность оценок говорит о
профессиональной компетенции эксперта.
Лекция 7. Особенности
технологии экспертной оценки качества.
Сущность экспертных
методов и организация работ по
использованию
при управлении
качеством
Как научный способ
экспертный метод разработан сравнительно
недавно и назывался «Дельфи». В дальнейшем
были разработаны другие аналогичные
методы, имеющие в своей основе экспертные
оценки. Сначала экспертные методы
использовались в основном для решения
задач, связанных с прогнозированием в
области науки и техники, а затем стали
применяться в других областях, в том
числе в управлении.
Сущность
экспертных методов
заключается
в усреднении полученных различными
способами мнений (суждений)
специалистов-экспертов по рассматриваемым
вопросам. Усредненная оценка (К)
определяется по формуле
где
n
- количество экспертов,
K
i
-
оценка, данная i
-м
экспертом.
Наиболее
распространенными экспертными методами
приклассификации
по признаку оценки предпочтений являются
метод рангов,
метод непосредственного оценивания и
метод сопоставлений
.
Последний включает две разновидности
- парного
сравнения и последовательного
сопоставления
.
К
разновидностям экспертных методов
с определенной долей условности можно
отнести органолептический и социологический.
Органолептический метод
основан
на использовании чувств (вкуса, слуха,
зрения, обоняния тактильности) эксперта.
Он применяется при оценивании, например
продукции пищевой промышленности.
Социологический метод
базируется на опросе, сборе и анализе
мнений респондентов (например, фактических
или потенциальных потребителей). Такой
опрос и сбор мнений производится в
письменной форме (с помощью анкет)
или устно (на конференциях, аукционах,
выставках и т.п.). При его использовании
следует применять научно обоснованные
способы опроса, математические принципы
сбора и обработки информации. Общность
экспертных методов заключается в
последовательности проведения процедур
их использования. К ним следует отнести
организацию экспертного оценивания,
проведение сбора мнений экспертов
и обработку полученных результатов.
Уменьшение
субъективности результатов использования
экспертных методов существенно
зависит отсоблюдения
правил организации, подготовки и
проведения экспертных работ. Особенно
это зависит от организации экспертного
оценивания, назначения ответственного
за организацию и проведение работ по
экспертной оценке, а также формирования
экспертных комиссий.
Д
ля
общего руководства экспертными работами
назначается председательэкспертной
комиссии. В составе комиссии организуют
две группы - рабочую и экспертную
(рис.1).
В подчинении
руководителя рабочей группы находятся
технические работники, осуществляющие
техническую сторону подготовки материалов
к работе экспертов, обработку полученных
результатов и т. п., а также специалисты
по решаемым проблемам.
Формирование
экспертной группы проводитруководитель
рабочей группы, который, осуществляет
постановку проблемы и определяет
область деятельности группы; составляет
предварительный список
экспертов-специалистов; выполняет
анализ качественного состава
предварительного списка экспертов и
уточняет список; получает согласие
эксперта для участия в работе; составляет
окончательный список экспертной группы.
Число экспертов
в группе зависит от множества факторов
и условий, в частности от важности
решаемой проблемы, имеющихся
возможностей и т. п. Подбор специалистов
проводится на основе анализа качеств
каждого возможного кандидата. При этом
используются разнообразные способы:
оценка кандидатов на основе статистического
анализа результатов прошлой деятельности
в качестве; коллективная оценка
кандидата как специалиста в данной
области; самооценка кандидата в эксперты;
аналитическое определение компетентности
кандидатов.
Часто применяют
одновременно несколько способов,
например самооценки и коллективной
оценки качеств, предлагаемого эксперта.
Такой подход позволяет обоснованно
подобрать экспертов с необходимыми
качествами. Однако следует признать,
что способ оценок прошлой деятельности
представляется более объективным, чем
способы самооценок и коллективной
оценки. Во всех случаях кандидаты в
эксперты должны обладать следующими
качествами: профессиональной
компетентностью; креативностью
(умением решать творческие задачи);
научной интуицией; заинтересованностью
в объективных результатах экспертной
работы; деловитостью (собранностью,
умением переключаться с одного вида
деятельности на другой, коммуникативностью,
независимостью суждений, мотивированностью
действий); объективностью.
Проведение сбора
мнений экспертов предполагает
предварительное определение: места
и времени; формы и методики; количества
туров сбора мнений, состава и содержательной
части документации, порядка занесения
мнений экспертов в документы. Важным
является выбор формы сбора мнений
экспертов.
Среди
всех известных форм сбора мнений можно
отметить индивидуальные, коллективные
и смешанные. Каждая из этих форм имеетразновидности:
анкетирование, интервьюирование,
дискуссия, мозговой штурм, совещание,
деловая игра. Во многих они используются
совместно, что дает больший эффект
и объективность. Такой подход к сбору
мнений экспертов, когда используется
смешанная форма, применяется в случаях
неясности проблемы, расхождения
индивидуальных мнений или разногласия
экспертов при коллективном обсуждении.
На
практике чаще применяется анкетирование,
которое позволяет с меньшими трудозатратами
собрать мнения экспертов. Обычнопроцесс
разработки анкеты включает:
Определение формы
и содержания обращения к эксперту;
Выбор типа вопросов;
Формулировку
вопросов;
Изложение
необходимой для эксперта информации;
Разработку формы
анкеты.
В последние годы
среди типов вопросов наиболее
употребляемыми стали так называемые
веерный (предполагает один ответ из
ряда ответов), закрытый (ответы «да»,
«нет», «не знаю») и открытый (ответ на
вопрос может быть дан в произвольной
форме).
Очень важно при
анкетировании экспертов правильно,
просто и однозначно, кратко и в то же
время с необходимой полнотой сформулировать
вопросы в анкетах, а в тексте пояснительной
записки указать, что конкретно
требуется от эксперта. Для ответов на
вопросы, т. е. для принятия решения каждым
экспертом, проводятся объективные и
(или) субъективные измерения рассматриваемого
объекта в явном или неявном виде. При
субъективном измерении эксперты, как
правило, применяют один из указанных
ранее методов (рангов, непосредственного
оценивания, сопоставлений).
Метод рангов и
непосредственного оценивания.
По методу рангов
эксперт осуществляет ранжирование
(упорядочение) исследуемых объектов
в зависимости от их относительной
значимости (предпочтительности). При
этом наиболее предпочтительному объекту
обычно присваивается первый ранг, а
наименее предпочтительному - последний,
равный по абсолютной величине числу
упорядочиваемых объектов. Более точным
такое упорядочение становится при
меньшем количестве объектов исследования,
и наоборот.
П
Таблица
1.9.2
Определение
результирующего ранга объектов
ранжирования
|
Объект ранжиро-
вания №
|
Эксперт №
|
Сумма рангов
объектов
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
ри предпочтительной (по
рангам) расстановке объектов экспертизы
одним экспертом сумма рангов должна
равняться сумме чисел всего натурального
ряда количества объектовН,
начиная с единицы [H
x
(Н+
1):2].
Результирующие ранги объектов ранжирования
по данным опросов определяются как
сумма рангов для каждого объекта.
При этом в итоге первый ранг присваивается
тому объекту, который получил
наименьшую сумму рангов, а последний -
тому, у которого оказалась наибольшая
сумма рангов, т. е. наименее значимому
объекту (пример определения результирующего
ранга трех объектов семью экспертами
приведен в табл. 2).
Метод непосредственного
оценивания (балльный) представляет
собой упорядочение исследуемых
объектов в зависимости от их важности
путем приписывания баллов каждому
из них. Наиболее значимому объекту
дается наибольшее количество баллов
по принятой шкале, диапазон шкалы оценок
обычно принимается от 0 до 1, до 5, до 10
или до 100. В простейшем случае оценка
может равняться 0 или 1. Иногда оценивание
осуществляется в словесной форме,
например «очень важный», «важный»,
«маловажный». Для большего удобства
обработки результатов опроса такие
оценки могут переводиться в балльную
шкалу (например, соответственно 3, 2,
1).
Н
Таблица
3.
Определение
результатов непосредственного оценивания
объектов
|
Объект оценива-
ния №
|
Эксперт №
|
Сумма баллов
объекта
|
Результи- рующий
ранг объекта
|
Весомость объекта
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
епосредственное оценивание
следует применять при уверенности
полной профессиональной информированности
экспертов о свойствах исследуемых
объектов. По результатм оценок
определяются ранг и весомость
(значимость) каждого исследуемого
объекта (пример оценивания трех объектов
по 10-балльной шкале приведен в табл. 3).
ПО результатам
оценок экспертов место любого объекта
можно пределить по формуле:
(2)
Где
В
i
-
значимость
i
-го
объекта (i
= 1, 2,.., п),
рассчитанная на основании
оценок
экспертов (j
= 1,2,.., k
),
А
ij
-
оценка (в
баллах), данная i
-у
объекту j
-м
экспертом.
Метод
сопоставления
.
Метод сопоставления
осуществляется парным сравнением и
последовательным сопоставлением.
При
парном сравнении
эксперт сопоставляет исследуемые
объекты по их важности попарно,
устанавливая в каждой паре наиболее
важный.
Все возможные пары объектов эксперт
представляет в виде записи каждой из
комбинаций (объект 1 - объект 2, объект
2 - объект 3 и т. д.) или в форме матрицы.
Общее количество пар сравнения равно
,
(3)
где
Н -
количество исследуемых объектов
экспертизы.
В
Таблица
4
Матрица
оценки объектов методом парного
сравнения
|
Наименование
объекта
|
№ объекта
|
|
|
|
|
|
Общее
кол-во предпочтений
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
результате сравнения
эксперт высказывает мнение о важности
того или иного объекта, т. е. отдает
одному из них предпочтение. Иногда
эксперты приходят к выводу об
эквивалентности каждого из объектов
пары. Для упорядочения всех рассматриваемых
объектов необходима последующая
обработка результатов сравнения.
Наиболее удобно осуществлять парные
сравнения и их обработку, используя в
качестве инструментаматрицы (табл. 4). В отдельных
случаях при большом количестве исследуемых
объектов на результаты парного сравнения
оказывают влияние психологические
факторы, т. е. предпочтение порой
получает не тот объект, который
действительно предпочтителен перед
другими, а тот, который в перечне пар
записан первым или находится по
расположению в матрице выше сравниваемого,
поэтому иногда для исключения
психологического влияния проводят
двойное парное сравнение, т. е. еще
раз осуществляют парное сравнение, но
только при обратном расположении
объектов и объектов в каждой паре.
Количество пар при двойном парном
сравнении соответственно в два раза
больше, чем при одинарном парном
сравнении.
При записи каждой
комбинации эксперт подчеркивает в
каждой паре сравниваемых объектов
наиболее важный. На пересечении
вертикальных и горизонтальных строк
матрицы для каждой пары объектов он
ставит 1 или 0 (либо плюс или минус) в
зависимости от определенной им
значимости того или иного объекта.
Весомость каждого
объекта сравнения рассчитывается по
формуле:
(4)
где
А
i/i,j
- количество предпочтений (единиц, или
плюсов, подчеркиваний)
i
-го
объекта над i
-м
объектом, указанное j
-м
экспертом;
А
-
общее
количество пар объектов.
Р
Таблица
5.
Сводная
матрица результатов парного сравнения
объектов
|
Наименование
объекта
|
№ объекта
|
Кол-во
предпочтений i-
го
объекта, данных экспертами
|
Сумма
предпоч- тений
|
Весомость
объекта
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
езультаты заполнения
матриц всеми экспертами и расчетные
данные можно свести в матрицу (табл.
5).
Расчеты при двойном
парном сравнении проводятся по тем же
формулам, что и при обычном парном
сравнении, однако количество пар при
этом увеличивается вдвое.
Сущность
метода последовательного сопоставления
состоит в следующем. Эксперт располагает
все исследуемые объекты в порядке их
важности (как метод рангов). Предварительно
каждому объекту присваивается определенное
количество баллов, например по шкале
от 0 до 1 (как метод оценивания). Причем
самому важному объекту дается балл,
равный 1, а всем остальным - в порядке
уменьшения их значимости от 1 до 0. Далее
эксперт решает вопрос, будет ли важность
объекта, имеющего ранг 1, больше суммы
балльных оценок всех остальных
объектов. Если будет, то величина
балльной оценки первого объекта
увеличивается до этого уровня, а если
нет, то эксперт уменьшает эту величину
до такого числового значения, чтобы
она стала меньше суммы оценок всех
остальных объектов. Величины оценок
второго, третьего и последующих объектов
по важности определяются последовательно
аналогично оценке первого наиболее
важного объекта.
Метод последовательного
сопоставления для экспертов наиболее
трудоемок, особенно это ощущается при
количестве, превышающем шесть-семь
исследуемых объектов.
Обработка и
оценка согласованности экспертных
данных.
Обработка собранных
мнений экспертов проводится как
количественно (численные данные), так
и качественно (содержательная
информация). При обработке используются
различные способы. При наличии численных
данных для решения вопросов, имеющих
достаточный информационный материал,
применяются методы усреднения
экспертных суждений. Однако даже при
имеющихся численных данных, но при
недостаточности информации по решаемому
вопросу, наряду с количественными
методами обработки экспертных данных
используются методы качественного
анализа и синтеза.
При
использовании рассмотренных экспертных
методов (рангов и др.) мнения экспертов
часто не совпадают, поэтому необходимоколичественно
оценивать меру согласованности мнений
экспертов и определять причины
несовпадения суждений. Мера согласованности,
естественно, определяется на основе
статистических данных всей группы
экспертов. Для оценки меры согласованности
мнений экспертов используются, как
правило,
коэффициенты конкордации.
Мера согласованности
определяется математико-статистической
обработкой всех имеющихся результатов
экспертизы. Так, согласованность
мнений компетентных экспертов при
использовании всех указанных экспертных
методов, где определяются ранги объектов,
можно определить с помощью коэффициента
конкордации (согласия) по формуле:
(5)
где С - сумма
квадратов отклонений сумм рангов по
каждому объекту от средней суммы
рангов по всем объектам и экспертам, т.
е.
(6)
где
- средняя сумма рангов.
Коэффициент
конкордации может быть в диапазоне
.
ПриW
=0
согласованность мнений экспертов
отсутствует, а при W=
1
- согласованность полная. Обычно
считается, что согласованность вполне
достаточна, если
W
>= 0,5.
Допустим, по
результатам работы компетентных
экспертов получены определенные
данные ранжирования и по ним требуется
рассчитать коэффициент конкордации
(табл. 6)
Кэффициент
конкордации равен
,
(7)
т
Таблица
6. Данные для расчета коэффициента
конкордации
|
Эксперт
№
|
Ранги,
поставленные экспертами Пяти
объектам ранжирования (Н=5)
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
.е. мнения экспертов можно
признать согласованными, так как
полученная величина коэффициента
конкордации удовлетворяет условию W>=
0,5.
При использовании
экспертных методов, в которых ранги не
определяются, для нахождения конкордации
рассчитанные значимости объектов
следует переводить в ранги. Ранг 1
приписывается объекту, у которого
значимость наибольшая и т. д., в противном
случае оценку согласованности мнений
проводят по другим критериям согласия.
Рассчитанную
величину коэффициента конкордации
следует взвешивать по критерию
Пирсона (X
2
)
с определенным уровнем значимости
(В),
т. е. максимальной вероятностью
неправильного результата |работы
экспертов. Обычно задавать значимость
достаточно в пределах 0,005 - 0,05.
В
случае получения расчетной величины
X
2
расч
>
табличной
Х
2
табл
(с избранным
уровнем значимости) мнения экспертов
окончательно признаются согласованными.
Табличные
величины Х
2
табл
(табл. 7) зависят от принимаемого уровня
значимости и числа степеней свободы
(S
),
которое определяется по формуле
,
(8)
Расчетная
величина Х
2
расч
определяется по формуле
Таким образом, для
данных, приведенного ранее примера
.
(10)
При
уровне значимости 0,05 табличная величина
Х
2
табл
равна примерно 9, т. е. мнения экспертов
можно окончательно признать с вероятностью
0,95 согласованными, так как Х
2
расч
>
Х
2
табл
.
