Индивидуальные экспертные оценки

Индивидуальные экспертные оценки

Область применения методов этой главы
Структурированный процесс
Контрольный список оценки
Диапазонная оценка задач
Сравнение оценок задач с реальными значениями
Что оценивается
Объем работ, сроки, функциональность
Объем работ, сроки, функциональность
Размер, объем работ, сроки, функциональность
Объем работ, сроки, функциональность
Размер проекта
М С Б
М С Б
М С Б
М С Б
Стадия разработки
Ранняя-поздняя
Ранняя-поздняя
Ранняя-поздняя
Средняя-лоздняя
Итеративный или последовательный стиль
Оба
Оба
Оба
Оба
Возможная.
точность
Высокая
Высокая
Высокая
Индивидуальные экспертные суждения до сих пор остаются самым распространенным методом оценки, применяемым на практике (Jorgensen 2002). Хин и Хабиб-агахи обнаружили, что 83 % оценщиков используют «неформальные аналогии» в качестве основного инструмента оценки (Hihn and Habib-agahi 1991). Проведенное в Новой Зеландии исследование показало, что 86 % фирм-разработчиков используют «экспертную оценку» (Paynter 1996). Барбара Китченхэм и ее коллеги также выяснили, что «мнение эксперта» задействовано в 72 % оценок проектов (Kitchenham et al. 2002).
Экспертные суждения относительно отдельных задач образуют основу для восходящей оценки, но все экспертные суждения равны. И действительно, в главе 7 экспертные суждения названы самым рискованным методом оценки.
9.1. Структурированные экспертные суждения 115.
Говоря о «мнении эксперта», прежде всего необходимо спросить — «эксперта в какой области?» Большой опыт в технологии или разработке еще не делает работника экспертом в области оценок. Йоргенсен сообщает, что накопление опыта в оцениваемой области не приводит к повышению точности оценок (Jorgensen 2002). В других аналитических работах выяснилось, что «эксперты» склонны применять простые стратегии оценки даже при высокой компетентности в оцениваемой теме (Josephs and Hahn 1995, Todd and Benbasat 2000).
В этой главе описано, как повысить эффективность экспертных суждений. Обсуждение тесно связано с материалом главы 10, посвященной точному объединению отдельных оценок.
9.1. Структурированные экспертные суждения.
Индивидуальные экспертные оценки не обязаны быть неформальными или интуитивными. Исследователи обнаружили значительные расхождения в точности между «интуитивными экспертными суждениями», которые обычно оказывались неточными (Lederer and Prasad 1992), и «структурированными экспертными суждениями». Оценки, построенные на основании последних, не уступали по точности оценкам, полученным при помощи математических моделей (Jorgensen 2002).
Кто создает оценки?.
Для конкретных задач — таких, как время, необходимое на программирование и откладку некоторой функции, или создание набора тестовых сценариев — наиболее точные оценки создают люди, непосредственно выполняющие эту работу. Оценки людей, не связанных с работой, оказываются менее точными (Lederer and Prasad 1992). Кроме того, сторонние оценщики в большей степени склонны к недооценкам, чем связанные с разработкой (Lederer and Prasad 1992).
СОВЕТ №43 -.
Оценки уровня задач следует поручать людям, непосредственно занимающимся выполнением соответствующей работы.
Приведенный совет относится именно к оценкам уровня задач. Если ваш проект все еще находится в широкой части конуса неопределенности (то есть конкретные задачи еще не были идентифицированы или назначены исполнителям), оценка должна создаваться опытным оценщиком или самыми опытными разработчиками, специалистами по контролю качества и документированию из имеющегося персонала.
Г ранулярность.
Одним из лучших способов повышения точности оценок уровня задач является разбиение крупной задачи на несколько меньших. При создании оценок разработчики, руководители и специалисты по тестированию обычно сосредоточиваются.
на хорошо понятных им задачах и пренебрегают задачами, которые им незнакомы. Типичный результат — однострочная запись в графике (скажем, «преобразование данных»), на выполнение которой должно было уйти две недели, занимает два месяца, потому что никто не удосужился выяснить, что именно необходимо сделать.
Оценки, составляемые на уровне задач, следует разбивать на задачи, на выполнение которых потребуется не более двух дней работы. Более крупные задачи содержат слишком много «подводных камней», требующих непредвиденной работы. Желательно, чтобы гранулярность полученных оценок составляла 1/4, 1/2 или полный день.
Диапазоны.
Если попросить разработчика оценить некий набор функций, он обычно выдает набор чисел — вроде того, который приведен в табл. 9.1.
Таблица 9.1. Пример точечных оценок, выданных разработчиком
Функция
Оценка времени реализации (в днях)
Функция 1
1,5
Функция 2
1,5
Функция 3
2/0
Функция 4
0,5
Функция 5
0/5
Функция 6
0,25
Функция 7
2/0
Функция 8
1,0
Функция 9
0,75
Функция 10
1,25*
ИТОГО
11,25
Если затем попросить того же разработчика выдать те же оценки для лучшего и худшего случая, разработчик обычно выдает другой набор чисел, наподобие приведенного в табл. 9.2.
Если сравнить исходные точечные оценки с оценками для лучшего и худшего случая, мы видим, что сумма 11,25 для точечных оценок гораздо ближе к оценке лучшего случая (10,5), чем к оценке худшего случая (18,25).
Взглянув на оценки функции 4, также можно заметить, что обе оценки выше исходной точечной оценки. В ходе анализа худшего случая иногда выявляется дополнительная работа, которая должна быть выполнена даже в лучшем случае, а это приводит к повышению номинальной оценки. Обычно при анализе худших случаев я спрашиваю разработчиков, сколько времени займет выполнение задачи, если все пойдет неправильно. Часто выясняется, что мне выдавали оценку для оптимистичного худшего случая, а не для настоящего худшего случая.
9.1. Структурированные экспертные суждения 117 Таблица 9.2. Пример индивидуальных оценок для лучшего и худшего случаев.
Оценка времени реализации (в днях)
Функция
Лучший случай
Худший случай
Функция 1
1/25
2,0
Функция 2
1,5
2,5
Функция 3
2/0
3,0
Функция 4
0,75
2,0
Функция 5
0,5
1,25
Функция 6
0,25
0,5
Функция 7
1,5
2,5
Функция 8
1,0
1,5
Функция 9
0,5
1,0
Функция 10
1,25
2,0
итого
10,5
3
18,25
Если вы руководите проектом, поручите своим разработчикам создать набор точечных оценок. Скройте от них результаты и предложите создать набор оценок для лучших или худших случаев. Сравните полученные оценки с исходными точечными — результат часто оказывается неожиданным.
Это упражнение полезно по двум причинам. Во-первых, оно помогает понять, что точечные оценки ближе к оценкам для лучшего случая. Во-вторых, после многократной формулировки оценок в вашем сознании начнет формироваться привычка к анализу худшего из возможных случаев. Если вы привыкнете рассматривать как лучший, так и худший результат, вы постепенно начнете включать весь диапазон возможных результатов в точечные оценки задач независимо от того, были реально сформулированы оценки для лучшего и худшего случаев или нет.
СОВЕТ № 44 -.
Создание оценок для лучшего и худшего случаев стимулирует мышление и помогает учесть весь возможный диапазон возможных результатов.
Формулы.
Создание оценок для лучшего и худшего случаев — всего лишь первый шаг. Вы по-прежнему стоите перед вопросом, какую из оценок использовать. А может, вычислить среднее арифметическое? В действительности оба варианта не годятся. Во многих случаях худший случай намного хуже того, что можно называть «ожидаемым случаем». Вычисление середин по диапазонам приведет к нежелательному смещению оценки.
Методика PERT (Program Evaluation and Review Technique) предназначена для вычисления ожидаемого случая, который может и не находиться в средней точке диапазона между лучшим и худшим случаями (Putnam and Myers 199, Stutzke 2005). Для использования PERT в набор случаев включается дополнительный «наиболее вероятный» случай, который оценивается посредством экспертного суждения. Затем ожидаемый случай вычисляется по формуле:.
ФОРМУЛА № 1 -.
Ожидаемый случай = [ЛучшийСлучай + (4 х НаиболееВероятныйСлучай) + ХудшийСлучай]/6.
Формула учитывает как полную длину диапазона, так и позицию наиболее вероятного случая внутри диапазона. В табл. 9.3 показаны оценки из табл. 9.2 с добавлением наиболее вероятного и ожидаемого случаев. Как видно из таблицы, общая оценка 13,62 ближе к нижнему концу диапазона, чем среднее значение 14,4.
Таблица 9.3. Пример индивидуальной оценки с лучшим, худшим и наиболее вероятным случаями.
Оценка времени реализации (в днях)
Функция
Лучший.
случай
Наиболее вероятный случай
Худший.
случай
Ожидаемый.
случай
Функция 1
1/25
1/5
2,0
1,54
Функция 2
1/5
1/75
2,5
1,83
Функция 3
2,0
2,25
3,0
2,33
Функция 4
0,75
1
2,0
1,13
Функция 5
0,5
0,75
1,25
0,79
Функция 6
0,25
0,5
0,5
0,46
Функция 7
1/5
2
2,5
2,00
Функция 8
1/0
!,25
1,5
1,25
Функция 9
0,5
0,75
1,0
0,75
Функция 10
1/25
1/5
2,0
1,54
ИТОГО
10,5
13,25
18,25
13,62
Как обсуждалось в главе 4, «наиболее вероятные» оценки склонны к излишнему оптимизму, что может привести к оптимистическому завышению общих оценок при использовании этого подхода. Некоторые эксперты в области оценки рекомендуют изменить базовую формулу PERT, чтобы учесть смещение в оценке (Stutzke 2005). Измененная формула выглядит так:.
ФОРМУЛА № 2 -.
Ожидаемый случай = [ЛучшийСлучай + (3 х НаиболееВероятныйСлучай) + (2 х ХудшийСлучай)]/6.
Это разумное решение проблемы для краткосрочной перспективы. Долгосрочное решение проблемы — работа с людьми, направленная на повышение точности их оценок наиболее вероятного случая.
Контрольные списки.
Даже эксперты иногда забывают учесть все необходимые факторы. При изучении прогнозирования в различных дисциплинах выяснилось, что простые контрольные списки способствуют повышению точности и напоминают о тех факторах, о которых эксперт мог бы забыть (Park 1996, Harvey 2001, Jorgensen 2002). В табл. 9.4 представлен контрольный список, который можно было бы использовать для повышения точности оценок.
Таблица 9.4. Контрольный список для индивидуальной оценки.
1.
Насколько четко определен оцениваемый показатель?.
2.
Включает ли оценка все виды работ, необходимые для завершения задачи?.
3.
Включает ли оценка все функциональные области, необходимые для завершения задачи?.
4.
Достаточно ли детализирована оценка для выявления скрытой работы?.
5.
Вы ознакомились с документированными фактами (письменными заметками) из прошлой работы, не ограничиваясь оценкой исключительно по собственным воспоминаниям?.
6.
Согласована ли оценка с человеком, который будет заниматься непосредственным выполнением работы?.
7.
Производительность, заложенная в оценку, сходна с той, которая достигалась в аналогичных ситуациях?.
8.
Включены ли в оценку различные случаи — лучший, худший и наиболее вероятный?.
9.
Действительно ли худший случай является худшим? Нельзя ли сделать его еще хуже?.
10.
Насколько правильно вычисляется ожидаемый случай?.
11.
Документированы ли предположения по поводу оценки?.
12.
Изменилась ли ситуация с момента подготовки оценки?.
Чтобы ничего не упустить, также сверьтесь с перечнем часто пропускаемых действий в разделе 4.5.
СОВЕТ № 45 -.
Используйте контрольные списки для улучшения индивидуальных оценок. Составляйте и ведите собственные контрольные списки.
9.2. Сравнение оценок с фактическими значениями.
Отказ от точечных оценок и лучших случаев — всего лишь половина дела. Другой половиной должно стать сравнение фактических результатов с оцениваемыми, чтобы вы могли подрегулировать свои личные способности к оценке.
Ведите список оценок и дополняйте его фактическими результатами по завершении проекта. Затем вычислите величину относительной ошибки (MRE, Magnitude of Relative Error) своих оценок (Conte, Dunsmore, and Shen 1986). MRE вычисляется по следующей формуле:.
ФОРМУЛА №3 -.
MRE = АбсолютноеЗначение х [(ФактическийРезультат - ОценкаРезультата)/ФактическийРезультат].
В табл. 9.5 приведены результаты вычисления MRE для оценок лучшего и худшего случаев из предыдущего примера.
Таблица 9.5. Пример таблицы для отслеживания точности отдельных оценок.
Функция Оценка времени реализации (в днях)
Лучший.
случай
Худший.
случай
Ожидаемый.
случай
Фактический.
результат
MRE
Входит в диапазон между лучшим и худшим случаем?
Функция 1
1/25
2/0
1/54
2
23%
Да
Функция 2
1/5
2/5
1,83
2/5
27%
Да
Функция 3
2/0
3/0
2/33
1/25
87%
Нет
Функция 4
0,75
2/0
1/13
1/5
25%
Да
Функция 5
0,5
1/25
0,79
1
21 %
Да
Функция 6
0,25
0/5
0,46
0/5
8%
Да
Функция 7
1/5
2/5
2,00
3
33 %
Нет
Функция 8
1,0
1/5
1/25
Х
5
17%
Да
Функция 9
0,5
1/0
0,75
1
25%
Да
Функция 10
1,25
2/0
1/54
2
23%
Да
итого
10,5
18,25
13,62
16,25
80 % Да
Среднее
29%
В этой таблице для каждой оценки вычисляется относительная ошибка (MRE). Ее среднее значение по набору оценок, показанное в нижней строке, составляет.
29 %. Вы можете использовать среднюю относительную ошибку для измерения точности своих оценок. По мере улучшения точности MRE начинает убывать. Правый столбец показывает, сколько оценок попадает в диапазон между лучшим и худшим случаем. Также можно проследить за тем, как со временем растет процент оценок, попадающих в диапазон.
СОВЕТ № 46 -.
Сравнивайте оценки с фактическими результатами, чтобы повышать качество своих оценок со временем.
Сравнивая оценки с результатами, попытайтесь понять, что было сделано верно, что неверно, что вы упустили, и как избежать повторения этих ошибок в будущем.
Другим средством организации обратной связи и повышения точности оценок является общественное обсуждение. Я работал с компаниями, в которых разработчики должны были на собраниях по понедельникам сообщать, в какой степени их оценки соответствовали результатам. Таким образом укреплялись представления.
о точности оценок как об одном из стратегических приоритетов компании.
Какой бы способ вы ни выбрали, ключевой принцип остается одним и тем же: организация цикла обратной связи на основании фактических оценок, чтобы ваши оценки улучшались со временем. Чтобы обратная связь была эффективной, она должна быть своевременной; задержка снижает эффективность цикла обратной связи (Jorgensen 2002).

Популярные статьи

Свежие статьи