Метод группового обсуждения полезен при оценке проекта на ранней стадии или при большом количестве факторов неопределенности. В этой главе представлен метод неструктурированной групповой экспертной оценки (групповое обсуждение) и структурированный метод, называемый «широкополосным Дельфийским методом».

13.1. Групповое обсуждение.

Простой способ повышения точности оценок, созданных отдельными экспертами, заключается в проведении группового анализа оценок. При обсуждении оценок в группах я требую соблюдения трех простых правил.

• Каждый участник группы оценивает фрагменты проекта по отдельности, после чего группа встречается для сравнения оценок. Обсудите различия в оценках и постарайтесь понять причины различий. Работайте до тех пор, пока не достигнете единого мнения по поводу верхней и нижней границ оценок.

• Не ограничивайтесь принятием усредненной оценки. Вычислить среднее значение можно, но непременно обсудите различия между отдельными результатами. Не принимайте вычисленное среднее значение автоматически.

• Согласуйте оценку, которая будет принята всей группой. Если обсуждение зайдет в тупик, не прибегайте к голосованию. Обсудите различия и добейтесь консенсуса от всех членов группы.

Несмотря на простоту, эта методика улучшает точность оценки. На рис. 13.1 показаны результаты по 24 группам оценщиков, с которыми я работал.

Рис. 13.1. Простое обсуждение индивидуальных оценок существенно улучшает их точность.

Средняя величина относительной ошибки для индивидуальных оценок на рис. 13.1 составляет 55 %. У оценок, прошедших обсуждение в группах, она уменьшилась до 30 %. В данном примере 92 % групповых оценок превосходили индивидуальные оценки по точности, причем обсуждение в среднем приводило к двукратному сокращению ошибки.

СОВЕТ № 62.

Используйте групповое обсуждение для повышения точности оценки.

Какое количество экспертов считать достаточным? Исследования в других областях показали, что от 3 до 5 экспертов с разной квалификацией обычно оказывается достаточно (Libby and Blashfield 1978, Jorgensen 2002).

Также может быть полезно пригласить экспертов с подготовкой в разных областях или пользующихся разными методиками (Armstrong 2001, Jorgensen 2002).

13.2. Широкополосный Дельфийский метод.

Широкополосный Дельфийский метод относится к структурированным методам групповой оценки. Исходный Дельфийский метод был разработан в Rand Corporation в конце 1940-х годов для прогнозирования технологических тенденций (Boehm 1981). Его название происходит от древнегреческого города Дельфы, где находился оракул. В базовом варианте Дельфийского метода несколько экспертов создают независимые оценки, а затем встречаются до тех пор, пока им не удастся согласовать одну оценку.

Первоначальные исследования применения Дельфийского метода для оценки программного обеспечения показали, что базовый Дельфийский метод не обеспечивает большей точности, чем менее структурированные групповые обсуждения. Барри Бем и его коллеги сделали вывод, что общие собрания слишком подвержены политическому давлению, и на них часто доминируют наиболее настойчивые оценщики в группе. По этой причине Бем с коллегами доработали базовый Дельфийский метод и превратили его в то, что сейчас известно под названием широкополосного Дельфийского метода. Основная процедура представлена в табл. 13.1.

Таблица 13.1. Широкополосный Дельфийский метод.

1.

Координатор предоставляет каждому оценщику спецификацию и форму оценки.

2.

Оценщики по отдельности готовят исходные оценки (также этот шаг может выполняться после шага 3).

3.

Координатор созывает собрание группы, на котором оценщики обсуждают проблемы, связанные с оценкой текущего проекта. Если группе удается согласовать единую оценку без особых дискуссий, координатор назначает одного из участников на роль «адвоката дьявола».

4.

Оценщики анонимно передают индивидуальные оценки координатору.

5.

Координатор готовит сводку оценок в итеративной форме (рис. 13.2) и представляет форму оценщикам, чтобы они видели, как выглядят их оценки в сравнении с оценками других участников группы.

6.

Координатор организует встречу, на которой оценщики обсуждают расхождения в оценках.

7.

Оценщики проводят анонимное голосование по принятию средней оценки. Если хотя бы один из оценщиков проголосует отрицательно, процедура возвращается к шагу 3.

8.

Окончательной считается точечная оценка, полученная по Дельфийской процедуре. Также окончательная оценка может представлять собой диапазон, созданный в ходе обсуждения, а точечная оценка представляет ожидаемый случай.

Источник: Адаптировано по материалам «Software Engineering Economics» (Boehm 1981).

Шаги 3-7 выполняются в личном общении, на групповых собраниях, по электронной почте или в чате. Выполнение их на электронном уровне помогает сохранить анонимность экспертов. Итерации шагов 3-7 выполняются немедленно или в пакетном режиме, в зависимости от критичности оценки по времени и доступности оценщиков.

Рис. 13.2. Форма оценки для широкополосного Дельфийского метода.

Оценочная форма, изображенная на рис. 13.2, может быть бумажной или же может быть нарисована координатором на доске. На показанной форме представлена шкала от 0 до 20 человеко-месяцев. Исходный диапазон должен быть по крайней мере втрое шире диапазона, который вы рассчитываете получить, чтобы оценщики не чувствовали себя ограниченными рамками заранее определенного диапазона.

Координатор должен следить за тем, чтобы люди со склонностью к психологическому доминированию не оказывали нежелательного влияния на оценку. Излишняя напористость не присуща разработчикам, однако самый сдержанный участник нередко предоставляет самый ценный взгляд на оцениваемую работу.

Все итерации оценок полезно отображать на одной шкале, чтобы разработчики могли проследить за их схождением (или в некоторых случаях — за расхождением). Пример показан на рис. 13.3.

Рис. 13.3. Оценочная форма широкополосного Дельфийского метода после трех итераций.

После итерации 3 группа согласилась на оценку в виде диапазона от 12 до 14 месяцев, при этом ожидаемое значение составляет 13 человеко-месяцев.

Эффективность широкополосного Дельфийского метода.

Я собрал данные по применению широкополосного Дельфийского метода в очень трудной оценочной проблеме. На рис. 13.4 представлены данные об ошибках,.

полученных при простом усреднении исходных оценок, по сравнению с ошибками при использовании широкополосного Дельфийского метода.

Мой опыт применения широкополосного Дельфийского метода показывает, что он снижает ошибку примерно на 40 % по сравнению со усредненной оценкой группы. Из групп, участвовавших в моем исследовании, две трети предоставили более точный ответ при использовании широкополосного Дельфийского метода, нежели при простом усреднении.

Рис. 13.4. Сравнение точности оценок при простом усреднении и широкополосном Дельфийском методе. Широкополосный Дельфийский, метод сокращает ошибку оценки в двух третях случаев.

Из 10 групп, предоставивших наихудшие исходные оценки (рис. 13.5), широкополосный Дельфийский метод улучшил точность оценки в 8 случаях из 10, а среднее сокращение ошибки составило 60 %.

По этим данным я сделал вывод, что широкополосный Дельфийский метод в большинстве случаев улучшает точность и оказывается особенно полезным в результатах с большим разбросом ошибок.

«Истина где-то рядом».

Методы, основанные на усреднении индивидуальных оценок, подразумевают, что правильный ответ лежит где-то в диапазоне между самой низкой и самой высокой оценкой. Тем не менее в моих данных широкополосного Дельфийского метода исходные оценочные диапазоны 20 % групп не включали правильный ответ. Это означает, что усреднение таких исходных оценок в принципе не может привести к точному результату.

Вероятно, самое интересное свойство широкополосного Дельфийского метода заключалось в том, что одна треть групп, у которых исходный диапазон не включал правильный ответ, немедленно соглашались с оценкой, лежащей за пределами их исходного диапазона ближе к правильному ответу. Другими словами, в таких.

группах широкополосный Дельфийский метод работает лучше, чем лучшая из индивидуальных оценок. Ситуация продемонстрирована на рис. 13.6. Обратите внимание: ни одна из групп не согласилась с окончательной оценкой, которая была хуже наихудшей индивидуальной оценки.

Когда применять широкополосный Дельфийский метод

В сценарии с трудной оценкой, описанном в этой главе, широкополосный Дельфийский метод сократил среднюю ошибку оценки с 290 до 170 %. Ошибки в 290 % и 170 % чрезвычайно велики, но это характерно для оценок, создаваемых в широкой.

части конуса неопределенности. Тем не менее сокращение ошибки на 40 % весьма ценно, будь то уменьшение с 290 до 170 % или с 50 до 30 %.

Хотя мои данные, казалось бы, однозначно одобряют широкополосный Дельфийский метод, в отрасли сейчас изучается вопрос о том, как объединять оценки, созданные разными оценщиками. Некоторые исследования показали, что групповой подход к объединению оценок работает лучше; в других лучше работало простое усреднение (Jorgensen 2002).

Поскольку широкополосный Дельфийский метод требует проведения собраний, он связан с большими затратами рабочего времени и поэтому считается дорогостоящим методом оценки. Для получения подробных оценок для множества задач он не подходит.

Широкополосный Дельфийский метод полезен при оценке работы, проводимой в малознакомой деловой области, базирующейся на новой технологии или направленной на разработку нового вида программного обеспечения. Он помогает создавать приближенные оценки «с точностью до порядка» на стадии определения продукта или выработки концепции, пока многие требования еще не были сформулированы. Он также хорошо работает в проектах, связанных с несколькими разнородными специализациями, — скажем, в комбинациях алгоритмической сложности, исключительного быстродействия, сложных бизнес-правил и т. д. Кроме того, метод способствует более четкому определению объема работы и помогает избавиться от лишних предположений. Короче говоря, широкополосный Дельфийский метод приносит наибольшую пользу при оценке одиночных показателей, использующих входные данные из разных областей в очень широкой части конуса неопределенности. В подобных неопределенных ситуациях широкополосный Дельфийский метод способен оказать неоценимую помощь.

СОВЕТ № 63 -.

Используйте широкополосный Дельфийский метод для формирования оценок на ранней стадии проекта, в незнакомых системах, а также тогда, когда в проекте задействовано несколько разнородных дисциплин.