Какой из вас оценщик?

Какой из вас оценщик?

Ваша задача — выдать оценку, а не точное значение.
Филип Армор.
Итак, теперь мы знаем, что такое хорошая оценка. А вот хороший ли из вас оценщик? Следующий раздел поможет ответить на этот вопрос.
2.1. Простой тест по оценке.
В табл. 2.1 содержится краткий вопросник, предназначенный для проверки ваших навыков оценки. Пожалуйста, прочитайте его и выполните следующие рекомендации.
Для каждого вопроса запишите верхнюю и нижнюю границу, которые, на ваш взгляд, обеспечивают 90 % вероятность включения правильного значения. Постарайтесь избегать чрезмерного* расширения или сужения диапазонов. Сделайте их достаточно широкими для того, чтобы по вашему здравому смыслу диапазоны с 90%-й достоверностью включали правильный ответ. Пожалуйста, не ищите ответы в справочниках — тест должен проверить ваши навыки оценки, а не умение работать с литературой. Вы должны ввести ответ на каждый вопрос; пропущенный ответ считается неправильным. На выполнение теста отводится 10 минут.
(Также можно скопировать лист перед заполнением, чтобы следующий читатель книги тоже мог ответить на вопросы.).
Правильные ответы на упражнение (например, географическая широта Шанхая) приводятся в приложении Б в конце книги. За каждый диапазон, включающий правильный ответ, вам начисляется одно очко.
Источник: навеяно аналогичным тестом из книги «Programming Pearls», Second Edition (Bentley, 2000).
Тест из книги «Software Estimation» Стива Макконнела (Microsoft Press, 2006) © 2006 Steve McConnell. Авторские права защищены. Копирование разрешается только при условии включения настоящего уведомления об авторских правах.
2.2. Обсуждение результатов теста 35
Что у вас получилось? (Не огорчайтесь. Большинство людей показывает не лучший результат!) Пожалуйста, запишите свой результат здесь:_.
2.2. Обсуждение результатов теста.
Зачем здесь приводится этот тест? Вовсе не для того, чтобы проверить, знаете ли вы дату рождения Александра Македонского или широту Шанхая. Он проверяет, насколько хорошо вы понимаете свои собственные способности к оценке.
Насколько достоверна «90-процентная достоверность»?.
В описании теста четко сказано, что целью теста должна быть оценка с достоверностью 90 %. Тест состоит из 10 вопросов; если вы действительно оцениваете с достоверностью 90 %, вы должны были получить 9 правильных ответов
Возможно, вы были осторожны, определили слишком широкие диапазоны и получили 10 правильных ответов из 10. Если вы поторопились и определили.
диапазоны более узкие, чем следовало, возможно, вам удалось правильно получить 7 или 8 ответов из 10. Я давал этот тест сотням оценщиков. На рис. 2.1 показаны результаты для последних 600 человек, проходивших этот тест.
Рис. 2.1. Результаты теста «Какой из вас оценщик?» Большинство испытуемых получает 1-3 правильных ответа.
Для группы, результаты которой показаны на рисунке, среднее количество правильных ответов было равно 2,8. Всего два процента испытуемых дали 8 и более правильных ответов. Никто и никогда не дал 10 правильных ответов. Я сделал вывод, что интуитивные представления большинства людей о «90 % достоверности» в действительности ближе к «30 % достоверности». Другие исследования также подтвердили мое базовое открытие (Zultner 1999, Jorgensen 2002).
Я видел множество рабочих групп, представлявших графики, «достоверные на 90 %». Потом эти графики нередко нарушались — собственно, чаще нарушались, чем соблюдались. Если бы график действительно составлялся с 90%-й достоверностью, то по статистике превышение встречалось бы лишь в одном случае из 10.
Отсюда следует, что значения достоверности в процентах (например, 90 %) имеют смысл только в том случае, если они поддерживаются неким статистическим анализом. В противном случае это не более чем подмена действительного желаемым. Как добиться настоящей 90 % достоверности, мы разберемся позднее в этой книге.
СОВЕТ № 5 -.
Не предоставляйте процентные оценки достоверности (особенно «достоверные на 90 %»), если только они не поддерживаются количественными методами.
Как выбирать ширину диапазона?.
Столкнувшись с человеком, получившим 7 или 8 правильных ответов, я спрашиваю: «Как вам это удалось?» Типичный ответ: «Я выбрал слишком широкие диапазоны».
Мой ответ: «Ничего подобного! Ваши диапазоны были слишком узкими!» Даже если вы получили 7 или 8 правильных ответов, значит, диапазоны все равно оказались недостаточно широкими для получения желаемой доли правильных ответов.
Мы склонны полагать, что оценки, выраженные в виде узких диапазонов, точнее оценок с широкими диапазонами. Нам кажется, будто широкие диапазоны свидетельствуют о невежестве или некомпетентности оценщика. Обычно все наоборот (конечно, узкие диапазоны предпочтительны в тех случаях, когда они поддерживаются фактическими данными).
СОВЕТ № 6 -.
Избегайте искусственного сужения диапазонов. Следите за тем, чтобы диапазоны, используемые в оценках, не искажали вашего представления о достоверности оценки.
Откуда возникает стремление к сужению диапазонов?.
Когда вы отвечали на вопросы теста, хотелось ли вам расширить диапазоны? Или вы чувствовали, что их лучше сузить? Как правило, испытуемые говорят, что им хотелось сделать диапазоны как можно уже. Но если вы вернетесь к инструкциям и внимательно прочитаете их, то обнаружите, что я не просил сужать диапазоны. Действительно, в них говорится, что диапазоны не должны быть ни слишком широкими, ни слишком узкими — достаточно широкими для того, чтобы вы были на 90 % уверены в том, что они включают правильный ответ.
После обсуждения этого вопроса с сотнями разработчиков и руководителей я пришел к выводу, что стремление к сужению диапазонов возникает самопроизвольно внутри самого оценщика. Отчасти оно обусловлено чувством профессиональной гордости — люди полагают, что узкий диапазон свидетельствует о более качественной оценке, хотя это совсем не так. Также не стоит сбрасывать со счетов опыт общения с начальством и клиентами, настаивавшими на использовании чрезмерно зауженных диапазонов.
Аналогичное самопроизвольное стремление обнаруживается и в общении между клиентами и оценщиками. Йоргенсен и Сьеберг сообщают, что информация.
об ожиданиях клиентов оказывает сильное влияние на оценку, причем оценщики обычно не сознают, в какой степени она отражается на их результатах (Jorgensen and Sjoberg 2002).
СОВЕТ № 7 -.
Если вы испытываете воздействие, направленное на сужение диапазона, убедитесь в том, что оно идет извне, а не рождается внутри вас.
В главах 22 и 23 обсуждаются различные способы решения проблемы для тех случаев, когда давление действительно идет из внешнего источника.
Насколько показателен тест для реальной оценки программных проектов?.
В области программного обеспечения нам нечасто приходится оценивать объем воды Великих Озер или температуру поверхности Солнца. И можно ли ожидать, что вам удастся оценить общую сумму находящейся в обращении валюты США или количество книг, опубликованных в США, — особенно если вы живете в другой стране?.
Разработчикам программного обеспечения часто приходится оценивать проекты из незнакомых областей — проекты, в реализации которых задействованы новые технологии, новые средства программирования, незнакомый персонал и т. д. Оценка в условиях неопределенности является вполне обычным делом. В оставшейся части этой книги я постараюсь объяснить, как добиться успеха в подобной ситуации.