Про вред KPI

Недавно видел у кого-то в ленте размышления про KPI для QA инженеров. Что вот как бы хитро добавить зависимость зарплаты от от количества найденных багов.

На мой взгляд это ошибочный подход. Когда деньги — единственная или главная мотивация и есть некий один "главный KPI/показатель", то это долгосрочно ухудшает достижение нужных целей¹. Эта мотивация начинает работать на достижение именно KPI, а не цели, которая за этими KPI стоит.

Это описывается например в известном примере с кобрами. Когда Индия была колонией Британии, то англичане были озабочены проблемой кобр. Поэтому англичане предложили премию за каждую найденную и убитую кобру. Сначала эта программа работала неплохо. Но потом индийцы стали просто разводить кобр сами на своих фермах. Когда правительство узнало об этом, программу свернули и перестали платить премии. Индийцам стало невыгодно разводить кобр, они их выпустили на волю. В результате популяция змей в итоге увеличилась.

Подобные штуки не единичны. Во Вьетнаме французское правительство предложило премию за убитых крыс. Деньги выплачивались при показе отрубленного хвоста. В результате охотники ловили крыс, отрубали им хвосты и отпускали на волю — размножаться дальше, чтобы они плодились дальше и было что рубить в будущем.

Другая история была относительно недавно, в середине XX века в Канаде. Канадское федеральное правительство субсидировало Квебеку расходы на пациентов. Дюплесси, премьер-министр Квебека, перевел все сиротские приюты под управление католической церкви. Потом приюты были переквалифицированы в госпитали, чтобы увеличить субсидии а детей рожденных вне брака туда забирали как "сирот". Так как Канада платила Квебеку $1.25 за содержание сироты и $2.75 за пациента психической больницы, то многих сирот переквалифицировали в психически больных, чтобы еще больше увеличить гранты. Ужасная история (вот тут подробнее на русском: https://diletant.media/articles/33392175/ или английском: https://www.nytimes.com/1993/05/21/world/orphans-of-the-1950-s-telling-of-abuse-sue-quebec.html)

И подобных перекошенные мотиваций очень много вокруг нас. Ну например риелторы. Если мы нанимаем риелтора купить квартиру и риелтор получает фиксированный процент за стоимость (например 3%), то риелтору не выгодно купить ее дешево. Ей выгодно купить ее дорого, но так, чтобы мы все еще согласились на эту цену. (Поэтому наверное мотивация риелтора должна быть обратной в такой ситуации — бОльший %, если цена ниже).

Поэтому или деньги не должны быть завязаны на KPI или же KPI не должен быть один: это должен быть набор сбалансированных метрик (они должны как бы противоречить друг другу, если мы ) или должен быть добавлен неисчислимый KPI в виде экспертного мнения ("здравого смысла"). Я писал об этом чуть подробнее в заметке про закон Гудхарта: https://qetz.al/thought-log/2017-04/#open20

[1] — при этом я допускаю, что возможно этот тип мотивации с конкретным одним KPI, привязанным к деньгам, может работать при достаточно рутинной простой работе, не требующей креативности / решений. Например "закручивать болт на конвеере". Любая чуть более сложная штука сразу вызывает "коррупцию" этого KPI, пример — поищите как водители. Яндекс.Такси обманывают систему. Я был поражен креативностью этих людей.