Пол Грэм: Способ выявить предвзятость

Новое эссе Пола Грэма «A Way to Detect Bias» посвящено интересной и актуальной теме: как вычислить наличие предвзятости в процессе отбора? Всё чаще слышно о различных видах предубеждённости и дискриминации, но о способах их выявления — практически ничего.

Грэм предсказывает, что способ, предложенный им ниже, будет использоваться в будущем всё чаще, поскольку данные, необходимые для анализа, обычно доступны публично.

Октябрь, 2015

Для многих это окажется неожиданностью, но в некоторых случаях предвзятость процесса отбора можно выявить, ничего не зная о пуле претендентов. Это довольно интересно, потому что, среди прочего, означает, что третьи лица могут использовать технику обнаружения предвзятости независимо от того, хотят ли этого те, кто осуществляет отбор.

Допустим, вы знаете, что n% отобранных каким-то процессом относятся к типу X. Был ли процесс предвзят?

Большинство людей бессознательно полагают, что для ответа на этот вопрос необходимо знать, какой процент претендентов относился к типу X. И даже в этом случае всё равно известно недостаточно: что, если претенденты типа X были по каким-то причинам слабее или сильнее?

Например, что если местные абитуриенты в среднем сильнее иностранцев потому, что люди с большей вероятностью выберут университет в своей стране, как более надёжный вариант? Тогда, даже если вы приняли соответственный процент абитуриентов, вы предвзяты по отношению к ним.

К счастью, есть гораздо более надёжный способ вычислить предвзятость (в случаях, для которых его можно использовать). Вы можете использовать его, когда (а) у вас есть, как минимум, случайная выборка претендентов, прошедших отбор, (b) после отбора их качество (результаты) измеряются и (c) в рассматриваемой группе аппликантов примерно равное распределение способностей.

Как это работает? Задумайтесь: что значит быть предвзятым? Для процесса отбора предубеждённость против претендентов типа X означает, что им сложнее пройти отбор. Значит, чтобы быть выбранными, претенденты X должны быть лучше, чем все остальные кандидаты. [1]

Следовательно, претенденты типа X, которым всё же удастся пройти отбор, будут превосходить других прошедших претендентов. И, если качество всех прошедших отбор измеряется, вы будете об этом знать.

Естественно, тест, который вы будете использовать для измерений, должен быть надёжным. В частности, он не должен быть аннулирован из-за предвзятости, которую вы пытаетесь им измерить.

Есть области, в которых качество прошедших отбор может быть измерено, и в этих случаях предвзятость легко распознать. Хотите знать, не предвзят ли процесс отбора по отношению к некоторым типам претендентов? Проверьте, не превосходят ли они других прошедших отбор.

Это не просто эвристический анализ для вычисления предвзятости. Это и есть сама суть предвзятости.

Например, многие подозревают, что венчурные компании с предубеждением относятся к основателям женского пола. Можно легко узнать, так ли это: превосходят ли стартапы с основателями-женщинами стартапы с основателями-мужчинами в их портфельных компаниях?

Пару месяцев назад одна венчурная компания опубликовала исследование, показывающее предвзятость такого плана (почти наверняка не подозревая об этом). First Round Capital обнаружили, что среди их портфельных компаний стартапы с основателями-женщинами превосходили остальные на 63%.

Причина, по которой я начал свой рассказ с комментария, что описываемая техника может стать для многих неожиданностью: мы очень редко видим подобные исследования.

Уверен, для First Round окажется сюрпризом, что они сделали одно из них. Я сомневаюсь, что кто-то из них понимал, что ограничив выборку своим портфолио, они сделали исследование не веяний мира стартапов, а своих собственных предубеждений при отборе компаний.

Если бы они понимали значение публикуемых ими цифр, они бы не стали представлять их так, как они это сделали. [2]

Я предсказываю, что в будущем мы увидим больше случаев использования этой техники. Информация, необходимая для проведения таких исследований, становится всё более доступной.

Как правило, данные о претендентах тщательно охраняются организациями, которые их отбирают, но сегодня данные о том, кто прошёл отбор, часто бывают публично доступны каждому, кто берет на себя труд их агрегировать.

Примечания

[1] Эта техника не сработает, если в процессе отбора к разным кандидатам применялись разные критерии — например, если работодатель нанимал мужчин, основываясь на их способностях, а женщин — на основе их внешности.

[2] Интересно прочитать остальную часть доклада First Round, зная, что на самом деле значат их цифры. Я взял в качестве примера женщин-основателей, потому что чаще всего в обществе говорят именно об этом типе предвзятости.

Но самым поразительным оказалось то, в какой степени First Round недооценивал основателей, получивших образование в престижных университетах.

Как указал Пол Бакхайт (Paul Buchheit), First Round исключили из исследования свою наиболее успешную инвестицию — Uber. При некоторых видах исследований действительно стоит исключать крайние случаи, но исследования возврата инвестиций в стартапы к ним не относится.

Спасибо Сэму Альтману (Sam Altman), Джессике Ливингстон (Jessica Livingston) и Джеффу Ральстону (Geoff Ralston) за чтение черновиков этого эссе.

Эссе Пола Грэма A Way to Detect Bias вызвало дискуссию на Hacker News, в ветке которой высказаны некоторые интересные и дополняющие пост идеи.

Если вам понравился пост, делитесь и подписывайтесь, чтобы нам тоже было приятно ♥

Другие эссе Пола Грэма на WOB: