Но в среду, 10 июня, Амазонки шоке гражданских активистов и исследователей, когда он объявил, что он бы на месте годичный мораторий на применение полицией Rekognition. Это произошло практически сразу после IBM для решения о прекращении его распознавания системой. На следующий день, Microsoft объявила, что прекращает продажи своей системы в отделы полиции, пока Федеральный закон регулирует технологию. В то время как Amazon сделал маленький концессию трех компаний, он также является крупнейшим поставщиком технологий для правоохранительных органов. Решение является результатом двух лет исследований и внешнее давление, чтобы продемонстрировать технические недостатки Rekognition и его потенциал для злоупотребления.

“Это невероятно, что Amazon на самом деле отвечает за этот текущий разговор вокруг расизма”, – сказала Дебора Раджи, искусственный интеллект, ответственность исследователя, который в соавторстве с фундаментальным исследованием о расовой предвзятости и неточности, встроен в компании технология. “Это просто говорит о силе текущего момента”.

“Год-это старт”, – говорит Крокфорд Кейд, директор программы технологии “свобода” Американского союза гражданских свобод штата Массачусетс. “Это абсолютно допуске на участие, по крайней мере имплицитно, что расовая поборников справедливости говорили им в течение двух лет-это правильно: лица технология видеонаблюдения позволяет черный и коричневый человек в Соединенных Штатах. Это замечательный прием”.

Два года

В феврале 2018 года, исследователем из Массачусетского технологического института радость Buolamwini и Timnit Gebru, потом Майкрософт исследователь, опубликовал новаторское исследование под названием Пол тени на пол и расовые предрассудки, внедренных в коммерческие системы распознавания лица. В свое время в исследование были включены системы от Microsoft, IBM и Megvii, один из крупнейших китайских провайдеров распознавания лица. Она не охватывает Rekognition Амазонки.

Тем не менее, это первое исследование в своем роде, и результаты оказались шокирующими: самая худшая система, компании IBM составила 34,4 процентных пункта хуже по классификации пола для темнокожих женщин, чем у светлокожих мужчин. Результаты сразу же развенчали точность утверждает, что компании используют для продажи своей продукции и разгорелись дебаты о распознавание лица в целом.

Как дебаты бушевали, вскоре стало очевидным, что проблема также был глубже, чем перекос в подготовке данных и алгоритмы несовершенны. Даже если системы достигнута 100% точность, они еще могут быть развернуты в опасные стороны, многие исследователи и активисты предупредили.

Oprah misclassified by face recognition
Еще выстрел от радости Buolamwini видео стихотворение “Ай, разве я не женщина?”, демонстрирующая некоторые из грубейших ошибок, допущенных Rekognition.

ВЕЖЛИВОСТЬ АЛГОРИТМИЧЕСКИХ ЛИГА СПРАВЕДЛИВОСТИ

“Есть два способа, что эта технология может навредить людям”, – говорит Радж, который работал с Buolamwini и Gebru на пол тона. “Один из способов-не работает: в силу того, что более высокие показатели ошибок для цветных людей, он подвергает их большему риску. Вторая ситуация, когда он не работает—где у вас есть прекрасное систему распознавания лица, но это легко использовать в военных целях против общины, чтобы преследовать их. Это отдельная и связана разговор”.

“Работа пол тона было выставить первой ситуации”, – говорит она. Таким образом, это создает возможность выставить второй.

Амазонки пытались дискредитировать своих исследований; он пытался подорвать их как черные женщины, которые проводили это исследование.

Мередит Уиттакер

Именно это произошло с IBM. После того, как был опубликован гендерных оттенков, IBM была одной из первых компаний, которые помогли исследователям понять, как исправить свои проблемы уклоном. В январе 2019 года, она выпустила набор данных называется разнообразие в лицах, содержащих более 1 миллиона аннотированных изображений, в стремлении сделать такие системы лучше. Но двигаться аукнулось после того, как люди обнаружили, что снимки были царапины из Flickr, воспитывающих вопросы согласия и конфиденциальности. Это вызвало еще одну серию внутренних дискуссий о том, как этически поезд распознавания. “Он повел их вниз по кроличьей норе обнаружив множество проблем, существовавших в этой технологии”, – говорит Радж.

Итак, в конце концов, это не было неожиданностью, когда компания, наконец, вытащили пробку. (Критики отмечают, что его система не сильно закрепиться на рынке в любом случае.) ИБМ “поняла, что “благами” ни в коей мере не пропорциональна вреда”, – говорит Радж. “И в данный конкретный момент, это было правильное время для них, чтобы пойти общественности об этом”.

Но в то время IBM была реагировать на внешние обратной связи, Амазонки имели противоположную реакцию. В июне 2018 года, в разгар всех других писем с требованием прекращения применения полицией Rekognition, Раджи и Buolamwini расширил пол тона аудит , чтобы охватить его производительность. Результаты, опубликованные полгода спустя в рецензируемых бумаги, вновь нашли огромные технические неточности. Rekognition было классифицировать пол смуглых женщин 31.4 процента меньше точно, чем у светлокожих мужчин.

В июле, американский союз защиты гражданских свобод Северной Калифорнии также провел собственное исследование, определив, что система ошибочно подобранные фотографии из 28 членов американского Конгресса с фото. Ложные схватки были несоизмеримо больше людей цвета.

Вместо того, чтобы признать результаты, однако Amazon опубликовал две блоге посты , утверждая, что Раджи и Buolamwini работа сообщают. В ответ, почти 80 АИ исследователей, в том числе премии Тьюринга Yoshua Bengio, защитила работу и еще раз призвал к компании прекратить продажу распознавания лиц в полицию.

“Это был такой эмоциональный опыт, в то время,” Раджи напоминает. “Мы должны были сделать так много из-за усердия по отношению к нашим результатам. И тогда первоначальная реакция была так прямо конфронтационный и агрессивно-оборонительных”.

“Амазонки пытались дискредитировать своих исследований; он пытался подорвать их как черные женщины, которые проводили эти исследования”, – говорит Мередит Уайтекер, основатель и директор Института ИИ, которая изучает социальные воздействия ИИ. “Он попытался развернуть повествование, что они получили это неправильно—что тот, кто понял тек явно знал это не было проблемой.”

Переезд действительно поставить Amazon в политическую опасность.

Мутале Nkonde

В самом деле, как это было публично уволив в исследовании, Амазон начал инвестировать в исследования фиксирует за кадром. Он нанял справедливости свинца, вложенные в один исследовательский грант Национального научного фонда для смягчения проблем, и выпустили новую версию Rekognition несколько месяцев спустя, отвечая непосредственно к изучению проблем, Раджи говорит. В то же время, его снова избили акционера усилия , чтобы приостановить продажи технологии и проведения независимой правозащитной оценки. Он также потратил миллионы на лоббирование Конгресса, чтобы избежать регулирования.

Но потом все изменилось. 25 мая, 2020, офицер Дерек Шовен убит Джордж Флойд, что вызвало историческое движение в США для борьбы институционального расизма и полицейской жестокости. В ответ, дом и Сенат демократы ввели полицейскую реформу законопроект , который содержит предложение ограничить распознавание в контексте правоприменения, маркировка крупнейший федеральный проект, когда-либо регулировать технологий. Когда IBM объявила, что она прекратит его система опознавания стороны, он также направил письмо в Конгресс группы чернокожих, призвав “национальный диалог о том, как технологии распознавания лица должны использоваться на отечественных правоохранительных органов”.

“Я думаю, что решение компании IBM, чтобы отправить это письмо, в свое время, что же законодательный орган рассматривает законопроект о реформе полиции, действительно сместил ландшафт”, – говорит Мутале Nkonde, ИИ политический советник и научный сотрудник Центра Беркмана Гарвардского университета Кляйн. “Хоть они и не были большим игроком в распознавание лица, движение действительно поставить Amazon в политической опасности”. Он установил четкую связь между технологией и в настоящее время на национальном разговор, так что было трудно для регуляторов игнорировать.

Осторожный оптимизм

Но в то время как активисты и исследователи видят концессии Амазонки как большую победу, они также признают, что война еще не окончена. Для один вещь, Амазонки 102-слово заявление было расплывчатым деталей о ли мораторий будет охватывать правоохранительных органов вне полиции, таких как иммиграция в США и таможенного контроля или отдел внутренней безопасности. (Амазонка не ответила на просьбу прокомментировать ситуацию.) По другой, один год срок действия тоже красный флаг.

“Циничная часть меня говорит, что Amazon собирается ждать, пока протесты не утихнут, пока национальный разговор переходит на что-то другое—чтобы вернуться на прежние позиции”, – говорит Крокфорд Американского союза гражданских свобод. “Мы будем внимательно следить за тем, чтобы эти компании не эффективно получать хорошую прессу за эти последние анонсы и одновременно работать за кулисами, чтобы помешать нашим усилиям в законодательные органы”.

Именно поэтому активисты и исследователи также полагают, регулирование будет играть важнейшую роль движения вперед. “Урок не в том, что компании должны самостоятельно управляться”, – говорит Уиттакер. “Урок заключается в том, что нам нужно больше давление, и что мы нужны нормы, которые гарантируют, что мы не просто смотрим на один год запрет”.

Циничная часть меня говорит, что Amazon собирается ждать, пока протесты не утихнут…вернуться в свое прежнее положение.

Крокфорд КАДе

Критики говорят, что условия на распознавание в текущей реформы милиции законопроект, который запрещает только в реальном времени использовать в камеры тела, не почти достаточно широким, чтобы провести технологические гиганты полную ответственность. Но Nkonde настроен оптимистично: она видит в этом первый набор рекомендаций, как семя для дополнительного регулирования прийти. Как только будет принят в качестве закона, они станут важным ориентиром для других законопроектах написано о запрете распознавания лиц в других приложениях и контекстах.

Есть “очень большой Законодательного движения” на федеральном и местном уровнях, – говорит она. И внимания, что смерть Флойда сияло на расистские полиции активизировал свою широкую поддержку.

“Это действительно не стоило полиции убийств Джордж Флойд, Breonna Тейлор, и слишком много других черных людей—и сотни тысяч людей, вышедших на улицы по всей стране—для этих компаний, чтобы понять, что требует от Черно – и коричнево-организаций и ученых из Американского союза гражданских свобод, и от многих других групп были морально правильно,” Крокфорд говорит. “Но мы здесь. Лучше поздно, чем никогда”.

ОСТАВЬТЕ ОТВЕТ

Please enter your comment!
Please enter your name here