Глеб Кузнецов: Мечта элит о новом мире выглядит совершенно нежизнеспособной

Две новости из мира искусственного интеллекта меня поразили в последние несколько дней.

1. Amazon закрывает свой проект в области «беспилотных» магазинов — магазинов без традиционных касс и вообще любых усилий покупателя по оформлению товара. Идешь мимо полки, берешь, что тебе нравится, а потом с твоего счета снимается в автоматическом режиме, сколько ты там набрал. XXI век.

На деле ИИ, который тебе насчитывал, оказался настолько кривым, неумелым и неотработанным, что, чтобы не было вала скандалов с клиентами, каждую покупку каждого клиента вели тысячи сотрудников фирм-субподрядчиков из Индии. То есть смотрели в камеру, что ты там взял, и проверяли, что тебе ИИ насчитал, корректируя, если надо, счет и списание. Дыра в безопасности, одним словом, размером с штат Уттар-Прадеш, учитывая, что оные сотрудники подрядных организаций имели онлайн-доступ к платежной информации каждого клиента.

Однако вовсе не это заставило «Амазон» закрыть проект. В компании поняли, что те люди, которые обещали «рабочую силу по цене электричества», а на деле заменили одного живого кассира десятками сотрудников на трех континентах, — мошенники.

Насколько мне известно, примерно так же работают расхваленные «медицинские алгоритмы» в нашей системе здравоохранения — с поправкой на то, что диагноз перепроверяет не далекий индиец, а собственный подневольный врач, зато весь массив «успешных диагнозов», вручную очищенных от ошибок, приписывается очередному супералгоритму. Но это отдельная долгая история.

2. Израильтяне доверили присвоение статуса «боец ХАМАС» системе ИИ Lavender. (Если думаете, что это от «лаванды», то вы ошибаетесь, — это таки от «прачечной». Та самая очистка на новом историческом этапе.) Примерно понимая, как работают такого вида алгоритмы, можно предположить, что система, имея доступ к камерам, анализирует дополнительные параметры — от баз данных силовиков до соцсетей. И принимает решение — террорист/не террорист. После чего у курирующего офицера принятие решения об уничтожении занимает 20 секунд.

Понимая качество алгоритмов (полностью одинаковое с таковыми в «среднем по рынку» — от вышеописанных амазоновских до уже запрещенных «ИИ — судов» в США, которые повадились назначать виноватых исключительно по цвету кожи), этих 20 секунд хватает на то, чтобы вывести из-под удара маленьких детей и религиозных евреев.

По собственным оценкам офицеров, «достоверность алгоритма приближается к 90%». Но так как дублирующей системы проверки в виде тысяч индийцев, перепроверяющих ИИ, в данном случае нет, полагаю, что ошибок тут в лучшем случае столько же, сколько у всех похожих систем, включая медицинские, — около 30% (если алгоритм качественный). Учитывая, что санкция за попадание в базу данных одна — смерть, — история выглядит так себе.

«ИИ-революция», конечно, по мере внедрения практик выглядит все более и более, скажем так, переоцененной. Но это и неплохо. Совершенно нежизнеспособной с такими алгоритмами выглядит актуальная мечта элит о новом мире, полностью описанная Салтыковым-Щедриным в зачине «Дикого помещика»: «Господи! всем я от тебя доволен, всем награжден! Одно только сердцу моему непереносно: очень уж много развелось в нашем царстве мужика».

Хотя назначенных «Лавендером» террористами арабов, безусловно, очень жалко. Как и потерявших непыльную работу по дублированию ИИ индийцев.

Глеб Кузнецов, политолог