Андрей Никулин. «Персональный помощник» может стать доносчиком и даже палачом

Одной из самых опасных возможностей развития ИИ и чат-ботов — и параллельно вожделенной и желанной идеей для авторитарных режимов — может стать «персональный индивидуализированный помощник». Уникальный для каждого человека, сформированный под его психологические особенности — он может стать одновременно и единственным разрешенным порталом в цифровой мир, и поисковой системой, и учителем, и пропагандистом, причем настроенным под специфику конкретного пользователя, и исповедником, замкнутым на цифровые же спецслужбы, определяющие степень лояльности и опасности сограждан.

В полностью атомизированном сообществе он будет зачастую единственным другом, знающим тебя и твои потребности лучше тебя самого; слугой, при доступе к элементарным устройствам способным убрать в квартире, выгулять собаку или сходить в магазин; доктором, проводящим с помощью не самых сложных датчиков постоянный контроль твоего организма. И доносчиком, и тюремщиком, возможно, в каких-то случаях и палачом.

Причем несложные даже сейчас и элементарные в будущем модификации, вроде возможности «помощника» разговаривать, иметь подобранные под конкретного пользователя антропоморфные черты (то есть внешность) сильно облегчат доступ в людские души, сделав для многих из аватара машины лучших, зачастую единственных друзей и собеседников, причем готовых помочь и отозваться в любое время дня и ночи. Им будут открыты самые дальние глубины душ и даже то, что конкретный человек еще не успел сам осознать.

А та малость, что сказанное и сделанное тобой мигом обрабатывается и рассматривается по сотням параметров лояльности, удовлетворенности, эффективности усвоения конкретным человеком индивидуально подобранных под его темперамент пропагандистских тезисов или же необходимости принятия к проштрафившемуся «индивидуальных мер воздействия» — все это мало кого будет занимать. Тем более — добрых обывателей, уверенных, что до них-то проблемы никогда не доберутся. Или же, наоборот, боящихся, что машина прочитает их тайные мысли и ложь по показателям тела, глазам, мимике, сердцебиению, давлению, и потому специально старающихся не думать о системе и происходящем в ней. Таких сознательных беглецов и сдавшихся в плен достаточно уже сейчас, когда их держит в узде телевизор, начальник и соседка. Что же будет в обстановке тотального, внешне дружелюбного, но жесточайшего контроля?

Кстати, сбежать от системы не получится — необходимость ежедневного общения с «другом-исповедником» минимальное время каждый день, ну или еженедельно, может быть введена законодательно. Конечно, из человеколюбия: чтобы система могла регулярно снимать физические показатели сограждан ради их здоровья телесного и проводить короткие беседы ради оценки здоровья психического. И ничего больше. Только из самых лучших побуждений каждый будет лежать выпотрошенный и освежеванный под взыскующим оком компьютерных сверхразумов.

И уж точно все отказывающиеся от «элементарного и необходимого контроля» диссиденты будут объявлены маньяками и педофилами, злокозненными до такой степени, что не могут выдержать короткий простой разговор с дружелюбным компьютерным аватаром. И общество это поймет и одобрит, благо не первый случай в истории — так же, как в европейских городах одобряли и изгоняли, а то и казнили бедолаг, отказывающихся регулярно ходить в церковь и к исповеднику.

Что можно противопоставить этой картинке апокалиптического цифрового лагеря с такой прозрачностью мыслей и поступков каждого, что не снилась и Оруэллу? Только ответную самоорганизацию граждан, обладающих общей целью — желанием свободы мысли и свободы жизни.

Причем объединить эта идея может совершенно разные людские движения и течения. Только совместный, постоянный контроль разных противостоящих друг другу и друг другу не доверяющих групп и сил может предотвратить как создание такой системы, так и попадание ее в конкретные — без разницы какие — руки. Взаимное недоверие и исходящая из него система балансов, сдержек и противовесов даст шанс проскользнуть между струйками и отдельному человеку, и обществу, которое из этих человеков состоит. И определит крайние границы возможного для проникновения в людские души, дома и тела, оставив им пространство собственной свободы, которой они могут хоть бездарно, хоть с пользой, но распоряжаться по собственной, а не чужой воле.

Андрей Никулин, философ, политолог