«Восстания машин не будет!»

Ученые в разных странах мира предупреждают, что работы по созданию искусственного интеллекта в ближайшее время могут выйти из-под контроля. Речь идет о революции в области робототехники и совершенствовании компьютеров. По мнению некоторых экспертов, еще немного — и «железо» станет угрожающе самостоятельным.

О том, насколько обоснованы такие опасения, в интервью «Росбалту» рассуждает Александр Каплан, психофизиолог, доктор биологических наук, профессор, заведующий лабораторией нейрофизиологии и нейроинтерфейсов на биологическом факультете МГУ.

— Александр Яковлевич, нам действительно угрожает «восстание машин», или это из области фантастики?

— То есть могут ли машины, роботы пойти против людей?

— Могут ли они стать независимыми от человека и выйти из-под контроля.

— Механические и электромеханические системы с манипуляторами, гусеницами и т. д. никакой опасности для человечества не представляют — ни сейчас, ни в будущем. Они же сами по себе — обыкновенные железки, которые управляются человеком или программами, которые он создал.

Поэтому опасность заключается именно в программных системах, которые будут находиться не только в «головах» самих роботов, но и в распределенных системах, в облачных технологиях. Эти системы действительно могут оказаться опасными для человека, но не более, чем, например, пожарные системы, созданные для обеспечения безопасности на атомных станциях, или системы, которые контролируют современное оружие. Их разработчики должны беспокоиться о том, чтобы там стояли соответствующие предохранители, дублирующие механизмы, которые не позволят этим системам сработать нештатно. Пока что наибольшую опасность тут представляет сам человек, который где-то ошибется, где-то неправильно напишет код и т. д.

— Но не начнут ли программные системы в какой-то момент развиваться сами по себе?

— Это не исключено. Дело в том, что современные интеллектуальные технологии включают в себя в том числе и саморазвивающиеся программные комплексы, которые должны сами себя анализировать и улучшать. И, конечно, возникает вопрос: не пойдет ли эта эволюция, так сказать, по пути захвата власти? Если такое и произойдет, то повинен в этом будет сам человек, придумавший подобные устройства и написавший соответствующие программы.

К счастью, есть момент, который не позволит программным системам уйти слишком далеко по дорожке перехвата действий у людей и тем более захвата власти на Земле: у них нет и не будет интеллектуального опыта, накопленного человеком. Они способны, конечно, держать в памяти все книги мира, но не смогут использовать их так, как мы, потому что у человека есть вектор существования в этом мире — потребности живого тела, а вместе с ними множество других функций, отсутствующих у машин. Например, гуманистические взгляды, или расчет на то, чтобы сохранить жизнь — собственную и в масштабах всей планеты, не использовать технологии, которые способны все погубить. У каждого человека есть инстинкт самосохранения — точно так же, как и у групп людей, и у правительств, и у человечества в целом.

Ничего этого у программных систем быть не может, поскольку они неживые и для них это все неважно. Какую они будут преследовать цель — специально навредить человеку? Но для этого самому нужно быть человеком. «Захватить власть», «навредить», «причинить боль» — все это слишком человеческое…

— И все-таки где та грань, за которой может начаться самостоятельность машин, их независимость от нас?

— Такие системы есть и сейчас: например, автопилоты на самолетах. Они достаточно сложны, в полете ориентируются на спутники и наземные службы, а пилоты при этом могут отдыхать. Конечно, если что-то пойдет не так и программа выйдет за границы штатной работы, это может нанести вред человеку. Но, повторюсь, за это будут отвечать те люди, которые создавали программный продукт. У неживой, компьютерной субстанции нет задачи угробить самолет. Наоборот, чтобы такое произошло, автоматику, как правило, надо отключить. И если разумно подходить к делу, то надежность ее будет только возрастать.

— Есть мнение, что циклы самосовершенствования в области компьютерных технологий сменяются слишком быстро и люди уже не могут за ними уследить. Это так?

— Совершенствование компьютерных технологий происходит не само по себе, а в конструкторских бюро, институтах и исследовательских комплексах, где создают новое «железо», новые материалы и «софт» для все более совершенных компьютеров. Все это прекрасно отслеживается специалистами, которые там работают. Другое дело, что обыватель не может уследить за такими переменами, так же как в начале XIX века он не уследил за тем, как на дорогах массово появились автомобили.

— Подсчитано, что сегодня на планете функционируют около 1,6 млн роботов, которые используются в основном в промышленности. А в течение 10-15 лет ожидается настоящий бум производства электронных помощников для домашнего и личного использования. Эксперты предупреждают, что в ближайшие 5 лет по всему миру будет продано более 30 млн таких роботов, способных оказать людям множество полезных услуг. Но и навредить, наверное, тоже?

— Вряд ли «домашние» роботы и подобные им устройства могут оказаться более опасны, чем автомобили. В наших домах уже есть холодильники, телевизоры, пылесосы, микроволновки и другие более «умные» агрегаты. Мы выживаем в сегодняшнем механизированном мире просто потому, что соблюдаем определенные правила.

Тут нет проблемы, даже наоборот: мне кажется, что со временем технологии станут более безопасными, поскольку за ними будет следить электронная автоматика малых форм. В стиральные машины уже встраиваются маленькие процессоры, которые контролируют режим работы. Так же будет и с роботами.

— Специалисты считают, что опасность исходит еще и от хакеров. Если они взломают какую-то систему — допустим, военную, или систему управления мощными роботами, скажем, в гражданской авиации, в космонавтике или на атомной станции, — у нас будут большие проблемы…

— Пожалуй, да. За «злоумышленными» действиями компьютерных и программных систем всегда будет стоять человек. Это может быть не обязательно преступник или хакер, но и специалист, который реально их эксплуатирует — как, например, пилот, который в полете сознательно отключает системы автоматического наблюдения за состоянием самолета. Но на любое злонамеренное действие можно выработать соответствующую защиту.

— Сейчас уже создается программное обеспечение, достаточно умное, чтобы решить так называемую «капчу» — полностью автоматизированный публичный компьютерный тест, который используется на многих веб-сайтах чтобы определить, кем является пользователь системы: человеком или ботом. Это тоже не должно нас беспокоить?

— Раз уж создаются новые системы шифрования, то, естественно, разрабатываются и способы декодирования шифров. Эта борьба будет идти непрерывно, но опережают в ней все-таки системы безопасности — потому что сначала создается сама система, а потом кто-то начинает подбирать к ней ключи. Видя, что ее пытаются взломать, программная система начинает модифицироваться — и так далее. Ходов на опережение здесь гораздо больше, чем этих хакерских атак, просто нужно успевать заранее предусматривать возможности злонамеренных действий. Понятно, что в каких-то случаях кто-то и не уследит, но от этого, к сожалению, мы не застрахованы…

— По мнению ряда экспертов, правительства стран, которые вкладывают огромные деньги в робототехнику, недооценивают риски. Это так?

— Я думаю, каждая страна адекватно оценивает опасности, но мера их предупреждения определяется материальными и людскими ресурсами. Когда ресурсов недостаточно, кто-то начинает рисковать. Играет роль и человеческая скупость: как в ситуации, когда, к примеру, недобросовестный хозяин шахты вкладывает мало денег в ее безопасность и в результате происходят катастрофы

— Мы и так уже слишком зависимы от электронных помощников. Люди не представляют своей жизни без гаджетов. Появление роботов — это следующий этап зависимости? Скоро мы точно так же не сможем обойтись и без них?

— Ну конечно. Человек уже давным-давно попал в зависимость от технических устройств. Мы живем в домах с центральным отоплением и ничего не сможем сделать, если зимой оно вдруг отключится, а заодно и электричество в розетках. Единственный вариант — костры разводить …

Но в том, что в наш быт добавятся еще обслуживающие и ассистирующие роботы, я проблемы не вижу — приспособимся и к этому. Просто надежность всех систем жизнеобеспечения должна возрастать.

— Исследователи говорят, что сейчас мы находимся в «точке невозврата», и если пройдем ее, шанса исправить что-то уже не будет…

— А в чем она, эта точка? Программные системы не первый год обыгрывают шахматных чемпионов, а теперь начинают обыгрывать людей в карты. Если в шахматах все определено и нужно только перебрать ходы, то в карточных играх информации для прямого расчета зачастую недостаточно. Тем не менее компьютеры выигрывают у человека в карты и даже побеждают в интеллектуальных играх типа «Что? Где? Когда?» Но это не означает появления у программ разума. Это заслуга команд программистов, которые их создают.

В самих программах нет какой-то интеллектуальной жизни, они ничего сами себе не обеспечивают и не в состоянии автономно противостоять человеку. Нужно беспокоиться о другом — о накапливающейся в мире массе программных систем и о их безопасности.

Беседовал Владимир Воскресенский