Telegram-канал «За четыре моря». Почему китайский ИИ оказался глупым

В России официозные медиа часто превозносят национальные технологические достижения. Увы, часто врут. А вот в США, наоборот, все чаще слышны разговоры о безнадежном проигрыше Китаю в какой-нибудь очередной технологической гонке. И тоже привирают: алармизм полезен, если хочешь получить больше денег из бюджета.

Это работает еще и потому, что о положении дел в Китае иногда приходится судить по косвенными признакам: в последние годы ученым-китаистам стало тяжело даже попасть в страну. Так что кусочки актуальной информации приходится ценить.

На днях Джеффри Динг перевел на английский небольшое видео со сравнением GPT-4 и Ernie — языковой модели от Baidu. Оценивали по шести критериям: понимание текста, ведение диалога, имитация личности, а также навыки логики, математики и программирования. По пяти из них GPT-4 оказался значительно лучше. Например, когда GPT-4 спросили, «считается ли брак между мамой и папой кровосмешением», он ответил, что нет, если они не являются кровными родственниками, а вот Ernie просто расписал, почему кровосмешение нарушает законы КНР. Для повышения рождаемости он и вовсе предложил ввести политику «одного ребенка».

Но переоценивать неудачу Ernie не стоит. Языковые модели — лишь одно из направлений развития ИИ. Да, внезапно показавшее себя удивительно близким к «искусственному интеллекту» из фантастических фильмов, но далеко не единственное. Скажем, в области компьютерного зрения Китай давно обскакал Штаты — интереснее сравнить уровень развития ИИ-технологий в целом.

Для их развития нужны 4 фактора: (1) способность производить «железо» (т.е. чипы), (2) проводить исследования и придумывать алгоритмы, (3) иметь доступ к данным и (4) финансовым ресурсам. В 2018 году выходило, что возможности Китая — половина от американских: китайцы были впереди по объему доступных данных, отставали в области исследований и финансов и были безнадежно позади по «железу».

С тех пор прошло уже пять лет, но можно посмотреть на свежие цифры из недавнего AI Index Report.

Китайские частные инвестиции в ИИ ($13,4 млрд в 2022 году) все еще в три с половиной раза меньше американских ($47,4 млрд). Оценить государственные вливания сложнее, но можно сравнить пакеты поддержки для полупроводниковой индустрии: ходили слухи про китайские $150 млрд, а американцы уже пообещали в два раза больше — $280 млрд.

В науке ситуация другая: если смотреть в лоб, то у китайцев давно уже больше и публикаций (40% vs 10%), и цитирований (29% vs 15%). Но если судить по самым влиятельным работам, то Китай все еще отстает. В общей сложности — паритет.

Но почему Ernie все-таки получился глупым? Мне кажутся интересными две линии аргументации.

Когда мы оцениваем технологические перспективы страны, то слишком много внимания обращаем на инновационный потенциал — способность сформировать прорывную идею. Но не менее важен диффузный потенциал — способность эту идею применить. У послевоенного СССР с инновациями все было хорошо, а с диффузией — плохо, и реальную технологическую гонку Союз проиграл. Динг насчитал, что и в Китае есть «диффузный дефицит» — исследований много, а вот с их адаптацией все еще плохо. На мой вкус — очень спорный тезис, но изучать диффузию действительно важно.

Другая проблема с языковыми моделями — в политической асимметрии. Если GPT скажет что-нибудь расистское, это закончится судебным процессом и финансовыми потерями. Но если Ernie оскорбит Си, то последствия могут быть непредсказуемыми. Проблема в том, что мы до сих пор не понимаем, как аккуратно цензурировать языковые модели. GPT-4 разработали еще в августе, а открытый доступ дали в марте — все это время модель достраивали, в т. ч. и для того, чтобы она не ляпнула какую-нибудь опасную глупость (и она до сих пор делает это постоянно). При этом те, у кого был доступ к ранней версии, пишут, что этические ограничения снизили «интеллект». Возможно, обилие запретов — Ernie благоразумно отказывается от разговоров на острые темы — слишком сильно обрезает способности китайских моделей.

Telegram-канал «За четыре моря»