Сергей Карелов: На Земле появился первый Софон

Речь действительно о Софоне из романа Лю Цысиня и его экранизации Netflix «Задача трех тел» (3 Body Problem). И этот Софон действительно создан. Но не трисолярианами (или Сан-Ти, как их для простоты произношения назвали в сериале), а землянами — китайскими исследователями из Чжэцзянского университета и Ant Group. И создан этот Софон не для торможения и блокировки технологического прогресса землян (как в романе и сериале), а для торможения и блокирования инфокоммуникационных возможностей землян в областях, неугодных сильным мира сего — властям и китам инфобигтеха.

Логика этого технологического прорыва, совместно профинансированного Национальным фондом естественных наук Китая (учрежден в 1986-м под юрисдикцией Госсовета Китая, а с 2018-го — под управлением Миннауки и технологий) и Ant Group (дочка китайского конгломерата Alibaba Group, в 2021-м взятая под контроль Народным банком Китая), мне видится таковой.

Возможности получения людьми информации (от новостей до знаний) из интернета все более зависят от ИИ больших языковых моделей (LLM). Они становятся для землян глобальным инфофильтром, определяющим, что (1) человек может узнать и (2) чему может научиться из интернета.

Поэтому становится ключевым вопрос, как взять под контроль и 1-е, и 2-е, исключив возможности использования людьми LLM для неэтичных, незаконных, небезопасных и любых иных нежелательных (с точки зрения разработчиков LLM) целей. Эта задача одинаково актуальна и важна для столь разных акторов, как Компартия Китая и Microsoft, Белый дом и Google, Amazon и OpenAI — короче, для властей всех мастей и китов инфобигтеха.

Несмотря на важность, решить эту задачу пока не удавалось. И вот прорыв.

Китайские исследователи придумали, как открывать для массового использования LLM, которые «плохим людям» будет сложно настроить для злоупотреблений. Китайцы разработали новый подход к обучению без точной настройки (он назван SOPHON), использующий специальную технику, которая «предотвращает точную настройку предварительно обученной модели для нежелательных задач, сохраняя при этом ее производительность при выполнении исходной задачи».

SOPHON использует «два ключевых модуля оптимизации:
1) обычное усиление обучения в исходной области;
2) подавление тонкой настройки в ограниченной области.
Модуль подавления тонкой настройки предназначен для снижения ее производительности в ограниченной области в моделируемых процессах. В итоге, когда „плохие люди“ захотят с помощью тонкой настройки переучить мощную законопослушную модель на что-то плохое (например, выдавать нежелательный контент — от генерации порно до анализа событий на площади Тяньаньмэнь в 1989 году, от нескрепоносных советов до инструкции по взрывотехнике…), производительность модели катастрофически снизится (оставаясь высокой в дозволенных областях).

Нужно понимать, что этот первый Софон еще дорабатывать и дорабатывать (проверять на сочетаниях разнообразных типов данных, масштабировании моделей и т. д.) Но очевидное-невероятное уже налицо.

Т.к. возможности «нежелательных» применений неисчислимы, застраховать модель от всех них просто нереально. Но можно пойти путем отсекания «нежелательного» с точки зрения владельцев платформ. И тогда вполне может получиться идеальный Большой брат: безликий и всевидящий цензор, не ошибающийся в предвосхищении правонарушений Х-комнадзор, умело манипулирующий сетевой агентурой спецслужбист и т. д.

Сергей Карелов, IT-эксперт, автор Telegram-канала «Малоизвестное интересное»