Telegram-канал «Малоизвестное интересное». Почему машинист должен срочно нажать красную кнопку

Меморандум, разъясняющий ситуацию для пассажиров поезда.

Медийный скандал вокруг открытого письма, призывающего на время приостановить эксперименты со все более мощными ИИ-системами, напоминает кухонную склоку алармистов и технооптимистов. В ход у обеих сторон в основном идет аргументация ad hominem. Вместо обсуждения по существу следуют: персональные наезды на наиболее медийно раскрученных представителей противной стороны; обвинения их в якобы корыстных интересах; а также лозунги о неостановимости прогресса (с одной стороны) и о неотвратимости скорого вымирания всего человечества (с другой).

Такой характер аргументации в дискуссии и нарастающая экзальтация сторон вполне понятны. Ибо фактических аргументов у обеих сторон нет.

Известно лишь следующее:
1. Скорость прогресса ИИ технологий резко скакнула всего за пару месяцев в результате «ChatGPT-революции».
2. В ИИ-системах на основе больших языковых моделей исследователи фиксируют появление непредусмотренных и даже непредвиденных разработчиками способностей, объяснить которые пока никто не может.
3. Размер «навеса» из таких способностей нам пока неизвестен, и, скорее всего, они будут постепенно проявляться в ближайшие месяцы.
4. Чисто теоретически можно предположить, что среди этих способностей могут оказаться такие «умения», допустить утечку которых с попаданием в руки злоумышленников было бы абсолютно безответственно.

Первые 3 пункта — установленные факты. Пункт 4 — оценочный. Экспертная оценка вероятности наихудшего развития событий (вплоть до гибели земной цивилизации) в случае материализации этого пункта составляет среди специалистов примерно 17%.

Наиболее близкой метафорой сложившейся ситуации может быть скоростной поезд из сценария фильма о катастрофе.
А) Скорость поезда вдруг резко скакнула вверх и продолжает увеличиваться.
Б) У специалистов нет единого мнения ни о причинах этого скачка скорости, ни о том, насколько быстро будет увеличиваться скорость в дальнейшем (ибо рост скорости происходит не в результате целенаправленных действий машиниста, а как бы сам по себе).
В) Никаких надежных данных о том, как поведут себя конструктивные узлы поезда на непредусмотренных при проектировании скоростях, нет.
В описанной ситуации единственно разумным шагом видится нажатие машинистом красной кнопки немедленного торможения.

Цель этого двояка:
— предотвратить возрастание рисков катастрофы при неуправляемом увеличении скорости;
— получить время на исследование причин произошедшего и анализ вариантов возобновления движения при нахождении надежных мер безопасности.

Кто-то сочтет такое решение алармистским? Если таковые найдутся, я готов встретиться с ними в открытой дискуссии, дабы прояснить для себя и общественности их позицию, которая сейчас видится мне по меньшей мере странной и необоснованной.

А пока констатирую, что именно эти две цели названы в открытом письме о необходимости приостановки обучения больших моделей на 6 месяцев. Цели вполне оправданные, ответственные и (простите за пафос, но здесь он, ИМХО, уместен), благородные по отношению ко всем пассажирам поезда — всей земной цивилизации.

Telegram-канал «Малоизвестное интересное»