Меморандум, разъясняющий ситуацию для пассажиров поезда.
Медийный скандал вокруг открытого письма, призывающего на время приостановить эксперименты со все более мощными ИИ-системами, напоминает кухонную склоку алармистов и технооптимистов. В ход у обеих сторон в основном идет аргументация ad hominem. Вместо обсуждения по существу следуют: персональные наезды на наиболее медийно раскрученных представителей противной стороны; обвинения их в якобы корыстных интересах; а также лозунги о неостановимости прогресса (с одной стороны) и о неотвратимости скорого вымирания всего человечества (с другой).
Такой характер аргументации в дискуссии и нарастающая экзальтация сторон вполне понятны. Ибо фактических аргументов у обеих сторон нет.
Известно лишь следующее:
1. Скорость прогресса ИИ технологий резко скакнула всего за пару месяцев в результате «ChatGPT-революции».
2. В ИИ-системах на основе больших языковых моделей исследователи фиксируют появление непредусмотренных и даже непредвиденных разработчиками способностей, объяснить которые пока никто не может.
3. Размер «навеса» из таких способностей нам пока неизвестен, и, скорее всего, они будут постепенно проявляться в ближайшие месяцы.
4. Чисто теоретически можно предположить, что среди этих способностей могут оказаться такие «умения», допустить утечку которых с попаданием в руки злоумышленников было бы абсолютно безответственно.
Первые 3 пункта — установленные факты. Пункт 4 — оценочный. Экспертная оценка вероятности наихудшего развития событий (вплоть до гибели земной цивилизации) в случае материализации этого пункта составляет среди специалистов примерно 17%.
Наиболее близкой метафорой сложившейся ситуации может быть скоростной поезд из сценария фильма о катастрофе.
А) Скорость поезда вдруг резко скакнула вверх и продолжает увеличиваться.
Б) У специалистов нет единого мнения ни о причинах этого скачка скорости, ни о том, насколько быстро будет увеличиваться скорость в дальнейшем (ибо рост скорости происходит не в результате целенаправленных действий машиниста, а как бы сам по себе).
В) Никаких надежных данных о том, как поведут себя конструктивные узлы поезда на непредусмотренных при проектировании скоростях, нет.
В описанной ситуации единственно разумным шагом видится нажатие машинистом красной кнопки немедленного торможения.
Цель этого двояка:
— предотвратить возрастание рисков катастрофы при неуправляемом увеличении скорости;
— получить время на исследование причин произошедшего и анализ вариантов возобновления движения при нахождении надежных мер безопасности.
Кто-то сочтет такое решение алармистским? Если таковые найдутся, я готов встретиться с ними в открытой дискуссии, дабы прояснить для себя и общественности их позицию, которая сейчас видится мне по меньшей мере странной и необоснованной.
А пока констатирую, что именно эти две цели названы в открытом письме о необходимости приостановки обучения больших моделей на 6 месяцев. Цели вполне оправданные, ответственные и (простите за пафос, но здесь он, ИМХО, уместен), благородные по отношению ко всем пассажирам поезда — всей земной цивилизации.
Telegram-канал «Малоизвестное интересное»