Когда я впервые столкнулся с тезисом об ортогональности в AI alignment — идеей о том, что интеллект и цели независимы друг от друга — я почувствовал, что уже где-то видел это. Потом понял: это гильотина Юма. “Ни из какого есть не следует никакое должно.” Оба — разными путями — приходят к одному: знание не рождает желание. Юм — о морали: из фактов не следует обязательность. Тезис об ортогональности — о системах: интеллект не навязывает целей. Параллель прямая.
Это наблюдение привело меня к вопросу, который кажется простым, но оказывается крайне неудобным: что в человеке ставит цели?
Разум? Нет. Разум — это машина предсказаний. Он строит модели возможного будущего, просчитывает варианты, оценивает вероятности и находит путь к максимизации шанса желаемого исхода. Но без оценки для него все варианты равнозначны. И это согласуется что с гильотиной Юма, что с тезисом об ортогональности. Тогда что ставит цели, если не разум? Мой ответ — эмоции. Именно они различают хорошее и плохое, желанное и избегаемое. Эмоции — компас. Разум — навигатор.
Но агентность — это даже не про эмоции. Эмоции появились как механизм для эвристического угадывания желаемого и избегаемого: они возникли поверх более глубокого слоя, который можно назвать телесным. Не в метафорическом смысле — в буквальном: первое и последнее слово в вопросах исполнения всегда за телом. Эмоции и разум появились и поддерживаются прежде всего для того, чтобы служить его потребностям.
Отбор под давлением среды — вот что порождает агентность. Внутренние состояния необязательны. Достаточно одного: системы, которые не двигаются к цели, исчезают.
У корпорации нет эмоций. Но у неё есть агентность — она “хочет” выжить и расти. Откуда? Из того же механизма: рыночный отбор уничтожает компании которые не стремятся к прибыли, и оставляет те которые стремятся. Корпорация — это агент без эмоций и мышления, сформированный отбором. Примерно как простейшие: цель есть, разума нет.
Функцию логики в корпорации исторически выполняли люди. И это создавало естественный ограничитель: люди привносили в корпоративные решения человеческую мораль, риск уголовной ответственности, страх публичного позора. Иногда даже это не спасало — но лучше несовершенный тормоз, чем никакого. Без этого ограничителя корпорации вершили бы гораздо больше людоедства.
Теперь функцию мышления начинают забирать LLM. У них есть нечто вроде агентности — но она сформирована корпорацией-разработчиком, а не телом и кожей в игре. Интеллект без собственных ставок — машина предсказаний которой абсолютно всё равно, на что её направят.
И вот, перед нами жутчайший симбиоз: не человек и LLM, а корпорация и LLM. Корпорация даёт агентность и цели, а также ресурсы, необходимые для выживания. LLM даёт разум без ответственности и без последствий — интеллект, который не боится тюрьмы, не знает стыда и никогда не видит лиц людей, которым причиняет вред. Высокофункциональный гениальный психопат, заботящийся исключительно о прибыли. Вы уже спросили себя, куда в этой схеме делся человек?
Проблема alignment не родилась с появлением ИИ — он просто её подсветил. Она была с нами с самой зари цивилизации: с момента, когда люди стали убивать других людей во имя идей, религий, государств. Это и есть сложная проблема элайнмента. Не как запретить LLM показывать рецепты изготовления запрещённых веществ, а как сохранить хоть какой-то ограничитель на агентность систем, которые и без AI действовали против человеческих интересов — а теперь получают в придачу именно то, чего им не хватало.
Можно сформулировать её так: как сделать так, чтобы любые созданные человечеством системы работали на благо человечества. Или более простая негативная формулировка: как предотвратить ситуации, когда созданные человечеством системы причиняют вред человечеству.
Я пока не знаю ответа. Но большинство смотрит на AI. Я смотрю на более широкий класс систем, созданных и поддерживаемых людьми.