Представьте медицинскую страховую компанию — назовем ее «Меридиан». Она использует LLM для массовой рассылки отказов в выплатах. Пациент просит деньги на лечение, а система выдает отказ: «недостаточно документов, подтверждающих медицинскую необходимость».
Отказ ошибочен и дорого обходится пациенту. В конце конвейера сидит оператор, который нажимает кнопку «подтвердить». В среднем он тратит на один случай около 40 секунд, при этом одобряет более 99% решений модели. И это не фантастика. По данным ProPublica за 2023 год, система PxDx от Cigna тратила на «проверку» каждого случая около 1,2 секунды. С аналогичным конвейером судится и UnitedHealth из-за их системы nH Predict.
Я привожу эти цифры не для того, чтобы доказать, что отказы были неправомерными. Ошибочность отказа здесь важна лишь для понимания проблемы: алгоритм калечит человека, но когда пациент пытается найти ответственного, искать некого. Компания, конечно, ответит в суде, но конкретной личности, которая приняла решение, не существует. Решение сгенерировала модель, а человек просто кликнул мышкой. Возникает не риторический вопрос: а принимал ли вообще кто-нибудь решение? Важно понимать: слепое одобрение (когда модель предлагает выплатить страховку, и оператор не глядя кликает «ок») — это структурно точно такой же провал авторства, как и слепой отказ. Это замечание защищает нас от банального “корпорации это зло”: в этой статье я хочу поговорить не столько про жадность корпоратов, сколько про сам факт исключения человеческого субъекта из контура принятия решения.
Для человека в конце этой цепочки есть название. Мэделин Клэр Элиш называет таких людей обитателями зоны моральной деформации (moral crumple zone). Это сотрудники, которых ставят на процесс только для того, чтобы они принимали на себя вину за сбой автоматизированной системы. Когда отказ оспорят, виноватой окажется именно эта сотрудница — ведь там стоят её инициалы. На деле у неё не было ни реального контроля, ни времени, чтобы изучить кейс за 40 секунд.
В итоге мы получаем три проблемы: ущерб ложится на пациента, вина — на бесправного оператора, а реальную ответственность так никто и не понёс. Четвёртая проблема — самая важная, и дальше я объясню, почему вы никогда не сможете доказать отсутствие человеческого решения, просто анализируя логи.
Главный тезис касается систем, которые заявляют о наличии человека-в-контуре — чтобы соответствовать конкретным регуляторным нормам, таким как статья 22 GDPR (требующая «значимого человеческого участия», что подтвердило недавнее решение суда по делу SCHUFA) или статья 14 европейского Закона об ИИ (EU AI Act), требующая обеспечения надзора со стороны человека.
Раньше найти решение, принятое без участия человека, было легко: алгоритмы писали отказы под копирку. Аудитору было достаточно взглянуть на выборку текстов, чтобы понять: никто не вчитывался в детали, это штамповка.
Теперь этот маркер не работает. И не потому, что нейросети научились писать разнообразно — детекторы бы к этому адаптировались. Причина в том, что черновик от модели теперь легитимен. Если алгоритму официально разрешено писать письма, то сам текст (шаблонный он или уникальный) больше не показывает, читал ли человек дело.
Из этого следует неприятный вывод: любая пассивная проверка уже написанного текста бесполезна для установления авторства.
Каким бы подробным и убедительным ни было обоснование в документе, оно не говорит о том, кто именно принимал решение. Под «следом» я понимаю содержание текста. Настоящие улики теперь прячутся в неконтентных метаданных: временных метках, логах доступа, времени, проведенном в документе. Те самые 40 секунд из примера выше — это и есть рабочий сигнал. Авторство больше нельзя вычитать из текста. Вместо этого нужно проверять механизмы контроля, гарантирующие, что человек изучил дело до того, как это сделала модель.
Почему это плохо
Проблема в том, что результаты работы нейросети не просто разнообразны — каждый из них по отдельности выглядит аргументированно и осмысленно.
Единственная оставшаяся проверка по тексту — это тест на «обоснованность»: опирается ли обоснование на реальные документы конкретного заявителя? Этот тест всё ещё работает. Но обоснованность — это лишь часть корректности. Нейросеть, которой скормили файл пациента, легко пройдет эту проверку без участия человека. Модель может выдать текст, в котором факты верны, но стандарты применены ошибочно. Чтобы поймать такую ошибку, аудитору придется пересматривать дело с нуля, тратя столько же времени, сколько на первичное решение.
Произошел структурный сдвиг: проверка, которая раньше была бесплатной и массовой, стала дорогой и штучной. Для подтверждения авторства пассивных методов не осталось вообще. Работают только проактивные методы или анализ логов действий.
Этот урок выходит за рамки комплаенса: рост возможностей ИИ разрушает не саму способность находить ошибки, а экономику проверок. По мере того как системы умнеют, любой массовый аудит будет превращаться в дорогостоящую ручную процедуру. Это слегка похоже на закон Гудхарта, но с принципиальным отличием: старая метрика (шаблонность текста) умерла не из-за давления оптимизации, а из-за дистрибутивного сдвига (distribution shift) — легализации нейросетевых черновиков. Строго говоря, это не вписывается ни в один из четырех классических вариантов закона Гудхарта по Манхейму и Гаррабранту (Manheim & Garrabrant), но имеет с ними явное семейное сходство. Точно так же детекторы ИИ-текста становятся бесполезными на фоне лучших LLM.
Прекратите пытаться понять, «кто решал», вчитываясь в текст. Единственный оставшийся критерий — это пре-экспозиционная независимость. Оценил ли человек материалы дела до или без того, как увидел ответ модели?
Чтение после того, как модель уже дала ответ, не считается, потому что возникает эффект прайминга. Человек психологически привязывается к предложенному варианту и теряет объективность.
С точки зрения вовлеченности человека решения делятся на три варианта:
- Присутствие (resident): Человек, принимающий решение, изучил дело до того, как увидел ответ модели.
- Полное отсутствие (never-resident): Человек вообще не изучал дело. Модель предложила решение, оператор просто кликнул «ок».
- Неопределенность (indeterminate): Человек прочитал дело, но только после того, как модель показала свой вердикт. В этом случае реальное авторство и бездумное согласие оставляют абсолютно одинаковый цифровой след в тексте.
Из журналов (метаданных и таймингов) можно доказать только два крайних состояния. Тайминг в 40 секунд доказывает, что человек физически не мог прочитать файл (never-resident). Но никакой лог не докажет обратного: нельзя подтвердить, что человек действительно читал дело.
Это разделение нужно для выбора метода контроля. Понимание того, когда именно человек прочитал дело, отсекает попытки улучшать сам текст (например, писать более подробные обоснования). Выживают только те проверки, которые ищут доказательства за пределами подписанного документа.
Отсюда два следствия. Первое: без логов, подтверждающих независимое изучение дела человеком до ответа модели, доказать его авторство по тексту невозможно. Огромная серая зона (прочитал по диагонали и подписал) неустранима.
Второе (это моё личное мнение): решения типа «полное отсутствие» (never-resident) составляют огромную скрытую долю. Этот тезис в первую очередь касается систем с высокой пропускной способностью (high-volume), однородной сложностью задач и легко аудируемыми часами работы ревьюеров. Чтобы выявить этот слой, нужно считать не количество сотрудников, а эффективные человеко-часы содержательного ревью.1 Если система обрабатывает заявки быстрее, чем физически позволяет штат (с учетом времени на вдумчивое чтение), значит, реального контроля там нет.
Четыре рабочих стола в «Меридиане»
Рассмотрим, как это выглядит на практике.
- Оператор с нормативом 40 секунд на кейс: Это чистый never-resident, та самая зона моральной деформации.
- Старший эксперт: Читает дело, фиксирует нехватку документов и только потом просит модель написать красивое письмо. Это resident. Если отказ ошибочен, мы точно знаем, кто его принял.
- Сотрудник, читающий по диагонали: Бегло просматривает файл, открывает готовое письмо от модели и соглашается с ее логикой. Это indeterminate (неопределенность). Спросите сотрудника, и он искренне скажет, что решение принимал сам.
- Сотрудник, симулирующий процесс: Пишет короткую заметку «выглядит спорно», открывает ответ модели и только потом пишет подробное обоснование. Формально в логах есть пре-экспозиционное чтение. Но заметка формальна, а реальную вдумчивость никакой лог не подтвердит.
Именно из-за четвертого сценария методы контроля должны быть устроены так, как описано ниже.
Аудируйте процесс, а не след
Главный вывод: перестаньте считать гладкий текст доказательством того, что его писал человек. Пассивные проверки мертвы. Перенаправьте аудит на метаданные и активный контроль процессов.
На что нужно смотреть:
- Анализ человеко-часов на уровне компании: Частота вдумчивых прочтений должна соотноситься с пропускной способностью системы и штатом сотрудников. Это базовый тест на честность.
- Diff (Сравнение черновика и финального текста): Человеческие правки доказывают вовлеченность. Но отсутствие правок ничего не доказывает. Проверка правок требует ручного труда аудиторов.
- Honeypot-кейсы (Ловушки): В поток реальных задач внедряются синтетические дела с заранее заложенными ошибками (ни в коем случае не реальные дела!). Человек найдет эти ошибки с той частотой, которая недоступна бездумно кликающему оператору. Это прямой аналог системы Threat Image Projection у службы безопасности аэропортов (TSA), когда на экран сканера подмешивают изображения оружия, или «золотых наборов» (gold sets) в модерации контента.
- Внезапный опрос: Ревьюера просят ответить на вопросы по делу без доступа к файлу сразу после принятия решения.
- Системная телеметрия: Время нахождения в файле, глубина прокрутки документа, логи доступа. Это подделать сложнее, чем просто написать отписку в карточке, но телеметрию все еще можно обмануть (скрипты массового открытия вкладок, симуляция активности), поэтому она работает надежно только на уровне всей популяции.
Если ранжировать эти инструменты по их реальной эффективности: ловушки в сочетании с популяционной математикой (анализ часов) дают настоящую «агрегированную силу» (aggregate teeth); системная телеметрия выступает лишь как подтверждающее доказательство (corroborating evidence); а сравнение черновиков (diffs) и внезапные опросы годятся только как точечные проверки (spot checks).
У этих методов есть ограничения. Ловушки тратят время сотрудников, опросы и телеметрия сталкиваются с законами о защите труда, а синтетические кейсы в страховании сложно встроить в юридический документооборот. Но это единственный рабочий арсенал, который остался.
Кто может использовать эти методы? Внутренний аудит компании — все пять. Регуляторы — анализ часов, телеметрию и результаты ловушек. Юристы потерпевших — анализ загрузки штата через судебные запросы (discovery). Внешний читатель текста — ни один из них.
Возражение, имеющее реальную силу
Самое сильное возражение звучит так: ответственность никуда не исчезает, она просто переносится на корпорацию-оператора алгоритма. И это правда — как показывают Кристиан Лист и Филип Петит (List & Pettit) в своих работах по групповому агентству, во многих случаях корпорация выступает единым субъектом ответственности.
Там, где ответственность привязана к самому факту изучения (например, комплаенс-офицеры), стандарты требуют лишь наличия системы контроля. Там, где действует строгая корпоративная ответственность, закон наказывает компанию за результат, даже если ни один сотрудник не принимал осознанного решения.
Я не спорю с этим. Но здесь кроется другая проблема: юридическое лицо может ответить только деньгами — корпорацию нельзя посадить в тюрьму. Когда ответственность полностью отрывается от конкретного человека и переносится на компанию, любое нарушение превращается для неё просто в вопрос цены (cost of doing business). Это само по себе формирует негативную мораль, где возможный штраф становится лишь одной из статей операционных расходов.
Всё это делает разрыв между декларируемым «человеческим контролем» и реальностью только шире. Оптимисты правы там, где работает строгая корпоративная ответственность. Но там, где ее нет (а штрафы заложены в бюджет), возникает серая зона, на подсвечивание которой и направлена эта статья.
Чем это не является
Я не утверждаю, что такие ошибки невозможно найти: анализ процессов и статистики по-прежнему показывает аномалии на масштабе. Стилометрия (анализ стиля текста) здесь не поможет: она лишь скажет, что текст написала нейросеть, что и так не скрывается. Это также не статья о психологии (автоматизационной предвзятости), хотя я опираюсь на этот феномен.
Заключение
Я сам знаю, каково это сидеть за «четвертым столом» и поддаваться соблазну опереться на готовый идеальный черновик модели. Но в отношении себя эту концепцию применить не получится — в каждой конкретной ситуации ты знаешь, принимал ты решение или нет.
Проблема переносится в плоскость аудита: может ли третья сторона доказать, что человек действительно изучил вопрос?
Давайте вернемся к началу. А решал ли это вообще кто-нибудь? Для огромной прослойки полуавтоматизированных решений анализ текста больше не даст ответа. Именно поэтому нужно аудировать сам процесс контроля, а не итоговые документы. Кресло перед монитором может оказаться пустым, а журнал об этом и не в курсе.
P.S.: Пустое кресло на самом верху
В основной части статьи я намеренно ограничил масштаб рядовыми операторами и страховыми клерками, чтобы избежать проблемы глядения на палец вместо Луны. Но давайте будем честны: проблема масштабируется далеко за пределы линейного персонала.
Экономическое ускорение не оставляет менеджменту выбора. Как скоро руководители, принимающие стратегические, кадровые и административные решения, массово пересядут за «четвертый стол» — стол симуляции работы? Давление эффективности таково, что вдумчивое погружение в контекст становится всё более непозволительной роскошью. Если модель генерирует безупречный стратегический меморандум за десять секунд, живой директор очень быстро превращается в формальную прокладку между отточенным промптом и кнопкой «Утвердить».
Следующий шаг столь же неизбежен. Для по-настоящему жестких решений бизнесу не нужны этические фильтры коммерческих нейросетей. Им потребуются «освобожденные» (abliterated), полностью расцензуренные модели, готовые хладнокровно оптимизировать что угодно — от массовых сокращений до агрессивных слияний.
И здесь круг замыкается. Как я писал в эссе «Агентность без разума и разум без агентности», корпорация — это самообучающийся организм с безжалостной волей к максимизации прибыли, но без собственной морали by design. Исторически человеческий разум был единственным этическим «тормозом» в этом механизме. Если мы делегируем мышление моделям, а целеполагание — организации, человек окончательно исключается из контура. Мы получаем идеального психопата: корпоративную целеустремленность, оснащенную гениальным, абсолютно беспринципным интеллектом.
Кресло перед монитором может оказаться пустым не только в опенспейсе, но и в совете директоров. И логи идеального стратегического пайплайна об этом, конечно же, промолчат.
Footnotes
-
Механика такова: минимальное время на чтение зависит от типа кейса. Защитники таких систем обычно ссылаются на «быстрый скрининг» — и этот аргумент действительно размывает потолок человеко-часов в промежуточной зоне (indeterminate), делая невозможной точную оценку каждого кейса в отдельности. Но жесткая арифметика по-прежнему безотказно работает на крайних значениях (never-resident): если суммарная пропускная способность отдела физически превышает доступные рабочие часы, значит, люди дела не читают. Важное условие: время считается только до вынесения вердикта. Быстрое чтение саммари от ИИ считается независимым только в том случае, если модель не пропихнула в это саммари готовое решение. ↩