Provenance Manifesto
arrow_back Назад в блог

Мы строим программные фабрики ИИ, не обучая их суждению

Yauheni Kurbayeu

Содержание

expand_more

Мы строим программные фабрики ИИ, не обучая их суждению

Мы строим программные фабрики ИИ, не обучая их суждению

Author: Yauheni Kurbayeu
Published: May 13, 2026 LinkedIn

Призыв переосмыслить ИИ-инжиниринг до первого масштабного коллапса доверия


Индустрия празднует странную веху.

Мы наконец научили машины производить программное обеспечение в индустриальном масштабе.

Мультиагентные системы программирования теперь:

  • пишут функциональность,
  • рефакторят репозитории,
  • генерируют тесты,
  • ревьюят pull request'ы,
  • мигрируют фреймворки,
  • и оркестрируют конвейеры поставки быстрее, чем многие команды могли себе представить всего два года назад.

И почти никто не задаёт неудобный вопрос, скрытый под всем этим ускорением.

Кто учит эти системы суждению?

Не синтаксису.
Не оркестрации.
Не производительности на бенчмарках.

Суждению.


Опасная аналогия, которую никто не хочет обсуждать

Сейчас индустрия ИИ всё больше напоминает больницу, которая решила резко увеличить пропускную способность операций, просто вручив скальпели блестящим выпускникам медицинских вузов сразу после окончания университета.

У этих студентов:

  • идеальные экзаменационные баллы,
  • безупречные знания анатомии,
  • отличные результаты в симуляциях,
  • и полное воспроизведение процедурных best practices.

Но ни одна опытная больница в мире не позволит им самостоятельно делать операцию на сердце в первый же день.

Почему?

Потому что медицина понимает то, что программная инженерия всё ещё пытается игнорировать:

Между знанием того, как выполнить процедуру, и знанием того, когда, почему и при каких условиях эта процедура должна происходить, лежит огромная разница.

Эта разница — накопленное суждение.

А накопленное суждение — это в основном сжатая история решений.


Клиническая интуиция — это сжатый provenance

Опытные хирурги оперируют не только по учебникам.

Они опираются на:

  • тысячи предыдущих решений,
  • неудачи,
  • компромиссы,
  • почти случившиеся ошибки,
  • осложнения,
  • процедурные адаптации,
  • и контекстные сигналы, накопленные за годы.

То, что медицина называет клинической интуицией, часто является сильно сжатым provenance решений.

Виртуальным внутренним чутьём, построенным из сохранённых решений.

Однако в программной инженерии, особенно в эпоху ИИ, мы индустриализируем исполнение, почти полностью игнорируя сохранение самого суждения.


Индустрия одержима видимым ускорением

Сегодняшний разговор об ИИ в основном сосредоточен на:

  • автономных агентах,
  • программных фабриках,
  • фреймворках оркестрации,
  • возможностях моделей,
  • росте продуктивности,
  • скорости кодирования,
  • и снижении затрат.

Но очень мало внимания уделяется невидимому слою под итоговым результатом:

  • почему были приняты те или иные решения,
  • какие предположения их сформировали,
  • какие компромиссы были приняты,
  • какие альтернативы были отвергнуты,
  • остаётся ли исходная логика всё ещё валидной,
  • и как будущие системы безопасно наследуют эти решения.

Это упущение становится опасным.


Организационная память незаметно исчезает

Чем способнее становятся системы ИИ, тем сильнее организационная память начинает незаметно исчезать за сгенерированными результатами.

Сначала проблема едва заметна.

Один ИИ-агент вводит обходной путь, потому что «код работает».

Другой агент позже оптимизирует систему вокруг этого обходного пути, не понимая исходного ограничения.

Спустя месяцы третья система начинает воспринимать этот обходной путь как архитектурную истину.

В итоге никто уже не помнит:

  • было ли это поведение намеренным,
  • был ли этот компромисс временным,
  • изменилась ли политика,
  • существует ли исходный риск до сих пор,
  • или вся логика вообще давно утратила актуальность.

Система всё ещё работает.

Но происхождение суждения утрачено.

И как только эта линия происхождения исчезает, организации начинают опираться на унаследованные решения, которые они больше не могут объяснить.


Большая часть инженерного суждения наследуется, а не вычисляется заново

Вот ту часть, которую многие нынешние дискуссии об ИИ опасно недооценивают.

Люди предполагают, что достаточно продвинутые системы ИИ просто смогут «заново рассудить всё с нуля».

Но senior-инженеры знают: реальные системы так не работают.

Организации работают на сжатом историческом контексте:

  • прошлых инцидентах,
  • шрамах продакшена,
  • эксплуатационных ограничениях,
  • регуляторных компромиссах,
  • провалившихся миграциях,
  • уроках масштабирования,
  • политических реалиях,
  • и институциональной памяти.

Большая часть инженерного суждения наследуется, а не пересчитывается заново.

То, что мы небрежно называем «внутренним чутьём», часто является годами неразрешённого provenance решений, сжатого в интуицию.


Медицина уже решила эту проблему на уровне культуры

Медицина масштабирует экспертизу через:

  • практику под наблюдением,
  • peer review,
  • истории клинических случаев,
  • институциональную память,
  • процедурную преемственность,
  • границы допустимости,
  • и структуры подотчётности.

Она не масштабируется, делая вид, что интуиция не нужна.

Программная инженерия тем временем всё чаще ведёт себя так, будто одного исполнения достаточно.

Как будто:

  • генерация внешне корректных результатов гарантирует корректное рассуждение,
  • локальная оптимизация автоматически создаёт глобально согласованные системы,
  • и организационная память может безопасно испариться, потому что следующая итерация модели «сама разберётся».

Мы масштабируем junior-инженерию

Программные фабрики без сохранённого суждения — это не senior-инженерия в масштабе.

Это junior-инженерия в масштабе.

Быстрая junior-инженерия.

Индустриализированная junior-инженерия.

И опасность junior-инженерии не в том, что она всегда сразу проваливается.

Опасность в том, что она уверенно добивается успеха ровно до того момента, пока накопленные невидимые ошибки не становятся системными.


Почему provenance решений важен именно сейчас

Provenance решений — это не:

  • театр корпоративного управления,
  • ещё одна observability-панель,
  • и не упражнение по compliance.

Это недостающий слой, необходимый для того, чтобы системы ИИ наследовали организационное суждение, а не просто итоговые артефакты.

Потому что настоящий вопрос эпохи ИИ больше уже не в том:

«Могут ли машины генерировать программное обеспечение?»

На этот вопрос уже отвечают.

Настоящий вопрос таков:

«Как нам сохранять и передавать инженерное суждение, когда генерация программного обеспечения становится дешёвой?»

Как сделать так, чтобы будущие агенты наследовали не только что было построено, но и почему это было построено именно так?

Как сохранить компромиссы до того, как они растворятся в сгенерированном коде?

Как не дать организациям превратиться в амнезийные системы, которыми управляют всё более способные движки исполнения?

И, возможно, важнее всего:

Как создать виртуальное внутреннее чутьё, не превращая ИИ-системы в непрозрачные машины суеверий?


Индустрия всё ещё слишком рано, чтобы увидеть этот риск

Проблема в том, что разговоры об управлении редко становятся мейнстримом на фазе расширения технологической волны.

Они становятся мейнстримом после первого масштабного коллапса доверия.

После первой предотвратимой катастрофы.

После первого невидимого сбоя в рассуждении с видимыми последствиями.

Неприятная реальность в том, что индустрия ИИ сейчас готовит операционные в индустриальном масштабе, почти не обсуждая, как само хирургическое суждение переживёт автоматизацию.

И к тому моменту, когда первые крупные провалы заставят начать этот разговор, системы уже могут быть глубоко встроены в сам фундамент того, как организации думают, строят, принимают решения и действуют.


Финальная мысль

Сохранять суждение нужно не после того, как операция начинает убивать людей.

Сейчас.

arrow_back Назад в блог