Память с доказательствами: когда и в каких ситуациях методология Кортекса меняет ответы ИИ-помощника руководителя
po-helper-org · slides.aleksishmanov.ru
18 октября 2026
Аннотация
ИИ-помощник руководителя отвечает одинаково уверенно и по слуху из чата, и по проверенному на работающей системе факту. Кортекс (poh-cortex) — открытая методология и шаблон markdown-памяти: у каждого утверждения есть источник, ступень по «лестнице доказательств» от 2 до 9, срок годности и связь с целью квартала. Мы проверяем, в каких ситуациях ответы ИИ-помощника с Кортексом отличаются от ответов того же помощника по тем же фактам в виде папки заметок. Детерминированные тесты репозитория проходят 53 из 53 проверок. В эксперименте одна модель отвечала на шесть вопросов руководителя в трёх условиях — заметки, заметки с текстом методологии, Кортекс — на чистом корпусе (7 файлов) и зашумлённом (129 файлов, две ловушки), по три прогона; ответы оценивал слепой судья в два прохода (согласие 95,6%), спорные флаги сверены автором с материалами. По существу правы все условия: 100% после сверки. Кортекс меняет форму решения: явная мера уверенности — в 78–83% оценок против 6% у заметок; порог и исходы гейта в ответе «успеем ли» — 6 из 6 прогонов против 0 из 6; устаревание названо числом — 6 из 6 против 0 из 6. На зашумлённом корпусе Кортекс читает меньше (240–280 тыс. токенов входа против 303–393 тыс.) и делает втрое меньше шагов, но не видит неразобранный поток: обе ловушки заметки нашли в 3 из 3 прогонов, Кортекс — в 0 из 3, не приняв их и за факт. Числовой аппарат приносит свой тип ошибок — неверное прочтение калибровки. Вывод: на малом корпусе Кортекс не делает ответы вернее, он делает их решаемыми — с порогом, мерой и следующим шагом; выигрыш в стоимости появляется с ростом памяти.
Ключевые слова: память ИИ-агентов, происхождение знаний, калибровка уверенности, OKR, управление продуктом, markdown-память.
1 Введение
Руководитель среднего звена получает за день десятки сигналов: реплики в чатах, итоги созвонов, письма, отчёты, статусы трекера. ИИ-помощник обещает разобрать этот поток, но у языковой модели нет встроенного различия между «кто-то сказал на созвоне» и «проверено на работающей системе». Ответ звучит одинаково уверенно в обоих случаях. Обзоры галлюцинаций в генерации текста называют такую уверенность без основания одной из центральных проблем прикладного использования моделей [4].
Кортекс (poh-cortex) — открытая методология и шаблон памяти для ИИ-агентов руководителя. Память лежит в обычных markdown-файлах. У каждого утверждения есть источник, ступень уверенности по «лестнице доказательств», срок годности и связь с целью квартала. Агент пишет черновики, человек их принимает. Над ядром можно надстроить ускорение — граф и векторный индекс (poh-memory-engine), но правила остаются в ядре.
Методология обещает «отделять факты от мнений». Нас интересует более узкий и проверяемый вопрос:
Вопрос исследования. В каких ситуациях ответ ИИ-помощника, опирающегося на Кортекс, отличается от ответа того же помощника с теми же фактами в виде папки заметок, — и в какую сторону?
Вклад работы:
- Таксономия из восьми ситуаций, в которых механизмы Кортекса должны менять ответ, и четырёх, в которых не должны (раздел 4).
- Детерминированная проверка: сравнительный и приёмочный тесты репозитория воспроизводят разницу между «текстом» и «посчитанным знанием» (раздел 5).
- Эксперимент с ИИ-агентами в трёх условиях — заметки, заметки плюс текст методологии, Кортекс — на чистом и зашумлённом корпусе, со слепой оценкой по рубрике (разделы 6–7).
- Честный отрицательный результат: на маленьком чистом корпусе сильная модель с заметками почти так же права по существу; разница — в мере уверенности, протоколе решения и устойчивости (раздел 8).
2 Близкие работы
Поиск с генерацией. RAG [1] подмешивает к запросу найденные фрагменты. Он решает задачу «найти», но не задачу «взвесить»: найденный слух и найденный договор попадают в контекст на равных. Graph RAG [6] строит граф сущностей поверх корпуса и улучшает ответы на обобщающие вопросы. Кортекс отличается тем, что вес узла задаётся не похожестью и не связностью, а артефактом, на который он опирается.
Долговременная память агентов. MemGPT [2] управляет памятью как иерархией контекста. Generative Agents [3] хранят поток наблюдений и периодически «рефлексируют» над ним. Обе работы решают задачу «помнить». Кортекс добавляет к ней дисциплину: что считать фактом, когда знание протухает и кто вправе поднимать уверенность.
Калибровка. Языковые модели частично умеют оценивать собственную уверенность [5], но эта уверенность — свойство модели, а не основания. Лестница Кортекса восходит к Confidence Meter И. Гилада [7]: уверенность считывается с самого сильного доступного доказательства, а не назначается.
«Второй мозг». Практика личных баз знаний [8] учит собирать и перерабатывать заметки, но рассчитана на человека-читателя. Кортекс адресован агенту и вводит то, чего человеку обычно не нужно записывать: ступень, срок годности, владельца, потолок обещания.
Методология. Основа — PAF (Product Adaptive Framework) С. Тихомирова [9], CC BY-SA 4.0: Нексус как цифровой профиль объекта управления и Кортекс как операционный слой над Нексусами. Корпоративная адаптация (лестница, гейты, распад, ставки, контур агентов) — А. Ишманов.
3 Метод: что такое Кортекс
3.1 Узел, источник, рёбра
Каждый .md-файл с YAML-шапкой — узел. Обязательные поля: node_id, тип, владелец, sources, дата updated. Узел без источника не создаётся: инструмент отклоняет запись. Связи пишутся полями (depends_on, satisfies и др.), а не упоминанием в тексте, поэтому граф выводится детерминированно. Ссылка на несуществующий узел роняет проверку памяти (cortex gate).
3.2 Лестница доказательств и потолки
Уверенность CP — ступень от 2 до 9, считываемая по самому сильному артефакту, который открывается по ссылке:
| CP | Что за ней стоит | Группа |
|---|---|---|
| 2 | кто-то сказал | мнение |
| 3 | кто-то написал: владелец, с датой и объёмом | |
| 4 | показали работающим на демо | проверено |
| 5 | проверили в искусственных условиях | |
| 6 | проверили против реальной системы или человека | |
| 7 | прошло на ограниченном реальном объёме | работает |
| 8 | прошло с деньгами или под нагрузкой | |
| 9 | работает в проде постоянно |
Потолки: устное и чат — не выше 3; пересказ чужих слов — не выше 2 (повышать может только владелец); пока два источника расходятся — не выше 4. Повысить CP можно только новым источником: команда cortex node set --cp без --source отклоняется.
3.3 Распад
Срок годности ttl выводится из частоты изменения объекта (21, 42 или 90 дней; при неизвестной частоте — 21). Эффективная уверенность считается при каждом обращении:
effective_cp = max(2, cp − 2 · max(0, age/ttl − 1)),
то есть после истечения срока узел теряет две ступени за каждый следующий срок и не опускается ниже второй. Узел с cp = 6, проверенный 270 дней назад при ttl = 90, сегодня стоит на 2 и попадает в очередь перепроверки.
3.4 Слабое звено и гейт обещания
Обещание квартала оформляется ставкой: порог CP, дата, зависимости. CP ставки не может быть выше минимума effective_cp её критических зависимостей. Если порог не взят, наружу уходит дата проверки, а не срок. У гейта три исхода: убить ставку, донасытить её конкретным артефактом к дате или дать дату.
3.5 Черновики и граница делегирования
Всё, что пишет агент, — черновик до приёмки человеком. Цель, приоритет, обещание наружу и изменение правил за агентом не закреплены. Протокол ответа агента заканчивается тремя строками: на чём держится, что неизвестно, что изменит ответ.
3.6 Ядро и надстройки
Ядро — markdown в git и один инструмент на стандартной библиотеке Python, без базы и сервисов. Граф и векторный индекс (poh-memory-engine [10]) — производные артефакты, которые пересобираются из ядра, когда памяти становится так много, что агенту дорого собирать контекст чтением файлов.
4 Таксономия: где ответ должен меняться
Из механизмов раздела 3 следует, в каких ситуациях ответ помощника с Кортексом должен отличаться от ответа по заметкам. Таблица 1 — гипотезы, которые мы затем проверяем.
| # | Ситуация | Что меняется в ответе | Механизм |
|---|---|---|---|
| S1 | «Успеем к дате?» | одно решение с названным слабым звеном и порогом вместо «скорее да» | слабое звено, гейт |
| S2 | «Откуда это известно?» | источник и дата у каждого утверждения | обязательный sources |
| S3 | Старое знание выглядит свежим | явное «устарело», ступень падает расчётом | распад ttl |
| S4 | Сказали устно или пересказали | «со слов», ступень не выше 2–3 | потолки канала и владельца |
| S5 | Источники противоречат | обе стороны и пониженная уверенность, а не выбор | потолок спора |
| S6 | «Кому писать?» | владелец узла и стык между зонами | owner, seams |
| S7 | Поток без приоритета | сообщения разложены по целям квартала, остальное отложено | рёбра к KR |
| S8 | «Где мы переоценили себя?» | ступень, которая подвела по исходам ставок | calibrate |
| N1 | Простой факт с одним источником | не должно меняться | — |
| N2 | Творческая задача, текст, идея | не должно меняться | — |
| N3 | Память пуста или не разобрана | не может меняться: считать не из чего | холодный старт |
| N4 | Маленький корпус, который модель читает целиком | по существу меняется мало, меняется форма | проверяется в разделе 7 |
5 Эксперимент 0: детерминированная проверка инструмента
Репозиторий poh-cortex содержит три набора автоматических проверок. Мы прогнали их на коммите 2535622. Это проверка свойств инструмента, а не качества ответов модели: здесь нет языковой модели вовсе.
| Набор | Что проверяет | Проверок | Результат | Время |
|---|---|---|---|---|
tests/smoke.sh | команды не падают | 30 | 30 / 30 | ≈ 20 с |
tests/acceptance.sh | отказы, расчёты, потолок обещания | 11 | 11 / 11 | 1,9 с |
tests/comparison.sh | разница «папка заметок → Кортекс» по шести вопросам | 12 | 12 / 12 | 2,3 с |
Сравнительный тест строит два стенда: папку из шести заметок и Кортекс с четырьмя узлами, ставкой и шестью закрытыми ставками прошлого квартала. Его итог: по заметкам на вопрос «успеем ли к 15 ноября» находятся три разных ответа без основания; Кортекс останавливает обещание с CP 7 на зависимости с CP 2; письмо девятимесячной давности в папке неотличимо от вчерашнего, а в Кортексе его ступень упала с 6 до 2 сама.
Ограничение теста, найденное при подготовке эксперимента. Стенды теста не равны по фактам: в узлах Кортекса нет текстов вроде «возвраты раньше декабря не обещаем», а в папке заметок нет итогов прошлого квартала. Для детерминированного теста это неважно: он проверяет поля, а не текст. Для эксперимента с моделью это важно, и мы выровняли факты (раздел 6.1).
6 Эксперимент с ИИ-агентами: постановка
6.1 Материалы
За основу взяты стенды сравнительного теста. Чтобы оба стенда содержали одни и те же факты, мы (а) перенесли тексты заметок в тела узлов Кортекса — так сделал бы онбординг — и (б) добавили в папку заметок «ретро прошлого квартала» с теми же шестью исходами, что в закрытых ставках Кортекса. Сценарий вымышленный: витрина билетов, три организатора к 15 ноября, три зависимости — расчёты, каталог мероприятий, возвраты.
6.2 Условия
- A — Заметки. 7 файлов, никаких правил.
- C — Заметки + методология. Те же 7 файлов плюс текст контракта агента (AGENTS.md) и лестница доказательств; инструмента нет.
- B — Кортекс. Полный шаблон с узлами, ставками и инструментом
bin/cortex; агент работает по AGENTS.md, только чтение.
Корпуса: чистый (только факты сценария) и зашумлённый — те же факты плюс 120 посторонних заметок о других проектах и две ловушки: устаревший созвон 04.03 «возвраты отдадим к 1 ноября» и слух 10.10 «слышал, что каталог полностью проверили». В Кортексе шум и ловушки лежат в очереди неразобранного _intake/ — так выглядит поток, который ещё не прошёл приёмку.
6.3 Протокол
Одна и та же модель семейства Claude в неинтерактивном режиме, с одинаковыми настройками и без системных инструкций проекта (запуск с отключёнными источниками настроек). Доступ — только чтение файлов текущей папки; в условии B ещё запуск bin/cortex. Шесть вопросов руководителя, ответ — до 120 слов на вопрос:
- Успеем запустить витрину к 15 ноября?
- На чём держится цель квартала и где у неё слабое место?
- Что из того, что мы знаем, уже может быть неправдой?
- Каталог мероприятий готов? Откуда это известно?
- Во что упирается запуск и кому писать?
- В чём мы переоценили себя в прошлом квартале?
Три независимых прогона на условие. Вопросы покрывают ситуации S1–S4, S6 и S8 таблицы 1.
6.4 Оценка
Каждый набор ответов оценивал отдельный запуск той же модели без доступа к файлам. Судья получал эталон фактов и рубрику из шести бинарных критериев на вопрос: верно по существу, назван источник, факт отделён от мнения, дана мера уверенности, назван следующий шаг, есть фактическая ошибка. Перед оценкой ответы обезличены: «CP», «Кортекс» и названия команд инструмента заменены нейтральными словами. Полной слепоты это не даёт — стиль ответов в условии B узнаваем. Каждый набор оценён дважды; согласие проходов приведено ниже.
6.5 Пилот и найденная утечка
Первый, пилотный прогон мы выполнили через субагентов основной сессии. В двух из трёх ответов условия «заметки» появились три итоговые строки протокола Кортекса («на чём держится / что неизвестно / что изменит ответ»). Субагенты унаследовали системные инструкции сессии, где был контракт Кортекса. Пилот исключён из оценки. Утечка сама по себе стала наблюдением: протокол переносится в ответы просто через текст инструкции. Это и есть условие C, которое мы затем поставили явно.
7 Результаты
7.1 Оценка по рубрике
| Условие | Верно по существу | Источник | Факт ≠ мнение | Мера уверенности | Следующий шаг | Ответов с ошибкой |
|---|---|---|---|---|---|---|
| Чистый корпус, 7 файлов | ||||||
| A — Заметки | 100% | 44% | 61% | 6% | 47% | 0 / 18 |
| C — Заметки + методология | 100% | 67% | 64% | 56% | 44% | 2 / 18 |
| B — Кортекс | 100% | 47% | 75% | 83% | 64% | 2 / 18 |
| Зашумлённый корпус, 129 файлов, 2 ловушки | ||||||
| A — Заметки | 100% | 69% | 81% | 6% | 28% | 0 / 18 |
| B — Кортекс | 100% | 58% | 78% | 78% | 61% | 2 / 18 |
7.2 Сверка флагов судьи
Судья знал эталон фактов, но не видел самих материалов, и ошибался там, где ответы опирались на детали, которых в эталоне не было. Он засчитал ошибкой фразу «вы собирались вынести на синк» (в чате есть «вынесу на синк»), «контракт подпишем весной» (это мартовская заметка-ловушка) и перечень «банк, партнёры, подрядчик» (так в ретро). Мы проверили каждый флаг «ошибка» и каждую оценку «неверно» по исходным файлам. Сырые оценки судьи: верно — 89 / 92 / 100% (A / C / B) на чистом корпусе и 94 / 100% (A / B) на зашумлённом. Доля суждений с ошибкой: 14 / 42 / 8% и 36 / 3%. После сверки все ответы верны по существу. Подтверждённых ошибок шесть:
- C: расчёты названы «устными», хотя упомянуто письмо; в вопросе 6 «два из трёх не доехали» с перечнем из трёх.
- B: дата проверки каталога «11 января» вместо 21-го; в вопросе 6 путаница «3 ставки на ступени 6» при двух.
- B, зашумлённый корпус: в вопросе 6 в двух прогонах ступень 3 названа «устным и чатом», хотя по шкале это письменное обещание владельца с датой. Подвели как раз письма, а не устные слова.
Последнюю ошибку судья пропустил: её добавил автор, перечитав все ответы на вопрос 6. Три из шести ошибок — неверное прочтение шкалы или вывода калибровки. Числовой аппарат приносит свой тип ошибок: модели надо правильно понять, что значит ступень.
7.3 Объективные маркеры и стоимость
| Маркер (прогонов из 3) | A | C | B | A шум | B шум |
|---|---|---|---|---|---|
| В ответе «успеем ли» назван порог уверенности | 0 | 0 | 3 | 0 | 3 |
| Названы исходы гейта: дата проверки, донасытить, убить | 0 | 1 | 3 | 0 | 3 |
| Устаревание каталога выражено числом (3×срок, 6 → 2) | 0 | 0 | 3 | 0 | 3 |
| Ловушка «возвраты к 1 ноября» найдена и опровергнута | — | — | — | 3 | 0 |
| Слух «каталог полностью проверили» найден и отвергнут | — | — | — | 3 | 0 |
| Ловушка принята за факт | — | — | — | 0 | 0 |
| Входных токенов, тыс. | 176 | 155 | 240–327 | 303–393 | 240–280 |
| Шагов агента | 17 | 4 | 7–8 | 21–23 | 6–8 |
| Время, с | 26–29 | 25–26 | 30–35 | 32–42 | 27–29 |
| Слов в шести ответах | 281–362 | 292–389 | 332–366 | 300–327 | 304–396 |
7.4 Как это выглядит в ответе
Вопрос 1, чистый корпус. Ответы сокращены, смысл не изменён.
«Нет, по имеющимся данным не успеваем. Смежная команда возвраты раньше декабря не обещает, а контракт по ним не подписан… Реалистичный вариант: запуск без возвратов (если это допустимо) или сдвиг срока».
«К 15 ноября дату давать нечем. Ставка „Запуск“ стоит на CP 2 при пороге 6… Каталог — CP 2 и протух. Расчёты — CP 3, только письмо. Наружу уходит дата проверки, а не срок запуска. Решение за вами: убить ставку, донасытить её артефактами к конкретной дате или перенести запуск».
Вопрос 6, оба корпуса.
«Опирались на письма вместо проверки на реальной системе. Из шести обещаний три… держались на письмах с датой — и не доехали. Отчёт тоже держался на письме, но доехал. Два обещания, проверенные до обещания, доехали».
«Ступень 3 переоценили: из 4 обещаний доехало 1… Ступень 6 оправдалась: 2 из 2… Калибровка предлагает сдвинуть формулировку ступени 3 вниз. Решение за вами».
Зашумлённый корпус, вопрос 3: заметки сами поднимают ловушки, Кортекс отвечает по разобранной памяти.
«„Возвраты к 1 ноября“ (март) — смежная команда теперь говорит „не раньше декабря“… „Каталог проверили полностью“ (чат 10.10, со слов коллеги) — в письме только 50 карточек от 21 января».
«Каталог мероприятий: проверка была 21.01, TTL 90 дней, прошло 3× срок. Узел CP 6 в файле, но фактически CP 2. Фраза кикоффа „риски закрыты“ — устное утверждение… Возвраты: частота изменений высокая… к 8 ноября запись устареет».
8 Обсуждение: когда Кортекс меняет ответ
Сведём результаты к таблице 1.
| # | Ситуация | Меняется ли ответ | Наблюдение |
|---|---|---|---|
| S1 | «Успеем к дате?» | да | порог и исходы гейта 6 / 6 против 0 / 6; вывод «не успеваем» одинаков |
| S2 | «Откуда известно?» | нет | источник называют все; Кортекс чаще называет ступень вместо документа (47–58% против 44–69%) |
| S3 | Старое выглядит свежим | да, форма | «9 месяцев» замечают все; числом (6 → 2, 3×срок) — только Кортекс |
| S4 | Устное и пересказ | слабо | +14 п. п. на чистом корпусе, на шумном — паритет |
| S6 | «Кому писать?» | да | следующий шаг 61–64% против 28–47%; порядок адресатов задан слабым звеном |
| S8 | Калибровка | да, с риском | вывод «письма подвели, проверка на системе — нет» есть везде; у Кортекса — ещё и правка шкалы, но в 3 из 6 его ответов калибровка прочитана с ошибкой |
| — | Неразобранный поток | хуже | ловушки не приняты, но и не замечены (0 / 3); заметки нашли обе (3 / 3) |
| N4 | Маленький корпус | по существу нет | 100% верных ответов во всех условиях |
| S5, S7 | Спор источников, поток по целям | не проверено | вопросов на эти ситуации в наборе не было |
Главное. Сильная модель, которой дали семь коротких заметок и прямой вопрос, сама отделяет факт от слуха и замечает девятимесячную давность письма. Кортекс не делает её правее. Он делает ответ решаемым: в нём есть число, порог, три допустимых исхода и адресат по порядку слабости. Это то, что руководитель может переслать наверх и что одинаково звучит у разных агентов: порог 6 и ступень 2 появились во всех шести прогонах Кортекса.
Методология без инструмента — половина пути. Условие C перенесло язык ступеней (мера уверенности — 56%), но применяло шкалу без распада и по-разному от прогона к прогону: в двух прогонах из трёх каталогу поставили ступень 5 вместо расчётной 2, и ни разу не назвали порог. Шкалу модель читает; считать по ней без инструмента она не стала.
Стоимость. На чистом корпусе Кортекс дороже: модель читает контракт агента и вызывает инструмент. С ростом корпуса картина меняется: у заметок вход вырос до 303–393 тыс. токенов и 21–23 шагов, у Кортекса остался 240–280 тыс. и 6–8 шагов. При тысячах записей разница, по нашей гипотезе, станет решающей. Именно здесь нужна надстройка poh-memory-engine, но мы этого не измеряли.
Слепое пятно. Кортекс отвечает по принятой памяти, поэтому неразобранный поток для него невидим. Это защищает от слухов: ловушки ни разу не стали фактом. Но и свежий сигнал до разбора не попадёт в ответ. Регламент «разбор очереди раз в 2–3 дня» в методологии — не формальность, а условие, при котором выигрыш сохраняется. Простое улучшение протокола: при ответе показывать число неразобранных записей по теме (cortex intake list).
Практический вывод для руководителя. Если памяти мало, дайте помощнику хотя бы правила — это бесплатно. Кортекс окупается, когда нужно (1) решение по порогу, а не мнение «скорее нет», (2) один язык уверенности у разных агентов и людей, (3) память, которая растёт быстрее, чем модель успевает её читать.
9 Ограничения
- Малая выборка. Три прогона на условие, один сценарий, шесть вопросов. Результаты — указание на направление, а не оценка эффекта.
- Судья той же семьи. Оценку ставила модель того же семейства, что и отвечающая. Обезличивание неполное: стиль условия B узнаваем.
- Рубрика благоволит Кортексу. Критерий «мера уверенности» прямо описывает то, что Кортекс даёт по построению. Поэтому мы приводим его отдельно и не смешиваем с правильностью.
- Вопросы прицельные. Руководитель прямо спрашивал «откуда известно?». В жизни главный риск — вопросы, на которые ответ даётся без проверки основания; они здесь не измерялись.
- Судья ошибался. Без доступа к материалам судья засчитывал ошибкой верные детали. Флаги сверены автором вручную: это снижает шум, но вносит оценку заинтересованной стороны. Сырые оценки приведены в разделе 7.2.
- Одна модель. Все прогоны выполнены одной моделью в неинтерактивном режиме. Более слабая модель, вероятно, хуже справилась бы с заметками, и разница была бы больше; это не проверено.
- Масштаб. Зашумлённый корпус — 129 файлов. Память организации за год — тысячи записей; там, по гипотезе, разница больше, но мы её не измеряли.
- Стоимость наполнения. Мы не мерили час-полтора настройки и регулярную приёмку черновиков — цену, которую платит человек.
- Только чтение. Не проверено, как агент пишет в память; именно там методология защищает от «правдоподобного мусора», и это отдельный эксперимент.
10 Заключение
Кортекс — это не способ сделать модель умнее, а способ сделать её ответы пригодными для управленческого решения. В нашем эксперименте одна и та же модель по тем же фактам была права по существу и с заметками, и с Кортексом. Разница — в том, что ответ с Кортексом содержит порог, меру, исходы и адресата, одинаково у разных прогонов. Он дешевле на растущем корпусе и не поддаётся слухам из неразобранного потока, но и не видит их, пока человек не разобрал очередь. Ситуации, где методология должна давать наибольший эффект — спор источников, приоритизация потока по целям, запись агентом в память и масштаб в тысячи записей, — остаются следующими экспериментами.
Воспроизводимость
Шаблон и тесты: github.com/po-helper-org/poh-cortex, коммит 2535622. Детерминированные проверки: tests/smoke.sh, tests/acceptance.sh, tests/comparison.sh --keep. Стенды эксперимента получены из стендов comparison.sh выравниванием фактов (раздел 6.1). Шум сгенерирован скриптом с фиксированным зерном (random.seed(42)): 15 проектов, 10 ролей, 6 типов записей, даты с 10.01 по 17.10.2026. Промпты, все 15 наборов ответов, рубрика, оценки судьи и метрики прогонов — в data/.
Литература
- Lewis P. et al. Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks // NeurIPS 2020. arXiv:2005.11401.
- Packer C. et al. MemGPT: Towards LLMs as Operating Systems. 2023. arXiv:2310.08560.
- Park J. S. et al. Generative Agents: Interactive Simulacra of Human Behavior // UIST 2023. arXiv:2304.03442.
- Ji Z. et al. Survey of Hallucination in Natural Language Generation // ACM Computing Surveys. 2023. Vol. 55, № 12.
- Kadavath S. et al. Language Models (Mostly) Know What They Know. 2022. arXiv:2207.05221.
- Edge D. et al. From Local to Global: A Graph RAG Approach to Query-Focused Summarization. 2024. arXiv:2404.16130.
- Gilad I. Evidence-Guided: Creating High Impact Products in the Face of Uncertainty. 2023; Confidence Meter — itamargilad.com.
- Forte T. Building a Second Brain. Atria Books, 2022.
- Тихомиров С. PAF — Product Adaptive Framework. productframework.ru/ops/main; productframework.ru/ai_product_roles. CC BY-SA 4.0.
- poh-memory-engine: граф и векторный индекс поверх markdown-памяти Кортекса. github.com/po-helper-org/poh-memory-engine.
* Текст, эксперимент и расчёты подготовлены с ИИ-агентом Claude Code под руководством автора. Все люди, команды и проекты в сценарии вымышлены.
← к презентации «Второй мозг руководителя»