Воспроизводимость
Публикационный контракт для доказательств об агентных системах
Доказательства прежде нарратива
Оценки агентов необычайно чувствительны к формулировке промпта, поведению провайдера, доступности инструментов, политике среды выполнения, дисперсии судьи и отказам инфраструктуры. Оценка без этих условий не является воспроизводимым результатом. Поэтому публикации Protocore поставляются вместе с пакетом доказательств, сопровождающим статью.
Реестр утверждений
Каждое количественное утверждение получает стабильный публичный идентификатор и запись в реестре, содержащую:
| Поле | Назначение |
|---|---|
| Определение | Точно указывает, что именно считается и что считается успехом. |
| Охват | Называет набор задач, размер выборки, повторы и исключения. |
| Конфигурация | Фиксирует модель, среду выполнения, политику инструментов и значимые ограничения. |
| Происхождение | Связывает утверждение с очищенными данными и кодом, который его вывел. |
| Неопределённость | Сообщает вариацию или доверительные интервалы, где это позволяет план исследования. |
| Ограничения | Не даёт локальному результату превратиться в безусловное утверждение о продукте. |
| Дата | Делает дрейф заметным, а не молча заменяет более раннее наблюдение. |
Воспроизводимые рисунки и таблицы
Рисунки и таблицы генерируются из версионированных, безопасных для публикации входных данных. Ручное редактирование отображаемых значений не допускается. Аналитические скрипты обязаны завершаться ошибкой, когда ожидаемый столбец, выборка или конфигурация отсутствуют, а не заполнять пробелы предположениями.
Три вида исхода
Публичные оценки различают как минимум три слоя:
- Платформенный исход — запустился ли прогон, шёл ли поток и завершился ли он так, как задумано?
- Поведенческий исход — следовал ли агент относящейся к делу политике инструментов и среды выполнения?
- Исход задачи — является ли полученный артефакт или ответ объективно корректным?
Судья на основе LLM может добавить четвёртую перспективу, но он не заменяет три остальных. Промпты судьи, настройки сэмплирования и калибровка входят в пакет доказательств.
Граница публичной безопасности
Публикационные артефакты производятся как экспорт в чистой комнате. Они исключают учётные данные, приватные эндпоинты, персональные или клиентские идентификаторы, производственные трассы, приватные идентификаторы аккаунтов и детали развёртывания. Синтетические примеры заменяют приватные операционные данные, когда научный вопрос этого не требует.
Сборка сайта проверяет и исходные тексты, и сгенерированный вывод. PDF и сохранённый TeX входят в ту же границу проверки, что и HTML.
Контракт сборки
Quarto — единственный источник статьи. Статья рендерится в научный HTML и PDF, сохраняет TeX, когда он нужен для подачи, и упаковывает свой отрецензированный исходный текст. Публичный образ nginx получает только сгенерированный контекст publish/; приватные данные не могут быть скопированы в него из корня репозитория.
Научное HTML-издание — основной доступный публикационный артефакт: оно даёт семантические заголовки, текстовые альтернативы для рисунков, управляемые с клавиатуры таблицы и переформатирование на узких экранах. Текущие PDF на LaTeX остаются выделяемыми и доступными для поиска, но не размечены для вспомогательных технологий. Каждая публикация представляет HTML-альтернативу рядом со своим PDF для скачивания, пока не появится стабильный путь к размеченному PDF, отвечающий тем же требованиям воспроизводимости и подачи.
Точные команды сборки и проверки см. в README репозитория.