Исследования
Методы, результаты, ограничения и артефакты для скачивания
Исследования, где среда выполнения — часть системы
Каждая публикация отделяет измеренные исходы от интерпретации. Результаты датированы и ограничены своими задачами, моделями, политиками и конфигурацией среды выполнения. Артефакты в формате PDF и исходные пакеты предоставляются, когда статья достигает порога публикации.
Сами статьи опубликованы на английском языке — это язык их научной подачи. Ссылки ниже ведут к англоязычным изданиям.
Статьи
Simulation Fidelity and Runtime-Driven Convergence in Output-Capped Tool-Using Agents
Контролируемое исследование того, может ли вмешательство среды выполнения — а не одна лишь формулировка промпта — помочь агентам, использующим инструменты, завершать крупные структурированные артефакты при ограниченном объёме вывода.
управление средой выполнения проверка артефактов абляция
Издание на английском языке. HTML-версия — основная доступная; PDF содержит выделяемый текст, но пока не является размеченным PDF.
Artifact-Grounded Evaluation of Tool-Using Agents
Метод оценки, который сообщает объективную корректность артефакта, политику инструментов, вывод судьи и надёжность платформы как отдельные исходы.
оценка воспроизводимость агентные системы
Издание на английском языке. HTML-версия — основная доступная; PDF содержит выделяемый текст, но пока не является размеченным PDF.
A Protocol-First Runtime for Stateful Tool-Using Agents
Устройство чистого ядра оркестрации, окружённого явными адаптерами моделей, инструментов, состояния, исполнения и потоковой передачи.
архитектура состояние протоколы
Стандарт публикации
Прежде чем количественный результат появится здесь, его публичный пакет должен включать:
- операциональное определение каждой метрики;
- набор задач, размер выборки, повторы и правило остановки;
- конфигурацию модели и среды выполнения, достаточную для интерпретации результата;
- очищенные входные данные или задокументированный генератор;
- версионированный аналитический код и сгенерированные рисунки;
- неопределённость и известные ограничения;
- запись, связывающую каждое публичное утверждение с его доказательствами.
Полный стандарт задокументирован в разделе Воспроизводимость.