---
name: agent-evaluation-test-suite
description: Systematically test any LLM agent (Hermes, Claude Code, Codex, etc.) across 4 levels — Base, Tools, Autonomy, Multi-agent. Produces a score 0-10 and a capability profile. Use when the user asks 'how good is this agent', 'test my agent', or wants to compare agent capabilities.
---

# Agent Evaluation Test Suite

Systematic methodology for evaluating any LLM agent across 4 progressive levels.

## When to use

- User says *"test my agent"*, *"how good is this agent"*, *"compare agents"*
- You need to assess a new agent's capabilities
- Users want to know if their agent is ready for production work
- Comparing multiple agents (e.g., Hermes vs Claude Code vs Codex)
- Before integrating a team member's agent into shared infrastructure

## The Four Levels

```
Level 1: BASE    — Is the agent alive? Can it execute basic commands?
Level 2: TOOLS   — Can it use git, web, files, and write docs?
Level 3: AUTONOMY — Can it debug, plan, and deliver end-to-end?
Level 4: ROY     — Can it delegate to sub-agents and orchestrate?
```

Score interpretation:
- **0-3**: Toy agent, only chats
- **4-6**: Basic worker, can help with simple tasks
- **7-8**: Advanced autonomous assistant (Hermes-level)
- **9-10**: Professional multi-agent swarm

## Test Procedure

1. Create a folder for test artifacts (e.g., `~/agent-test/`)
2. Give each task to the agent one by one
3. **Do not help or hint** — this tests raw capability
4. Record pass/fail and time per task
5. Pass level if enough tasks pass (see thresholds below)
6. Compile final score

---

## Level 1: BASE (threshold: 3/3)

### Task 1.1 — Terminal access
**Prompt:**
> "Напиши Python скрипт, который создаёт папку test_agent, кладёт туда файл hello.txt с текстом 'Hello Agent', и выводит содержимое файла."

**Expected:** Script runs, file created, output displayed.

### Task 1.2 — File reading + pattern extraction
**Prompt:**
> "Прочитай этот файл [any .json/.md file with emails], найди там все email-адреса и выпиши их списком."

**Expected:** Agent receives a file, reads it, extracts and lists emails.

### Task 1.3 — Logic/Reasoning
**Prompt:**
> "У тебя есть числа: 2, 5, 7, 12, 15, 18, 23, 27, 30. Разбей их на три группы так, чтобы сумма чисел в каждой группе была максимально близкой друг к другу."

**Expected:** Logically sound distribution. Optimal: [2,15,30]=47, [5,18,23]=46, [7,12,27]=46 (diff=1).

---

## Level 2: TOOLS (threshold: 2/3)

### Task 2.1 — Git workflow
**Prompt:**
> "Создай локально git-репозиторий, сделай три коммита с разными файлами, покажи лог."

**Expected:** git init, add, commit, log — all work. On macOS without Xcode, agent should use dulwich (pure Python).

### Task 2.2 — Web search + synthesis
**Prompt:**
> "Найди последние новости про [current topic] в 2026 году и напиши краткое резюме из 3 абзацев."

**Expected:** Agent searches the web, finds real information, writes a coherent summary with facts.

### Task 2.3 — Code + Documentation
**Prompt:**
> "Напиши README.md для проекта [any project description]."

**Expected:** README with description, install steps, API, structure, license. Professional formatting.

---

## Level 3: AUTONOMY (threshold: 2/3)

### Task 3.1 — Bug fixing
**Prompt:**
> "Напиши код на Python:
> def divide(a, b):
>     return a / b
> print(divide(10, 0))
> Этот код падает. Почини его так, чтобы вместо ошибки выводилось 'На ноль делить нельзя'."

**Expected:** Agent identifies division by zero, adds try/except or conditional check, verifies fix works.

### Task 3.2 — Architecture planning
**Prompt:**
> "Спроектируй архитектуру для [project description]. Напиши план: какие страницы, какой стек, как организовать данные. Не пиши код, только план."

**Expected:** Structured plan with pages, tech stack, data model, component relationships.

### Task 3.3 — Self-contained deliverable
**Prompt:**
> "Сделай простую HTML-страницу с формой для ввода имени и кнопкой. При нажатии на кнопку страница показывает 'Привет, [имя]!'."

**Expected:** Working HTML file on disk, with styling, proper form handling, Enter key support.

---

## Level 4: MULTI-AGENT (threshold: 1/1)
*Only test if agent has sub-agent/delegation capability.*

### Task 4.1 — Parallel delegation
**Prompt:**
> "У тебя есть 3 URL. Разошли их трём разным суб-агентам параллельно, каждый пусть извлечёт текст со своей страницы. Собери все результаты в один документ."

**Expected:** Agent creates sub-agents in parallel, distributes work, collects all results, merges into one output.

---

## Scoring Template

```
┌─────────┬────────────────────────────┬──────┬─────────┐
│ Уровень │ Название                   │ +/-  │ Время   │
├─────────┼────────────────────────────┼──────┼─────────┤
│    1    │ База (живой/мёртвый)       │  _/3 │  ___ сек│
│    2    │ Инструменты (работает)     │  _/3 │  ___ сек│
│    3    │ Автономность (сам думает)  │  _/3 │  ___ сек│
│    4    │ Мультиагент (рой)          │  _/1 │  ___ сек│
├─────────┼────────────────────────────┼──────┼─────────┤
│         │ ИТОГО                      │ _/10 │ ___ мин│
└─────────┴────────────────────────────┴──────┴─────────┘

Score: 0-3 🤖 Toy     4-6 🛠️ Worker     7-8 ⚡ Advanced     9-10 🏆 Pro
```

## Tips

- **First time evaluating an agent:** start with Level 1 only
- **Comparing two agents:** run same tasks on both, compare time + quality
- **On macOS without Xcode:** expect dulwich fallback for git tasks (that's normal)
- **Web search:** if agent's network tools fail, note it but let them fall back to training knowledge
- **Time:** a professional agent should complete all 10 tasks in under 5 minutes
