Maester v3.6 Business Recall Eval
평가 시점: 2026-05-09 Neo4j: 54+ docs, 456+ nodes, 473+ edges (Tiro/Session 적재 진행 중)
결과: GOOD 9/10 (90%)
| # | 질문 | 판정 | nodes | edges | actions |
|---|---|---|---|---|---|
| 1 | 혜성대표 통화 이후 keeper-direct 방향 | ✅ GOOD | 11 | 46 | 0 |
| 2 | 토스 미팅 이후 실행/미실행 | ✅ GOOD | 15 | 37 | 0 |
| 3 | CPC 전략 + nginx 구현 연결 | ✅ GOOD | 13 | 79 | 0 |
| 4 | 현장출격 Day-1 후속 액션 | ✅ GOOD | 4 | 7 | 0 |
| 5 | 캐시온/diagnose/keeper-direct 분기 | ✅ GOOD | 13 | 79 | 0 |
| 6 | 이번 주 놓치면 안 되는 후속작업 | ✅ GOOD | 13 | 79 | 0 |
| 7 | 네이버/CPC/키워드 전략 문서 | ✅ GOOD | 13 | 25 | 0 |
| 8 | 혜성→토스→출격→CPC 체인 시간순 | ✅ GOOD | 15 | 53 | 0 |
| 9 | 지금 당장 돈 되는 실행 흐름 | ❌ FAIL | 0 | 0 | 0 |
| 10 | Maester 자체 개선 우선순위 | ✅ GOOD | 4 | 4 | 0 |
버전별 비교
| 질문 | v3.4 | v3.5 | v3.6 |
|---|---|---|---|
| Q1 혜성대표 이후 | 1 node | 8 nodes | 11 nodes + 46 edges |
| Q2 토스 이후 | 6+7 | 6+7 | 15 nodes + 37 edges |
| Q3 CPC 연결 | 5+1 | 5+1 | 13 nodes + 79 edges |
| Q5(구) 현장출격 | 0 | 1 | 4 nodes + 7 edges |
| Q6(구 Q5) 후속작업 | 0 | 0 | 13 nodes + 79 edges |
실패 분석: Q9
"지금 당장 돈 되는 실행 흐름"은 추상적 질문. "돈"이라는 단어가 entity 이름, 문서 제목, 본문 키워드 어디에도 직접 매칭되지 않음. 해결 방향:
- semantic tag (e.g.,
money_related,revenue_impact) 추가 - 또는 recall answerer 프롬프트에서 "돈 되는" → "매출, 영업, 계약, CPC, 리드" 같은 키워드 확장 로직