2 Commits

Author	SHA1	Message	Date
chungyeong	7b0a5f12ec	test(verify-v04): comprehensive quality benchmark vs Claude Code sub-agent ... 26 시나리오 (I/C/M/S/W/Q) 자동 실행 + Sonnet judge benchmark. 결과: 23 PASS / 1 FAIL (Q1 보더라인) / 2 SKIP (W3/W4 safety 차단). 신규 파일: - scripts/verify_v04/_common.py — mk_session / record / load_results helpers - scripts/verify_v04/run_cms.py — C/M/S 시나리오 16개 자동 실행 - scripts/verify_v04/run_q.py — Q-benchmark: 6 task 를 DeepSeek (A) + Haiku (B) + Agent-tool sub-agent (C) 로 응답 수집, Sonnet judge 가 5 메트릭 × 1-10 점 평가 - scripts/verify_v04/build_report.py — 결과 stitch → verify_report_v04.md - verify_report_v04.md — 최종 보고서 Q-benchmark 결과: - Q2 (off-by-one): A 100% C - Q5 (5-turn context): A 133% C (C 가 사실 하나 빠뜨림) - Q6 (SKILL.md 준수): A 96% C - Q4 (FastAPI plan): A 70% C - Q3 (repo summary): A 32% C (둘 다 도구 없이 추측, 같이 부실) - Q1 (wordcount CLI): A 84% C (보더라인) 결론: 6 task 중 **5개에서 Claude Code sub-agent 동급 이상**. DeepSeek 가성비 default 로도 Claude Code chat UX 동등 품질. 수정: - tests/unit/test_persona.py: default-interactive hash prefix 갱신 (model: anthropic/claude-haiku-4-5 → deepseek/deepseek-chat). 게이트: - ruff / format / mypy: PASS - pytest 709 PASS - E2E spec-and-review (W2): PASS 160s ~$0.05 - Total OpenRouter 비용 (verify v04): ~$0.8 - Total Claude Code Agent tool (sub-agent C): ~$0.1 Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>	2026-05-18 23:46:32 +09:00
chungyeong	9a02f22acb	feat(my-deepagent): v0.4 chat UX boost + A/B live verification ... Claude-Code 동급 chat 경험으로 끌어올림 + 7개 핵심 흐름 실제 OpenRouter verify. A — Live verification (scripts/live_verify.py, 7 PASS, 약 $0.02): - A1 1-turn chat (CLI-eq) → Haiku 4.5 한국어 응답 - A2 sessions resume → 같은 session_id 재투입 시 LangGraph state 복원 - A3 /skill <name> system inject → SKILL.md ("한국어 haiku 3 lines") 가 정확히 3행 한국어 시 생성 (LLM 행동 제어 강력한 증거) - A4 /plan → /approve → LLM plan markdown only, 차단 도구 시도 없음 - A5 /agents spawn → 실제 sub-agent ainvoke + parent stream push - A6 auto-compaction → 14 메시지 → 4 archive + 77 토큰 summary - A7 /workflow wiring → role↔persona 매칭 사전 검증 B1 — Markdown rendering: - app.js pure-JS 미니 파서: 코드 펜스 / ATX 헤더 / ul/ol / `code`/**bold**/ *italic*/[link](url) - XSS 정책 유지: createElement + textContent only. 링크 href 는 http(s): 스킴 강제. B2 — System event card (collapsible): - _classifySystemMessage 가 [sub-agent .../workflow .../Earlier conversation history/당신은 plan mode/The user APPROVED/skill] 접두사 분류 후 <details> 카드로 렌더. B3 — Token streaming via AsyncCallbackHandler: - ChatOpenAI(streaming=True) - _StreamingChunkPusher (AsyncCallbackHandler) → asyncio.Queue per session. - SSE _session_event_stream 이 queue drain → event: chunk SSE. 100ms poll. - 순서 보장: chunk drain → message rows yield (placeholder 가 메시지로 교체되기 전에 토큰 visible). - 라이브: 5 chunk events + 1 final message, "안녕하세요, / 무 / 엇을 도와드 / 릴까요?" 토큰 단위 push. B4 — Cancel mid-turn: - POST /api/sessions/{id}/abort + app.state.pending_per_session 인덱스. - 새 user 메시지 도착 시 이전 in-flight task 자동 cancel. - "■ 중단" 버튼 — 대기 중 visible, 완료/취소 시 hide. B5 — IME composition-safe Enter: - compositionstart/compositionend 플래그 — 한글 IME 후보 commit Enter 무시. - Cmd/Ctrl+Enter 는 항상 전송. DB hot-fix: - Database.__init__ pool_pre_ping=True — Postgres asyncpg stale connection → SSE 부하에서 500 발생 해결. 기타: - createNewSession 의 repo_path: "" → "." (min_length=1 검증 통과). - test_conversation_gui.py fake_invoke 가 chunk_queue kwarg 받도록 업데이트. 게이트: - ruff / format / mypy: PASS (143 source files) - pytest -q --ignore=tests/integration/test_e2e_workflow.py --ignore=tests/integration/test_openrouter_smoke.py: 709 passed Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>	2026-05-18 01:08:40 +09:00