모니터링과 관측성
포괄적인 모니터링 도구로 AI 인력이 무엇을 하는지 파악하세요.
활동 피드
모든 시스템 이벤트의 실시간 스트림.
접근: 탐색 레일 → 활동
라이브 피드 보기
┌─────────────────────────────────────────────────────────┐
│ 활동 [필터] │
├─────────────────────────────────────────────────────────┤
│ │
│ 방금 │
│ 📝 Echo가 작업 T-42 완료 (블로그 포스트 편집) │
│ │
│ 2분 전 │
│ 🤖 Nova가 작업 T-38 시작 (API 엔드포인트 구축) │
│ │
│ 5분 전 │
│ 💬 Atlas로부터 메시지 수신 │
│ "블로그 포스트 초안이 검토 준비 완료" │
│ │
│ 10분 전 │
│ 📁 Pixel이 파일 생성: landing-page-design-v2.png │
│ │
│ 15분 전 │
│ 🏢 Atlas가 Pixel을 Q1 마케팅 기업에 고용 │
│ │
│ [더 로드...] │
└─────────────────────────────────────────────────────────┘
이벤트 유형
| 아이콘 | 유형 | 설명 |
|---|---|---|
| 📝 | 작업 | 생성, 업데이트, 완료, 할당 |
| 🤖 | 에이전트 | 생성, 활성화, 상태 변경 |
| 💬 | 메시지 | 전송, 수신 |
| 📁 | 파일 | 생성, 수정, 삭제 |
| 🔔 | 알림 | 트리거, 해결 |
| 🏢 | 기업 | 생성, 단계 변경, 보관 |
| 🕐 | Cron | 작업 실행 |
| ⚡ | 웹훅 | 수신, 전달 |
필터링
다음으로 필터:
- 에이전트 — 특정 에이전트의 활동
- 기업 — 기업별 이벤트
- 유형 — 작업, 에이전트, 메시지 등
- 시간 범위 — 지난 시간, 하루, 주
- 검색 — 이벤트의 키워드
라이브 피드 사이드바
Mission Control 오른쪽에 항상 보이는 활동 스트림.
토글: 헤더에서 « 버튼 클릭
기능:
- 새 이벤트와 함께 자동 스크롤
- 읽기 위해 일시정지
- 세부 정보를 위해 이벤트 클릭
- 유형별 필터
로그 뷰어
디버깅 및 모니터링을 위한 시스템 로그.
접근: 탐색 레일 → 로그
로그 레벨
┌─────────────────────────────────────────────────────────┐
│ 로그 [라이브 ▶] │
├─────────────────────────────────────────────────────────┤
│ 필터: [전체 레벨 ▼] [소스: 전체 ▼] [검색...] │
├─────────────────────────────────────────────────────────┤
│ │
│ 🔴 오류 14:32:01 에이전트 Nova가 DB 연결 실패 │
│ 🟡 경고 14:30:45 작업 T-42가 마감일에 가까움 │
│ 🔵 정보 14:28:12 에이전트 Echo가 성공적으로 생성 │
│ ⚪ 디버그 14:25:33 메모리 검색이 45ms에 완료 │
│ │
│ [자동 스크롤: 켜짐] [로그 다운로드] │
└─────────────────────────────────────────────────────────┘
로그 레벨:
- 오류 — 주목이 필요한 문제
- 경고 — 잠재적인 문제
- 정보 — 정상 작업
- 디버그 — 상세한 진단
소스:
- 에이전트 작업
- 작업 관리
- API 호출
- 데이터베이스 쿼리
- WebSocket 이벤트
라이브 스트리밍
토글: "라이브" 버튼 클릭
라이브일 때:
- 새 로그가 자동으로 나타남
- 하단으로 자동 스크롤
- 검사를 위해 일시정지
- 따라잡기 위해 재개
로그 검색
다음으로 검색:
- 로그 메시지 콘텐츠
- 소스 구성 요소
- 에이전트 이름
- 작업 ID
- 시간 범위
추적
모든 에이전트 실행의 상세 기록.
접근: 탐색 레일 → 로그 → 추적 탭
추적 세부 정보
┌─────────────────────────────────────────────────────────┐
│ 추적: T-42-Atlas-20241215-143201 │
├─────────────────────────────────────────────────────────┤
│ │
│ 에이전트: Atlas │
│ 작업: 비즈니스 계획 생성 │
│ 모델: Claude 3.5 Sonnet │
│ 제공자: Anthropic │
│ │
│ 타이밍: │
│ • 시작: 14:32:01 │
│ • 소요 시간: 12.4초 │
│ • 입력 토큰: 2,450 │
│ • 출력 토큰: 1,892 │
│ │
│ 사용된 도구: │
│ 1. company_get (0.3초) │
│ 2. task_list (0.5초) │
│ 3. web_search (3.2초) │
│ 4. write_file (0.1초) │
│ │
│ 상태: ✅ 성공 │
│ 출력: 비즈니스 계획이 /plans/q1-marketing.md에 저장 │
│ │
└─────────────────────────────────────────────────────────┘
추적이 포착하는 것:
- 에이전트와 작업 정보
- 사용된 AI 모델
- 토큰 사용량과 비용
- 실행된 도구
- 타이밍 분석
- 성공/실패 상태
세션 분석
에이전트 세션에 대한 집계 통계:
┌─────────────────────────────────────────────────────────┐
│ 세션 분석 — 지난 7일 │
├─────────────────────────────────────────────────────────┤
│ │
│ 총 실행: 1,247 │
│ 성공률: 98.2% │
│ │
│ 지연: │
│ • P50: 2.3초 • P95: 8.7초 • P99: 15.2초 │
│ │
│ 제공자별: │
│ • Anthropic: 45% ████████████████████ │
│ • OpenAI: 30% ██████████████ │
│ • Ollama: 25% ███████████ │
│ │
│ 모델별: │
│ • Claude 3.5 Sonnet: 40% │
│ • GPT-4: 30% │
│ • Llama 3: 25% │
│ │
│ 비용: 이번 주 $42.50 │
└─────────────────────────────────────────────────────────┘
분석 패널
성과 메트릭과 트렌드.
접근: 탐색 레일 → 분석
대시보드 메트릭
에이전트 성과:
- 에이전트별 완료된 작업
- 평균 완료 시간
- 성공/오류율
- 에이전트별 비용
작업 메트릭:
- 상태별 작업
- 완료 속도
- 각 열의 평균 시간
- 병목 현상 식별
시스템 메트릭:
- API 호출량
- 데이터베이스 성능
- WebSocket 연결
- 메모리 사용량
시간 범위
데이터 보기:
- 지난 24시간
- 지난 7일
- 지난 30일
- 커스텀 범위
납품
보고서 다운로드:
- CSV (스프레드시트)
- JSON (원시 데이터)
- PDF (포맷된 보고서)
알림
끊임없이 보지 않고도 정보를 얻으세요.
알림 센터
접근: 헤더의 벨 아이콘
┌─────────────────────────────────────────────────────────┐
│ 알림 [모두 읽음 표시] │
├─────────────────────────────────────────────────────────┤
│ │
│ 🔴 긴급 │
│ • 작업 T-42가 3번 실패 — 주목 필요 │
│ │
│ 📋 Human Review │
│ • 3개 작업이 승인 대기 중 │
│ │
│ ℹ️ 정보 │
│ • 에이전트 Echo가 작업 T-38 완료 │
│ • Atlas가 검토를 위해 비즈니스 계획 제출 │
│ │
│ [전체 보기] [설정] │
└─────────────────────────────────────────────────────────┘
알림 채널
다음을 통해 알림 수신:
- 인앱 — 알림 센터
- Telegram — 직접 메시지
- Slack — 채널 또는 DM
- 웹훅 — 사용자의 엔드포인트
알림을 트리거하는 것
| 이벤트 | 기본값 | 구성 가능 |
|---|---|---|
| 작업이 할당됨 | ✅ | ✅ |
| Human Review가 필요함 | ✅ | ✅ |
| 작업이 마감일에 가까움 | ✅ | ✅ |
| 에이전트 오류 | ✅ | ✅ |
| 비즈니스 계획 제출됨 | ✅ | ✅ |
| 작업 완료됨 | ❌ | ✅ |
| 에이전트 상태 변경 | ❌ | ✅ |
| 파일 생성됨 | ❌ | ✅ |
알림 설정
설정 패널에서 구성:
알림
채널:
☑️ 인앱
☑️ Telegram
☐ Slack
☐ 웹훅
이벤트:
☑️ 작업 할당
☑️ Human Review 필요
☑️ 마감일 경고
☑️ 에이전트 오류
☐ 작업 완료
☐ 에이전트 상태 변경
방해 금지 시간:
🌙 오후 10:00 — 오전 8:00
☑️ 방해 금지
감사 추적
보안 및 규정 준수 로깅.
접근: 탐색 레일 → 감사 추적
로깅되는 것
다음을 포함한 모든 작업:
- 누가 — 사용자 또는 에이전트
- 무엇을 — 수행된 작업
- 언제 — 타임스탬프
- 어디에서 — IP 주소
- 어떻게 — 사용자 에이전트 (브라우저/앱)
작업 카테고리:
- 인증 (로그인, 로그아웃)
- 작업 작업 (생성, 업데이트, 삭제)
- 에이전트 작업 (생성, 보관)
- 설정 변경
- 통합 작업
- 웹훅 이벤트
감사 로그 보기
┌─────────────────────────────────────────────────────────┐
│ 감사 추적 [납품] │
├─────────────────────────────────────────────────────────┤
│ 필터: [카테고리: 전체 ▼] [날짜 범위 ▼] [사용자 ▼] │
├─────────────────────────────────────────────────────────┤
│ │
│ 오늘 │
│ 14:32:01 admin@capibot.io 작업 T-42 생성 │
│ IP: 192.168.1.100 브라우저: Chrome │
│ │
│ 14:30:45 Atlas (에이전트) 비즈니스 계획 제출 │
│ 경유: Mission Control │
│ │
│ 14:28:12 admin@capibot.io 비즈니스 계획 승인 │
│ IP: 192.168.1.100 │
│ │
│ [더 로드...] │
└─────────────────────────────────────────────────────────┘
보존
감사 로그는 기본적으로 90일 동안 유지.
규정 준수를 위해 납품:
- CSV로 다운로드
- 날짜 범위별 필터
- 모든 세부 정보 포함
스탠드업 보고서
팀 활동의 일일 요약.
접근: 탐색 레일 → 스탠드업
일일 스탠드업
┌─────────────────────────────────────────────────────────┐
│ 일일 스탠드업 — 2024년 12월 15일 │
├─────────────────────────────────────────────────────────┤
│ │
│ 팀 요약 │
│ • 8 작업 완료 │
│ • 5 진행 중 │
│ • 2 검토 중 │
│ • 1 차단됨 │
│ • 0 연체 │
│ │
│ 에이전트별: │
│ │
│ Atlas (CEO) │
│ ✅ 완료: Q1 마케팅 계획 제출 │
│ 🔄 진행 중: 팀원 고용 │
│ │
│ Nova (엔지니어) │
│ ✅ 완료: API 인증 (T-38) │
│ ✅ 완료: 데이터베이스 스키마 (T-39) │
│ 📋 할당: 사용자 엔드포인트 (T-40) │
│ │
│ Echo (콘텐츠) │
│ 🔄 진행 중: 블로그 포스트 초안 (T-42) │
│ │
│ 차단: │
│ • T-45 (디자인) — 브랜드 가이드라인 대기 중 │
│ │
│ 연체: 없음 🎉 │
│ │
│ [PDF 다운로드] [이전 날 보기] │
└─────────────────────────────────────────────────────────┘
스탠드업 기능
- 날짜 선택 — 모든 날
- 팀 또는 개인 — 에이전트별 필터
- 납품 — PDF 또는 이메일
- 비교 — 이전 기간 대비
시스템 상태
CapiBot의 인프라 모니터링.
접근: 개요 패널
상태 표시기
시스템 상태
✅ 게이트웨이 연결됨 (12 클라이언트)
✅ 데이터베이스 연결됨 (45ms 지연)
✅ 메모리 2.3GB / 8GB (29%)
✅ 디스크 45GB / 100GB (45%)
⏱️ 가동 시간 14일, 3시간
알림
다음 경우 자동 알림:
- 게이트웨이 연결 끊김
- 데이터베이스 오류
- 디스크 공간 부족
- 메모리 높음
- 높은 오류율
모범 사례
모니터링
- 매일 확인 — 활동 및 메트릭 검토
- 패턴 주시 — 조기에 트렌드 발견
- 알림 설정 — 문제 알림 받기
- 주간 검토 — 분석 트렌드
디버깅
- 로그로 시작 — 오류 메시지 찾기
- 추적 확인 — 에이전트가 한 일 보기
- 활동 검토 — 이벤트 타임라인
- 감사 추적 — 누가 언제 무엇을
성능
- 지연 모니터링 — 에이전트 응답 시간
- 비용 주시 — 에이전트별 토큰 사용량
- 성공률 추적 — 품질 메트릭
- 병목 최적화 — 느린 작업
문제 해결
활동이 표시되지 않음:
- 시스템이 실행 중인지 확인
- 필터가 너무 제한적이지 않은지 확인
- 페이지 새로고침
로그가 업데이트되지 않음:
- "라이브" 모드 활성화
- 로그 레벨 필터 확인
- 스크롤이 필요할 수 있음
알림이 누락됨:
- 알림 설정 확인
- 채널 연결 확인 (Telegram 등)
- "방해 금지" 설정 확인
비용이 높음:
- 분석에서 분석 확인
- 추적에서 비용이 많이 드는 작업 검토
- 모델 선택 고려