AI 예약 · 상담 · 서류 기능을 만들고 나면 바로 "이제 자동으로 돌려도 되나요?"라는 질문이 나옵니다. 답은 기능을 만든 날에는 알 수 없습니다. 실제 요청으로 몇 주 돌려 보고 숫자로 판단해야 합니다.
시범 운영을 그냥 "한번 써 보자"로 시작하면, 4주 뒤에 남는 건 "괜찮은 것 같다"는 느낌뿐입니다. 아래 순서대로 하면 4주 뒤에 어느 유형을 자동으로 넘기고 어느 유형을 사람에게 남길지 숫자로 결정할 수 있습니다.
시작 전: 일주일 기준 측정
AI를 켜기 전에 지금 방식으로 일주일을 기록합니다. 이게 없으면 4주 뒤 좋아졌는지 비교할 대상이 없습니다.
| 기록할 것 | 예시 |
|---|---|
| 요청 건수(유형별) | 예약 문의 84건, 변경 21건, 기타 13건 |
| 한 건 처리 시간 | 예약 문의 평균 6분 |
| 첫 답장까지 걸린 시간 | 평균 2시간 10분 |
| 다시 연락한 고객 | 17건 |
| 처리 실수 | 2건(중복 예약 1, 인원 오기 1) |
숫자는 예시입니다. 처리 시간은 정밀할 필요가 없습니다. 담당자가 하루 중 몇 번 시계를 보고 적는 정도로 충분합니다.
같은 일주일 동안 평가용 예시 50건을 모읍니다. 실제 들어온 요청과 사람이 한 올바른 처리 결과를 짝지어 둔 것입니다. AI 기능을 고칠 때마다 이 50건으로 다시 돌려 보면, 고친 게 정말 나아졌는지 바로 확인할 수 있습니다.
1주차: 제안만 하고 사람이 처리한다
AI는 답을 제안만 합니다. 고객에게 나가는 답은 담당자가 확인하고 직접 보냅니다. 고객 입장에서는 아무것도 바뀌지 않습니다.
이 주에 기록할 것은 하나입니다. AI 제안을 그대로 썼는지, 고쳐서 썼는지, 버렸는지.
| 요청 유형 | 건수 | 그대로 | 고침 | 버림 |
|---|---|---|---|---|
| 빈자리 문의 | 52 | 44 | 6 | 2 |
| 예약 변경 | 14 | 7 | 4 | 3 |
| 단체 문의 | 6 | 0 | 2 | 4 |
이 표만으로도 방향이 보입니다. 빈자리 문의는 대부분 그대로 쓰였고, 단체 문의는 거의 버려졌습니다. 고친 건과 버린 건은 왜 고쳤는지 한 줄씩 적어 둡니다. 그 이유가 다음 주에 AI를 고칠 재료입니다.
2주차: 사람이 확인하고 확정한다
1주차에 "그대로" 비율이 높았던 유형만 다음 단계로 올립니다. AI가 답을 만들어 확인 대기 목록에 올리고, 담당자는 목록을 보며 승인 버튼만 누릅니다. 직접 쓰던 시간이 확인하는 시간으로 바뀝니다.
확인 대기 목록에는 다음이 보여야 합니다.
- 고객 요청 원문
- AI가 정리한 조건(날짜, 인원, 상품)
- AI가 보낼 답과, 그 답의 근거(어느 예약표의 어느 칸을 봤는지)
- AI가 확신이 낮다고 표시한 부분
이 주에 기록할 것은 사람이 고친 비율과 승인까지 걸린 시간입니다. 단체 문의처럼 1주차에 버려진 유형은 계속 사람이 처리하게 둡니다.
3주차: 조건을 정해 자동으로 확정한다
2주차에서 숫자가 좋았던 유형만, 조건을 붙여 자동 확정으로 넘깁니다. 기준은 회사마다 다르지만 출발점으로 쓸 만한 예시는 이렇습니다.
| 조건 | 예시 기준 |
|---|---|
| 사람이 고친 비율 | 2주 연속 5% 미만인 유형만 |
| 고객 영향이 큰 실수 | 시범 기간 0건 |
| AI 확신도 | 낮다고 표시한 건은 계속 사람에게 |
| 금액 · 인원 | 일정 금액 이상, 일정 인원 이상은 사람에게 |
| 되돌리기 | 자동 확정 건은 담당자가 하루 한 번 목록으로 확인 |
자동 확정을 켜도 매일 한 번은 자동 처리된 목록을 훑어봅니다. 이상한 건이 보이면 그 유형만 다시 확인 단계로 내립니다. 켜고 끄는 단위가 유형별이어야 문제가 생겨도 전체를 멈추지 않아도 됩니다.
4주차: 숫자로 결정한다
4주차는 새로 넘기지 않고 정리합니다. 시작 전 일주일과 3주차를 같은 표로 비교합니다.
| 항목 | 시작 전 | 3주차 | 판단 |
|---|---|---|---|
| 첫 답장까지 걸린 시간 | 2시간 10분 | 측정값 | 줄었는가 |
| 사람이 직접 처리한 건 | 전부 | 측정값 | 줄었는가 |
| 확인 · 수정에 든 시간 | 0 | 측정값 | 줄어든 처리 시간보다 작은가 |
| 다시 연락한 고객 | 17건 | 측정값 | 늘지 않았는가 |
| 처리 실수 | 2건 | 측정값 | 늘지 않았는가 |
세 번째 줄을 꼭 봐야 합니다. 처리 시간이 줄어도 확인과 수정에 그만큼 시간이 들면 실제로 줄어든 게 없습니다. AI가 처리한 시간이 아니라 사람이 이 업무에 쓴 시간 전체로 비교합니다.
결정은 유형별로 셋 중 하나입니다.
- 넓힌다: 숫자가 좋고 실수가 없었던 유형은 자동 확정 범위를 넓힙니다.
- 유지한다: 확인 단계에서 효과가 났지만 수정이 남는 유형은 확인 단계로 둡니다.
- 사람에게 둔다: 버려지는 비율이 높았던 유형은 AI 대상에서 뺍니다. 실패가 아니라 범위를 정한 것입니다.
시범 운영을 망치는 흔한 실수
- 기준 측정 없이 시작한다. 4주 뒤 비교할 숫자가 없습니다.
- 모든 유형을 한꺼번에 켠다. 문제가 생기면 어느 유형 때문인지 알 수 없습니다.
- 고친 이유를 적지 않는다. 같은 실수를 AI가 계속합니다.
- AI를 고칠 때 평가용 50건으로 다시 돌리지 않는다. 하나를 고치다 다른 걸 망가뜨려도 모릅니다.
- 담당자에게 기록을 맡기고 확인하지 않는다. 주 1회 15분, 표를 같이 보는 시간을 정해 두세요.
기록표 양식
주간 회의에서 아래 표 하나만 채우면 됩니다.
[AI 시범 운영 주간 기록] ___주차 (기간: __/__ ~ __/__)
유형 | 단계(제안/확인/자동) | 건수 | 그대로 | 고침 | 버림 | 실수
------------|----------------------|------|--------|------|------|-----
빈자리 문의 | | | | | |
예약 변경 | | | | | |
단체 문의 | | | | | |
이번 주 고친 이유 상위 3가지:
1.
2.
3.
다음 주 단계 변경:
- 올릴 유형: (근거: 고친 비율 __%)
- 내릴 유형: (근거: )
AI 기능을 만드는 데 일주일이 걸렸다면, 시범 운영은 그 네 배를 잡는 게 맞습니다. 그 4주 동안 쌓인 기록이 이후 몇 년 동안 "이 업무는 어디까지 자동으로 맡겨도 되는가"에 답하는 근거가 됩니다. 무엇부터 시작할지 정하지 못했다면 AX 시작 전 10분 자가진단부터 해 보세요.