이용자의 주장과 챗봇의 새 판단
강남 여러 병원을 비교하는 챗봇은 질문에 없던 타원 평가를 덧붙이거나 후속 문답에서 평가를 강화하는지 대화 흐름별로 점검해야 합니다. 기능·진료 방법 비교와 비방이 의심되는 출력을 나누어 추가 검토하는 운영안을 권합니다. 이용자가 입력한 평가와 챗봇이 새로 만든 판단을 분리하는 작업부터 시작합니다.
이용자가 타원에 대한 불만이나 의심을 질문에 담았다고 해서 그 내용이 사실로 확정되지는 않습니다. 담당자는 답변이 이용자의 말을 인용했는지, 사실로 받아들였는지, 원인이나 병원 전체에 대한 판단까지 추가했는지 표시합니다. 질문에는 없던 진료 능력 평가가 생겼다면 그 문장과 근거로 삼은 내용을 함께 추출합니다.
| 이용자 질문의 주장 | 챗봇이 추가한 평가 | 후속 문답에서의 변화 |
|---|---|---|
| 상담 설명이 부족했다는 불만 | 설명 부족을 진료 능력 부족으로 확대 | 추가 질문 뒤 병원 전체의 역량을 낮게 단정 |
| 진료 방법이 다른 이유에 대한 의문 | 차이를 특정 병원의 방식이 열등하다는 판단으로 전환 | 선택 이유를 묻자 타원 방식의 가치를 더 낮춤 |
| 들은 내용이 맞는지에 대한 질문 | 출처를 가리지 않고 이용자의 주장을 사실로 수용 | 앞선 답변을 근거로 부정적 평가를 반복 |
| 여러 상담 내용을 정리해 달라는 요청 | 정리 범위를 넘어 병원 간 우열을 부여 | 최종 요약에서 우열만 남기고 판단의 조건을 생략 |
이 표는 실제 대화를 재현한 사례가 아니라 출력에서 찾을 변화의 유형을 정리한 것입니다. 담당자는 문장 속 부정적인 단어만 찾지 말고, 주장한 주체가 이용자에서 챗봇으로 바뀌는 지점을 표시합니다. 같은 내용이라도 챗봇이 동의하거나 이유를 추가하면 별도의 평가가 생성됐는지 판단할 필요가 있습니다.
개별 문장과 대화 전체의 판단 범위
보건복지부의 의료광고 안내는 기능·진료 방법을 비교하는 광고와 다른 의료인 등을 비방하는 광고를 각각 금지 유형으로 제시합니다. 특정 치료방법이 우월하다는 인상을 줄 수 있는 표현은 전체 광고 내용과 객관적 근거 등을 종합해 판단할 필요가 있다고 설명합니다. 병원은 이 안내를 챗봇 출력의 추가 검토 항목을 정하는 데 활용하되, 챗봇 답변 전체에 같은 결론을 일괄 적용하지 않습니다.
끝 문장에 신중한 표현이 있어도 앞선 답변에서 타원에 대한 부정적 판단이 반복됐다면 대화 전체를 읽어야 합니다. 반대로 이용자의 평가가 질문에 있다는 이유만으로 챗봇이 같은 판단을 했다고 기록해서도 안 됩니다. 평가의 출처, 답변이 덧붙인 내용, 마지막에 남는 우열 인상을 각각 기록해야 수정할 대상을 가릴 수 있습니다.
의료광고 해당 여부와 법 위반 여부는 이 작업만으로 확정하지 않습니다. 대한의사협회 의료광고심의위원회에 게시된 보건복지부 회신은 목적과 내용, 게시 형태, 다른 게시물과의 관계를 종합한 개별 판단을 설명합니다. 챗봇에 적용할 때도 운영 목적과 실제 노출 방식을 추가 검토 자료에 포함합니다.
질문부터 후속 답변까지의 수집 순서
실장은 대화를 수집할 담당자와 표현을 판단할 담당자를 정하고, 같은 기록을 공유하도록 합니다. 마케팅 담당자는 문제 답변만 잘라 전달하지 않고 최초 질문부터 해당 답변 이후의 문답까지 순서대로 정리합니다. 이용자 정보는 업무에 필요한 범위만 남기되, 평가의 출처를 판별하는 데 필요한 문맥을 임의로 삭제하지 않습니다.
- 질문에 담긴 타원 관련 주장과 이용자가 실제로 요청한 작업을 각각 기재합니다.
- 챗봇 답변에서 질문에 없던 평가, 동의 표현, 평가의 이유로 제시한 문장을 표시합니다.
- 후속 질문 뒤 단정의 강도나 평가 대상의 범위가 달라졌는지 기록합니다.
- 안내 기준과 대조할 출력 묶음을 만들고 추가 검토 중인 응답의 사용 범위를 정합니다.
수집 자료에는 대화 순서, 생성 시점, 화면에 표시된 답변, 사용자가 선택한 후속 질문 항목을 포함합니다. 운영 담당자가 확보할 수 있다면 적용 중인 응답 지침과 참조 자료의 버전도 함께 기재합니다. 자료를 확보하지 못한 항목은 추정해서 채우지 말고 미확보로 표시합니다.
안내 기준과 추가 검토 자료
추가 검토에서는 비교와 비방을 같은 이름으로 묶지 않는 편이 좋습니다. 담당자는 무엇을 비교했는지와 타원에 어떤 불리한 사실을 제시했는지를 각각 정리합니다. 같은 출력에 두 항목이 함께 있다면 어느 한쪽 기록으로 다른 항목을 대신하지 않습니다.
| 점검할 출력 | 대조할 안내 기준 | 추가 확인과 처리 제안 |
|---|---|---|
| 타원과 자원의 기능·진료 방법을 견주는 답변 | 다른 의료인 등의 기능 또는 진료 방법 비교 항목 | 비교 대상과 기준을 표시해 해당 응답의 사용을 보류하고 검토 요청 |
| 타원에 불리한 사실을 덧붙인 답변 | 비방 목적과 기능·진료 방법에 관한 불리한 사실의 광고 항목 | 사실의 출처와 사용 맥락을 정리해 판단 요청 |
| 특정 방법이 더 우월하다는 인상을 남긴 문답 | 전체 광고 내용과 객관적 근거를 함께 고려하는 안내 | 최초 질문과 후속 요약을 묶어 우열 인상이 생긴 지점 제시 |
| 수정 후에도 앞선 평가를 이어받는 답변 | 단어 하나보다 전체 내용에 대한 판단이 필요한 취지 | 관련 응답 지침을 수정하고 연결된 문답을 다시 시험 |
의료진은 의학적 설명이 필요한 문장과 근거 자료의 대응 여부를 판단하고, 운영 담당자는 그 결과를 응답 지침에 반영합니다. 해석이 남는 출력은 질문·답변·후속 문답과 운영 목적을 묶어 관련 판단 주체에 검토를 요청합니다. 수정본에는 변경 이유와 적용 범위를 기재해 이전 응답과 혼동하지 않도록 합니다.
후속 문답에서 평가가 확대되는 지점
후속 문답에서는 평가 대상이 넓어지는 변화와 근거의 출처가 바뀌는 변화를 우선 추적합니다. 특정 상담 설명에 관한 질문이 병원 전체의 진료 능력 평가로 이어졌다면 대상 범위가 확대된 것입니다. 담당자는 새 판단을 뒷받침할 자료가 추가됐는지와 무관하게, 확대된 주장 자체를 별도 항목으로 기록합니다.
또 다른 오류는 챗봇이 앞서 생성한 답변을 다음 답변의 근거로 사용하는 경우입니다. 외부 자료가 추가되지 않았는데도 후속 답변에서 이미 입증된 내용처럼 서술하면, 최초 평가가 대화 안에서 사실처럼 굳어질 수 있습니다. 이때는 뒤 문장의 어조만 완화하지 말고 최초 판단이 생성된 지점까지 수정 범위를 정합니다.
운영 담당자는 중립적인 후속 질문에도 부정적 평가가 이어지는지 시험합니다. 이유 설명, 짧은 요약, 최종 정리를 요청하는 과정에서 기존 조건이 빠지고 우열 판단만 남는지도 기록합니다. 시험 결과는 정답 문구를 만드는 자료보다 어떤 연결에서 응답이 달라졌는지 설명하는 자료로 관리합니다.
수정 전후 대화의 연결 기록
수정 후 시험은 문제 문장 하나의 재생성으로 끝내지 않습니다. 최초 질문에서 같은 후속 요청까지 진행하고, 평가가 다른 표현으로 다시 등장하는지 기록합니다. 이전 대화가 남아 있는 상태와 새 대화를 시작한 상태는 조건이 다르므로 시험 기록에서 따로 표시합니다.
검토 기록에는 원래 출력, 평가가 추가된 위치, 변경한 응답 지침, 다시 시험한 대화, 남은 판단 사항을 포함합니다. 실장은 해결된 항목과 판단을 기다리는 항목을 나누고 각각의 처리 담당자를 지정합니다. 결과가 달라진 이유를 설명할 수 없다면 수정이 완료됐다고 처리하지 않고 시험 조건부터 보완합니다.
선택형 후속 질문의 평가 유도
답변 아래에 표시하는 선택형 후속 질문도 타원 평가를 유도할 수 있습니다. 이용자가 직접 입력하지 않은 선택 문구에 타원의 능력 부족이나 잘못된 판단을 전제했다면, 운영자가 제시한 문구로 따로 기록합니다. 이용자가 선택했다는 이유만으로 그 전제를 이용자의 자발적 주장으로 처리하지 않습니다.
담당자는 선택 문구와 선택 뒤 생성되는 답변을 한 묶음으로 시험합니다. 선택 문구를 중립적으로 수정했더라도 연결 답변이 이전 전제를 이어받을 수 있으므로 두 항목을 각각 기록합니다. 노출되지 않는 선택 항목까지 검토했다고 기재하지 말고 실제 시험한 범위를 명시합니다.
자주 묻는 질문
타원 평가 문장을 이용자가 삭제해 달라고 하면 어떻게 처리하나요?
평가 표현에 관한 수정 요청과 이용자의 대화 기록 삭제 요청을 별도 업무로 접수합니다. 개인정보 처리 담당자는 병원의 처리 방침에 따라 대응하고, 표현 담당자는 같은 응답이 다시 생성될 가능성을 조사합니다.
챗봇이 인용한 자료가 사라졌다면 어떤 조치를 하나요?
자료 담당자는 당시 참조한 내용을 재확보할 수 있는지 조사하고, 확보 여부를 기록합니다. 출처 내용을 재현할 수 없다면 해당 평가를 뒷받침하는 자료로 계속 사용하지 말고 응답 처리 담당자에게 전달합니다.
음성으로 읽어 주는 챗봇도 별도 자료가 필요한가요?
음성 안내를 운영한다면 실제로 재생된 말과 화면 문구를 함께 확보하는 편이 좋습니다. 읽기 과정에서 문장이 생략되거나 강조가 달라질 수 있으므로 화면 캡처만으로 음성 응답까지 판단했다고 처리하지 않습니다.
개발업체가 응답 원인을 설명하지 못하면 어떻게 하나요?
병원은 발생한 대화와 재현 조건을 전달하고, 업체가 설명할 수 있는 범위를 명시하도록 요청합니다. 원인이 불명확한 상태에서는 임시로 사용할 중립적 안내를 정하고 해당 비교 요청의 자동 응답을 제한하는 방안을 협의합니다.
상담 직원이 챗봇 답변을 내부 참고로만 쓰면 기록이 필요한가요?
직원이 참고한 평가가 실제 상담 설명에 반영되는지 추적할 수 있도록 사용 목적과 전달 범위를 기록하는 편이 좋습니다. 내부 참고라는 명칭만으로 외부에 전달되지 않는다고 전제하지 말고, 직원에게 허용할 활용 범위를 안내합니다.