챗봇에 이 질문 하면 절대 답 안 해주는 이유가 있다

 

가상이미지

챗봇에 이 질문 하면 절대 답 안 해주는 이유가 있다

며칠 전 심심해서 AI 챗봇한테 이것저것 물어보다가 이상한 걸 눈치챘다.

"이 약이랑 이 약 같이 먹어도 돼?"라고 물었더니 갑자기 말투가 확 바뀌었다. 방금까지 술술 대답하던 챗봇이 갑자기 "저는 의료 전문가가 아니므로..."라며 발을 뺐다.

이상했다. 분명 인터넷에 검색하면 다 나오는 정보인데, 왜 챗봇은 저렇게 조심스러워질까. 궁금해서 3시간 동안 파고들었다.

---

1. 챗봇에도 "말 못 하는 목록"이 있다

먼저 알게 된 건, AI 챗봇 뒤에는 사람이 볼 수 없는 지침서 같은 게 깔려 있다는 점이었다. 흔히 "시스템 프롬프트"라고 부르는 것인데, 여기에 "이런 주제는 조심해라", "이런 질문엔 이렇게 답해라"는 규칙이 미리 박혀 있다.

그 안에 대체로 공통적으로 들어가는 항목들이 있었다.

• 특정 약물의 정확한 복용량이나 조합
• 무기나 폭발물 제작에 관련된 구체적인 정보
• 해킹 코드나 악성 프로그램 작성
• 실존 인물에 대한 자극적인 허위 사실
• 미성년자와 관련된 부적절한 내용

이런 항목들은 회사마다 약간씩 다르지만, 큰 틀은 비슷하다. 그리고 이건 챗봇이 "몰라서" 못 하는 게 아니라 알아도 일부러 말을 안 하는 경우가 대부분이라는 걸 알게 됐다.

---

2. "모른다"가 아니라 "안 한다"

여기서 흥미로운 지점이 나왔다. 챗봇이 "저는 그 정보를 모릅니다"라고 답하면 진짜 모르는 걸로 오해하기 쉽다. 그런데 실제로는 그 정보를 학습은 했지만, 답변을 생성하는 과정에서 필터링 단계를 거치면서 걸러지는 구조다.

비유하자면 이렇다. 회사에 신입사원이 들어왔는데, 뭐든 다 알고 있지만 "이런 질문엔 대답하지 말라"는 사규를 교육받은 상태다. 손님이 물어보면 "그건 제가 답변드리기 어려운 부분입니다"라고 하는 거지, 진짜로 아무것도 모르는 게 아니라는 뜻이다.

이 차이를 알고 나니 챗봇의 거절 답변이 다르게 보이기 시작했다.

---

3. 왜 이렇게까지 조심할까

궁금증이 여기서 또 뻗어나갔다. 회사들이 왜 이렇게까지 예민하게 반응을 설계했을까.

찾아보니 이유는 크게 세 가지로 정리됐다.

1. 법적 책임 회피 — 잘못된 의료·법률 정보를 줬다가 실제 피해가 발생하면 서비스 제공 회사가 책임 문제에 휘말릴 수 있다
2. 악용 방지 — 해킹, 무기 제작처럼 실질적인 피해로 이어질 수 있는 정보를 걸러내야 한다
3. 평판 리스크 — 챗봇이 부적절한 발언을 했다는 캡처 한 장이 순식간에 퍼져서 브랜드 이미지에 타격을 줄 수 있다

특히 세 번째가 생각보다 크다는 걸 알게 됐다. 실제로 과거 여러 AI 챗봇들이 부적절한 답변으로 논란이 됐던 사례들이 있었고, 그 이후로 회사들은 "차라리 과하게 조심하자"는 쪽으로 방향을 잡았다는 분석이 많았다.

---

4. 그럼 질문을 살짝 바꾸면 답해줄까

여기서 또 하나 궁금한 게 생겼다. 사람들이 종종 질문을 살짝 비틀어서 답을 얻어내려 하는 경우가 있는데, 이게 실제로 통하는지 찾아봤다.

결과는 "예전엔 어느 정도 통했지만 지금은 점점 어려워지는 추세"였다. 초기 챗봇들은 단순히 특정 단어만 걸러내는 방식이었다면, 최근 모델들은 질문의 의도 자체를 파악하도록 훈련돼 있어서, 표현을 바꿔도 진짜 목적이 위험한 정보 습득이라면 결국 비슷한 이유로 거절하는 경우가 많아졌다.

다만 여기서 중요한 건, 이런 시도가 단순한 호기심 차원이라도 반복되면 그 자체로 리스크가 있다는 점이다. 정보를 우회해서 얻어내려는 패턴 자체가 서비스 약관 위반으로 이어질 수 있어서, 무리하게 캐묻는 건 추천할 만한 방법이 아니었다.

---

5. 그래서 어떻게 물어봐야 할까

3시간 동안 찾아보고 나서 내가 정리한 결론은 이거다.

• 구체적인 실행 방법을 묻는 질문(예: "정확히 몇 mg 먹어야 하나요")은 대부분 거절당한다
• 일반적인 원리나 배경 설명을 묻는 질문(예: "이 약 계열이 왜 위험한가요")은 비교적 잘 답해준다
• 민감한 주제일수록 "전문가와 상담하세요"라는 문장이 답변 끝에 따라붙는다면, 그건 챗봇이 알고도 일부러 선을 그은 것이다

---

마무리

챗봇의 거절 답변을 그냥 "성능이 부족해서"라고 넘겼던 게 사실 오해였다. 오히려 알면서도 말하지 않도록 설계된 결과물이라는 걸 알고 나니, 그 짧은 거절 문장 하나에도 회사들의 법적 고민, 사회적 논란에 대한 학습, 그리고 나름의 기준이 숨어 있다는 게 새삼 흥미로웠다.

다음에 챗봇이 갑자기 말을 돌리면, "왜 이걸 못 알려주는 걸까"보다는 "이건 알면서 안 알려주는 거구나"라고 생각해보시길. 훨씬 재미있게 보인다.