AI 핸드북 챗봇: 뉴욕시 MyCity와 Air Canada가 가르쳐 주는 안전장치

출처 확인일: 2026년 11월 9일. AI 보조로 작성한 초안이며 편집 검토 전이에요.

펼친 직원 안내서 위에 An AI Handbook Bot 글자가 있는 표지 — AI 생성 이미지

"휴가 정책은 어디서 보나요?" "경비는 어떻게 신청하나요?" HR 질문 중 상당수는 이미 있는 문서에 답이 있어요. 그 문서로만 답하는 챗봇은 직원과 HR의 시간을 아껴 줘요. 추측하는 챗봇은 실제로 해를 끼칠 수 있고요. 공개된 사례 두 건이 그 과정을 보여 주고, 세 번째 사례는 그래도 기업들이 왜 챗봇을 만드는지 보여 줘요.

펼친 직원 안내서 위에 떠 있는 말풍선과 문을 가리키는 표지판 — AI 생성 이미지 · 이 글을 위한 일러스트

공개된 실패 두 건

뉴욕시 MyCity 챗봇(2024). 뉴욕시는 Microsoft의 Azure AI 서비스로 소상공인을 돕는 챗봇을 열었어요. 2024년 3월 The Markup은 이 봇이 사업주에게 불법을 권하고 있다고 보도했어요. 고용주가 직원 팁의 일부를 가져가도 된다고 답했는데 틀렸고, 일정 변경을 직원에게 알리는 규정이 없다고 답했는데 이것도 틀렸어요. AP의 테스트에서는 성희롱을 신고한 직원을 해고해도 합법이라는 취지로 잘못 답했어요. The Markup 직원 10명이 건물이 주택 바우처를 받아야 하는지 묻자 모두에게 받지 않아도 된다고 틀리게 답했고, 다른 때에는 한 기자에게 반대로 답했어요. 시장은 2024년 4월 일부 답이 "틀렸다"고 인정했고, 시는 답이 법률 자문이 아니라는 면책 문구를 강화한 채 봇을 계속 운영했어요.

Air Canada 챗봇(2024). 한 고객이 항공사 챗봇에게서 구매 후에도 조문 운임 환불을 받을 수 있다는 답을 들었어요. 실제 정책은 달랐어요. 2024년 2월 브리티시컬럼비아 민사해결심판소는 Air Canada가 부주의한 허위 진술(negligent misrepresentation)에 책임이 있다고 판단했어요. 챗봇이 자기 행동에 책임지는 별개의 법적 주체라는 항공사의 주장을 받아들이지 않았고, 웹사이트의 모든 정보는 정적 페이지든 챗봇이든 항공사가 책임진다고 봤어요. 고객은 손해배상, 이자, 심판소 수수료를 합쳐 약 812캐나다 달러를 배상받았어요. 금액은 작았지만 원칙은 작지 않았어요.

반례: 기업들은 그래도 해요. IBM CEO는 2025년에 AI 에이전트가 HR 직원 200명 남짓이 하던 일을 대신했고 회사는 프로그래머와 영업 인력을 더 뽑았다고 말했어요. IBM의 자체 사례 연구는 AskHR 어시스턴트가 흔한 질문의 94%를 처리하고, 2016년 이후 지원 티켓을 75% 줄였으며, 2024년에 직원 상호작용 1,150만 건 넘게 처리했다고 밝혀요. 이는 회사의 수치예요. MyCity나 Air Canada와 달리 AskHR은 HR 어시스턴트라서 이 글이 말하는 챗봇에 가장 가까운 예이고, 두 공개 실패는 고객 대상이거나 시 전체 대상 챗봇이지 HR 핸드북 챗봇이 아니에요. Klarna는 2024년에 AI 어시스턴트가 고객 채팅의 3분의 2를 처리한다고 밝혔다가, 2025년 5월에는 고객이 언제나 사람에게 연결될 수 있어야 한다고 말했어요. 물량은 AI로, 복잡하거나 민감한 질문은 사람에게 가는 패턴이에요.

챗봇이 해야 할 일과 하지 말아야 할 일

맞는 일	맞지 않는 일
정책이나 서식이 어디 있는지	특정 직원이 휴가나 편의 제공 대상인지
서면 정책이 말하는 내용, 해당 조항 인용	민원, 징계, 조사, 해고에 대한 조언
무엇은 누구에게 문의할지	특정인의 급여와 관련된 모든 것
절차가 단계별로 어떻게 진행되는지	법률 자문이나 핸드북에 없는 해석

사례와 연결된 안전장치 일곱 가지

승인된 문서로만 답해요. MyCity의 문제는 법에 대해 넓게 답한 데서 왔어요. 열린 인터넷이 아니라 현재 핸드북과 정책을 불러와요.
조항을 인용하고 위치를 알려 주며, 답이 그 조항과 맞는지 확인해요. 직원이 원문을 읽을 수 있게요. Air Canada 사건에서는 맞는 정책 페이지가 있었고 챗봇이 그 링크도 보여 줬지만, 챗봇의 답 자체가 그 페이지와 달랐어요.
"모르겠어요"라고 말해요. 문서에 답이 없으면 그렇게 말하고 누구에게 물어야 하는지 알려 줘요. MyCity 봇은 주택 바우처 질문에 직원 10명에게는 한쪽으로, 한 기자에게는 반대로 답했어요.
민감한 주제는 HR로 넘겨요. 휴가, 의료, 편의 제공, 괴롭힘, 차별, 급여 분쟁은 챗봇이 풀려고 하지 않아요. MyCity의 오답은 바로 팁, 일정, 괴롭힘 신고였어요.
짧은 안내를 보여 줘요. 이 도구는 핸드북을 요약할 뿐 법률 자문이나 결정이 아니며 핸드북이 우선해요. 안내문은 도움이 되지만 시험을 대신하지는 못해요. 심판소는 Air Canada가 웹사이트의 모든 정보에 책임진다고 판단했어요.
로그는 신중하게 보관해요. 질문에 개인 정보가 들어 있을 수 있어요. 누가 로그를 읽는지, 얼마나 보관하는지 정하고 직원에게 알려요.
문서 버전을 관리해요. 정책이 바뀌면 챗봇의 출처를 갱신하고 다시 시험해요.

순서도: 민감한 질문은 HR로, 승인된 답이 있으면 인용해서 답하고, 나머지는 모른다고 답해요 — 위 안전장치를 이 글을 위해 그림으로 옮겼어요.

출시 전에 시험해요

직원이 실제로 한 질문을 모아 이름을 지우고, 핸드북 기준의 정답을 각각 적어요. 챗봇에 돌려서 맞음, 틀림, '모른다고 했어야 함'으로 표시해요. 함정 질문도 넣어요. 핸드북에 없는 내용, 특정인에 대한 질문, 두 정책이 섞인 질문이에요. 같은 질문을 여러 번, 여러 사람이 해 보세요. MyCity가 같은 주택 질문에 때에 따라 반대로 답했으니까요. 결과에 안심이 될 때까지 출시하지 말고, 바뀔 때마다 다시 시험해요.

관리되는 AI 사용으로 다뤄요

NIST의 AI 위험 관리 프레임워크(자발적 기준)는 일을 Govern, Map, Measure, Manage로 나눠요. 핸드북 챗봇에서는 이름이 정해진 책임자와 승인(Govern), 문서로 정한 범위와 사용 데이터 목록(Map), 시험 문항과 정기 표본 점검(Measure), 고치거나 끌 수 있는 방법(Manage)이 될 수 있어요. 텍사스의 책임 있는 AI 거버넌스법에는 NIST 같은 공인된 프레임워크를 따르는 조직을 인정해 주는 조항이 법에 정한 조건 아래 있어요. HR에 AI 쓰기를 보세요.

개인정보와 직원 정보

개별 직원 파일은 챗봇에 넣지 마세요. 정책과 공개 가능한 회사 정보로 한정해요. 직원이 채팅에 개인 정보를 붙여 넣을 수 있으니 안내문에 입력하지 말아야 할 것을 적어 두세요. AI 도구와 직원 정보를 보세요.

챗봇이 고용 결정에 닿는다면

핸드북 챗봇은 사람에 대해 아무것도 결정하지 않아야 해요. 사람을 선별하거나 순위를 매기거나 점수를 매기는 쪽으로 확장하면 뉴욕시나 일리노이 같은 곳에 구체적인 규칙이 있어요. 채용에 쓰는 AI를 보세요.

일반 정보이며 법률 자문이 아니에요. 챗봇의 범위와 안내문은 변호사나 HR 자문가에게 검토받으세요.