구글 Bard만 틀린것이 아니라는 반례

AI가 탑재된 Bing 검색엔진과 Edge 브라우저 시연중에 가장 인상깊었던 것중 하나는 바로 Edge 브라우저를 통해 GAP사의 웹사이트로 들어가서 투자자용 보고서를 요약하는 장면이었다.

시연 영상을 보면 새로워진 Edge 브라우저로 GAP의 3분기 실적 보고서를 다운로드 받아서 읽기 시작하는데, 너무 길어서 읽을 시간이 없다는 걸 알 수 있다.

그래서 채팅 기능을 이용하여 key points (중요 포인트)를 정리해 달라고 하는데, Edge가 PDF를 스캔하며 읽더니 GAP의 실적과 가이던스를 읽기 쉽게 정리해준다.

심지어는 동종업계에 속해있다고 할 수 있는 룰루레몬 (LULU)의 실적을 가져와서 비교까지 해준다.

그런데 이 장면은 마이크로소프트 (MSFT)가 보여준 데모에서 가장 어이없는 실수들을 보여준다. 새로운 정보를 만들어 내는것도 아니고, PDF에 있는 정보를 요약하는것에 불구하고 숫자들이 대부분 틀렸기 때문이다.

Gap Inc.는 $40.4억의 매출을 기록했으며, 이는 전년대비 2% 높아진 숫자이다.

Edge 브라우저의 GPT 기반 AI는 처음에는 정확한 정보를 전달했다. 아마도 보고서 내용을 그대로 복사/붙여넣기 하면 되는 정도의 태스크이기 때문일 것이다. 그런데 이 뒤부터 문제가 생긴다.

Gap Inc.는 조정된 매출총이익률 37.4%를 기록했으며 (Yeezy Gap 브랜드에 관련한 손상차손이 반영) MD 마진은 높은 할인률과 원자재가 상승으로 인해 전년대비 370 bps 하락했다.

먼저 37.4%는 조정전 매출총이익률이다. Yeezy Gap 브랜드에 관련한 손상차손이 반영된 조정후 매출총이익률은 38.7%였다. 그리고 손상차손을 반영한 MD 마진은 480 bps 하락했다.

Gap Inc.는 영업이익률 5.9%를 기록했으며, 이는 손상차손과 구조조정 비용을 반영한 결과이다. 희석주당순이익은 $0.42 였으며 이는 손상차손, 구조조정 비용, 그리고 세금 영향이 반영되었다.

5.9%는 조정되지도, 조정되지 않은 숫자도 아니다. 5.9%라는 숫자는 보고서 어디에도 존재하지 않는다. GPT AI는 이 숫자를 아예 만들어냈다. 희석주당순이익 또한 존재하지 않는 숫자이다. 희석주당순이익은 $0.71 이었다.

Gap Inc.는 기존 FY 2022 가이던스를 재확인하며 매출은 10%대 초반 성장할 것이며 영업이익률은 7%, 그리고 희석주당순이익은 $1.60~1.75 사이에 있을것으로 전망했다.

Gap 경영진들은 매출이 10%대 초반 성장할 것이라 예측하지 않았다. 그들은 한자릿수 중반대 %의 매출 하락을 예고했으며 문서 어디에도 영업이익률, 희석주당순이익에 대한 전망치를 제공하지 않았다. 따라서 AI는 해당 숫자들을 만들어냈거나 완전히 다른 문서에서 가져온 것이다.

그러다 더 심각한 문제는 Gap과 룰루레몬을 비교할 때 보여진다.

이제 마이크로소프트의 AI는 만들어진 숫자들을 비교하고 있다.

룰루레몬의 매출총이익률은 "58.7%"라고 적혀있지만 이는 현실상에 존재하지 않는 숫자이다. 룰루레몬의 매출총이익률은 55.9%였다.

룰루레몬의 영업이익률은 19%이지, "20.7%"가 아니다.

룰루레몬의 희석주당순이익은 $2.00이지, "$1.65"가 아니다.

Cash and cash equivalents (현금 및 현금성 자산)는 Gap의 경우 틀렸지만 룰루레몬의 경우 정확하다.

재고자산은 Gap의 경우 틀렸지만 룰루레몬의 경우 정확하다.

결론

마이크로소프트의 ChatGPT 기반 AI는 구글의 Bard만큼 오류에 취약하며, 아직까지 업무에 본격적으로 도입되기에는 부족한 것으로 보인다.