“토마토가 막 도착했을 때는 싱싱하고 맛있었는데, 이후에는 금방 물렀어요”
고객의 리뷰는 상품 품질관리에 필수적인 단서다. 특히 SSG닷컴에는 장보기 고객이 많은 만큼, 신선 식품 리뷰에 대한 기민한 대응이 필요하다. 문제는 리뷰의 개수다. 한 달 평균 250만 개 상당의 리뷰는 물리적, 시간상으로 사람이 처리하기 불가능한 수준이다. SSG닷컴은 어렵지만 반드시 해결해야 할 이 문제를 위해 AI를 꺼내 들었다. 모든 식품 리뷰에 AI가 즉각 대응하는 시스템, 바로 ‘AI 리뷰 분석 시스템’을 구축하기에 이른다.
AI 리뷰 분석 시스템은 세분된 기준과 정교한 알고리즘을 활용하여 리뷰를 수치로 변환한다. 예를 들어 ‘달콤하고 신선하지만, 포장은 아쉽습니다’는 리뷰는 ‘당도 긍정 평가 80%, 부정 평가 20%’, ‘상품의 전체적인 만족도 90%’와 같은 형태로 품질관리팀에 즉각 전달한다. 품질관리팀은 이를 바탕으로 하루에도 수만 건의 소비자 리뷰를 분석하여 즉각적으로 대응한다.
AI 리뷰 분석 시스템은 매일 SSG닷컴에 등록되는 8만 건의 리뷰 분석을 통해 끊임없이 진화하고 있다. 런칭 초기에는 7가지 평가 기준에서 출발하였지만, 시간이 지나면서 다양한 속성들을 더 많이 발견하게 되어 현재는 총 11개의 속성에 따라 리뷰를 평가한다. 상품의 맛, 품질, 포장, 배송, 당도, 이물, 유통기한, 용량 등 다양한 측면에서 고객들의 의견을 반영하고 있다.
AI 리뷰 분석 시스템은 SSG닷컴의 AI팀과 품질관리팀이 9개월간의 협업을 통해 완성했다. 두 팀의 역량을 결합해 고객의 목소리를 정확히 수집하고 분석하여 고객 만족을 한 차원 끌어올리는 데 성공한 것이다. AI팀 자연어파트에서 AI모델을 활용한 서비스를 기획하는 이예원 파트너와 품질관리팀에서 식품 관리를 책임지는 김성미 파트너를 만나 그 뒷이야기를 들었다.
INTERVIEW 01
SSG닷컴 AI팀 이예원 파트너
Q. 안녕하세요, SSG닷컴의 AI팀은 어떤 업무를 하고 있나요?
AI팀은 Visual AI, Language AI 분야의 딥러닝 모델을 개발하고, 이 모델을 활용한 서비스를 만드는 팀입니다. 현재 비전파트, 서비스파트, 자연어파트, CS시스템파트 이렇게 총 네 파트로 운영이 되고 있습니다. 저희는 자연어파트인데요, 오늘 소개하는 ‘AI 리뷰 분석 시스템’을 포함하여 챗봇, 이메일 VoC 분석 등 다양한 업무에서 활용할 수 있는 자연어 이해(NLU) 분야의 딥러닝 모델을 개발하고 있습니다.
Q. AI 리뷰 분석 시스템은 어떤 과정을 거쳐 개발되었나요?
AI 리뷰 분석 시스템은 NER(Named Entity Recognition) 모델을 사용합니다. Named Entity(정의된 속성)를 Recognition(인식)한다는 의미예요. 어려워 보일 수 있는 개념이지만 NER의 학습 방식을 예로 들어 설명해 보겠습니다.
“자주 구매하는 상품입니다. 가성비도 좋고 맛도 있는데 상태는 들쭉날쭉하네요.”라는 리뷰가 있다고 가정했을 때, “가성비도 좋고”는 가격-긍정, “맛도 있는데”는 맛-긍정, “상태는 들쪽날쭉하네요.”는 신선도-부정이라고 딥러닝 모델에게 알려줍니다.
이런 식으로 다양한 속성이 담긴 리뷰를 대량으로 학습하다 보면, 딥러닝 모델은 사람이 알려주지 않더라도 새로운 리뷰, 예를 들어 “가성비 채고! 바나나 상태도 쵝오!!bb”라는 리뷰가 등록되었을 때 “가성비 채고!”는 가격-긍정, “상태도 쵝오!!bb”는 신선도-긍정이라는 추론을 하게 됩니다.
Q. AI는 학습을 통해 성장하는 만큼, 개발 이후에도 진화를 거듭해 나갔을 듯합니다.
네, 매달 250만 개 고객 후기를 처리하고 분석하며 진화하고 있습니다. 이전 질문의 사례처럼 리뷰의 발화가 다양해질수록 모델이 인지하지 못하는 표현들이 생겨날 수 있기 때문에, 지속 모델의 품질을 검수하는 과정이 필요합니다.
우선 발화의 속성을 분류하는 레이블링(labeling) 작업과 학습을 진행한 후, 테스트셋(test set)에 있는 리뷰를 추론하여 저희가 원하는 수준의 정확도가 나오는지 검수합니다. 한 명이 판단하기에는 어려워서 주로 팀원끼리 논의를 하면서 검수를 진행하는 편이고, 원하는 품질이 나오지 않았을 경우 다시 학습합니다. 지금도 주기적으로 품질을 체크하고, 필요 시 학습을 진행하고 있습니다.
Q. NER을 다른 방식으로도 활용하고 있나요?
현재 NER 기술을 활용하고 있는 서비스는 AI리뷰 분석 시스템도 있지만, SSG닷컴의 상품 상세 페이지에서 리뷰를 속성별로 분류해서 조회할 수 있는 서비스도 있습니다.
NER을 활용해 만족도, 품질, 맛 등 속성 별로 리뷰를 조회할 수 있다
현재 식품 카테고리 대상으로 적용이 되어있는데, 하반기 중에 패션 카테고리 대상으로도 오픈할 예정입니다. 예를 들어 아우터의 경우 보온성, 신발의 경우 쿠션감, 유·아동 상품의 경우 아이 만족도 등 총 14가지의 속성을 정의하여 해당 필터로 리뷰를 조회할 수 있게 적용할 예정이고, 결과적으로는 전 카테고리에서 속성 분류를 할 수 있게 하는 것이 최종 목표입니다.
INTERVIEW 02
SSG닷컴 품질관리팀 김성미 파트너
Q. 안녕하세요. SSG닷컴의 품질관리팀을 소개해주세요.
품질관리팀은 법적 리스크 예방과 고객이 SSG닷컴에서 ‘믿고사는 즐거움’을 얻을 수 있도록, 판매되는 상품의 전방위적인 품질관리 정책을 수립/개선하고 운영을 주관하는 팀입니다.
식품, 비식품, 서비스 등의 상품 운영 중 발생할 수 있는 잠재 리스크를 사전 예방하고, 판매중 발생하는 상품의 정보 및 품질 이슈를 검증하여 개선하는 업무를 맡고 있죠. SSG닷컴을 이용하는 고객들의 ‘믿고사는 즐거움’을 위해, 품질 측면의 실점을 막는 수비수 역할과 같다고 할 수 있습니다.
Q. 신선식품 선도 관리에 AI를 접목하게 된 이유가 궁금합니다.
AI 접목 전에도 품질관리팀에서는 상품을 구매한 고객의 리뷰를 모니터링 및 분석하여, 유통 중 상품의 품질 점검에 활용해 왔습니다. 하지만 그 양이 상당합니다. SSG닷컴에는 일평균 약 8만 건에 달하는 상품 리뷰가 등록됩니다. 수많은 리뷰를 탐색하는 과정에 많은 시간이 소모되었죠.
‘리뷰에 포함된 자연어를 AI 가 분석해 주면, 많은 리뷰로부터 정제된 정보를 빠르게 얻을 방법이 있지 않을까?’ 생각하여 AI팀과 미팅을 시작하게 되었습니다!
Q. AI가 더 빠르게 분석한 리뷰를 어떻게 활용하고 있나요?
특정 기간 내 ‘토마토’ 상품의 리뷰가 ‘무르고 터지고 맛없고 상태 안 좋은~’ , ‘금방 물러요~’ 와 같은 상품 수령 후 품질불만 리뷰가 다수 등록되었다고 예를 들어볼게요.
인공지능은, 토마토 상품의 리뷰 중 ‘무르고’ , ‘물러요’ , ‘빨리 물러요’ 등의 키워드를 추출하여 신선도·변질 항목의 ‘부정’ 결과값을 나타냅니다. 그후 저희가 이런 부정 키워드를 확인하고, 해당 상품의 배송일자/배송지점/협력사/재고 등 전반 상품 점검을 진행합니다.
실제로 육안으로는 알기 어려운 원물의 선도저하를 AI로 확인하여 상품 품질을 개선하는 사례가 있었습니다.
AI팀이 유관부서가 AI 리뷰 분석 시스템을 쉽게 테스트할 수 있도록 제작한 데모페이지
Q. AI를 학습시키는 과정에서 여러 에피소드도 많을 것 같아요.
초기에는 AI 학습 결과를 리뷰하던 중, “너구리가 신라면보다 맛있어요.” 라는 리뷰의 ‘너구리’를 이물로 분류해 낸 결과를 보고 웃음이 나기도 했습니다. 이후 브랜드명이나 제품명에 들어가는 대명사 같은 것들을 이물로 분류하지 않도록 학습시켰습니다. 계속 학습을 하면서 더욱 고도화되고 있죠.
Q. AI를 도입한 후에는 어떤 변화와 개선점이 있었나요?
아무래도 속도입니다. 도입 이전에는 특정한 품목을 선정하여 리뷰 모니터링을 하였는데, AI 리뷰 분석 시스템 도입 이후에는 상품 카테고리별 전체 리뷰를 효율적으로 모니터링 및 분석할 수 있게 되었습니다.
AI 리뷰 분석 시스템이 진행하는 리뷰 모니터링 예시
AI는 매일 새벽 전날 등록된 리뷰를 조회합니다. 해당 리뷰의 속성을 추론하고, 추론 결과를 품질관리팀이 조회하기 편하게 다시 집계합니다. 상품별로 1주일간 어떤 속성의 리뷰가 많이 들어왔는지, 긍정/부정의 비율은 어떻게 되는지, 대표적인 표현은 어떤 것이 있었는지 까지 확인할 수 있습니다.
이렇게 수많은 데이터를 수치화하여 상품의 평가 결과를 가공된 형태로 제공하니 리뷰에 포함된 품질 이슈를 빠르게 캐치해 낼 수 있습니다.
AI의 도움으로 더 많은 상품의 고객 피드백을 품질개선에 활용할 수 있다는 점이 가장 큰 이점입니다!
Q. 품질관리팀이 AI팀과의 협업으로 달성하고자 하는 목표가 있으실까요?
온라인 판매 중 발생할 수 있는 품질 이슈를 보다 효율적인 방법으로 선제 관리 할 수 있도록 지능형 자동화 프로세스를 함께 구축해나가는 것입니다.
현재는 AI 분석 결과, 품질 점검이 필요하다고 판단되는 상품의 입고 단계부터 면밀히 품질을 점검할 수 있도록 데이터 연동 방안을 검토 중입니다. 리뷰 분석 결과 데이터를 검품 단계에 연동시켰을 때의 기대효과를 충분히 검토한 후에 구체적인 개선방안을 수립할 계획입니다.
Q. 여름엔 신선식품이 변질하기 쉬워서 품질관리팀은 더 분주할 것 같아요. AI분석 외에 식품 선도 관리를 위해 하는 활동 소개해주신다면?
하절기 온도 상승에 따라, 식품 ‘변질’ 리스크를 중점으로 예방 및 개선 관리하고 있습니다. 식품 고유의 보관온도가 유지되지 않으면 변질로 이어질 수 있습니다.
콜드체인 관리가 더욱 중요한 하절기이므로 유통 온도 모니터링을 실시하여, SSG닷컴 새벽배송 및 쓱배송의 식품 배송 중 온도변화 데이터를 점검하고 유관부서와 함께 개선하고 있습니다.
클릭 시 SSG닷컴으로 이동
“모든 고객의 목소리에 귀 기울일 수는 없을까?”
간단한 질문에서 시작한 SSG닷컴의 AI 리뷰 분석 시스템은 약 9개월간의 치열한 논의와 연구 끝에 탄생했다. AI 리뷰 분석 시스템은 현재 SSG닷컴의 고객만족도를 높이고 신뢰를 구축하는 데 큰 역할을 하고 있다.
AI 리뷰 분석 시스템은 오직 고객만을 위한 SSG닷컴의 노력 중 일부분이다. 이예원 파트너는 “자연어를 활용한 기술은 SSG닷컴 여러 곳에 포진됐다”고 말했다. 고객센터 챗봇, 콜상담에서 활용하는 보이스봇을 비롯해 검색/추천 영역에서도 이를 확인할 수 있다.
AI를 활용해 상품을 추천해 주는 ‘타인의 추천-리뷰BEST’
‘타인의 추천-리뷰 BEST’는 검색 상품 중에 가장 좋은 리뷰의 상품을 AI가 추천한다. 고객은 리뷰를 하나하나 읽어보지 않아도 좋은 리뷰의 상품을 쉽게 확인할 수 있다.
이예원 파트너는 “현재 상품별 리뷰에서 대표키워드를 찾아내는 기술도 연구하는 중이다. 예를 들어 한 원피스에 ‘결혼식에 입으려고 샀다’, ‘격식 있는 자리에 딱’ 등의 리뷰가 많다면, 상품의 키워드를 ‘하객룩’으로 정의하고, 고객이 “하객룩”이라고 검색 시 해당 상품을 찾아내 주는 방식이다. 또 #하객룩이라는 태그를 표기해 고객이 원하는 상품을 빠르게 찾을 수 있게 도와줄 수 있다”고 말했다.
이예원 파트너, 김성미 파트너를 비롯해 SSG닷컴의 파트너들은 이 순간에도 서로의 역량을 결합하며 고객 만족을 향해 달려가고 있다. SSG닷컴 기술의 끝엔 늘 ‘고객’이 있다.
| 신세계그룹 뉴스룸이 직접 제작한 콘텐츠는 미디어에서 사용 가능합니다. 콘텐츠 사용 시에는 신세계그룹 뉴스룸으로 출처 표기를 부탁드립니다. |
