LG유플러스가 인공지능(AI) 서비스 운영 비용을 낮추기 위해 '토큰' 사용 최적화에 나선다. AI 서비스가 확산하면서 커지는 비용 부담에 대응해, 고객이 체감하는 서비스 품질을 유지하면서 업무당 비용을 줄이겠다는 전략이다.
LG유플러스는 지난 12일 서울 서대문구 위드스페이스에서 'AI 토큰 효율화 전략 설명회'를 열고 상용 환경에 적용한 비용 절감 기술과 연구 성과, 향후 사업 방향을 공개했다. 토큰은 AI 모델이 입력 내용을 처리하고 답변을 생성할 때 쓰는 단위다. 일부 AI 서비스는 입력·출력 토큰 사용량을 요금 산정 기준으로 삼는다.
LG유플러스는 AI 통화 에이전트 '익시오(ixi-O)'와 AI 콘택트센터(AICC), 사내 업무 혁신에 AI 전환(AX) 기술을 적용해 왔다. 연말 카카오 컨소시엄의 '모두의 AI' 서비스가 시작되면 운영 과정에서 쌓이는 데이터와 최적화 경험을 활용해 내년부터 기업 고객의 AI 운영 비용을 낮추는 사업을 추진한다는 구상이다.
LG유플러스가 내세우는 경쟁력은 실제 서비스 운영 과정에서 축적한 AI 모델 운영 경험이다. 고객 이용 패턴과 업무 특성에 맞춰 적합한 모델과 처리 방식을 선택하는 역량을 강조한다.
익시오와 AICC가 대표 사례다. LG유플러스는 익시오 출시 초기 LG AI연구원의 온디바이스 모델과 구글의 제미나이(Gemini)를 함께 활용했으며 이후 실서비스 튜닝을 거쳐 자체 AI 모델과 엑사원(EXAONE) 등의 활용 비중을 조정했다고 설명했다. 작업별로 필요한 성능에 맞춰 모델을 나눠 쓰면서 서비스 품질과 비용 효율을 함께 높였다는 것이다. '모두의 AI'에서도 AI 모델 운영을 맡아 대규모 모델 오케스트레이션 역량을 키우고 있다고 밝혔다.
LG유플러스가 내세우는 경쟁력은 실제 서비스 운영 과정에서 축적한 AI 모델 운영 경험이다. 고객 이용 패턴과 업무 특성에 맞춰 적합한 모델과 처리 방식을 선택하는 역량을 강조한다.
익시오와 AICC가 대표 사례다. LG유플러스는 익시오 출시 초기 LG AI연구원의 온디바이스 모델과 구글의 제미나이(Gemini)를 함께 활용했으며 이후 실서비스 튜닝을 거쳐 자체 AI 모델과 엑사원(EXAONE) 등의 활용 비중을 조정했다고 설명했다. 작업별로 필요한 성능에 맞춰 모델을 나눠 쓰면서 서비스 품질과 비용 효율을 함께 높였다는 것이다. '모두의 AI'에서도 AI 모델 운영을 맡아 대규모 모델 오케스트레이션 역량을 키우고 있다고 밝혔다.
사내 AX에도 토큰 최적화 기술을 적용하고 있다. 개발자가 사용하는 AI 코딩 도구에 자체 AI 모델을 활용해 기존 업무 환경을 유지하면서 AI 이용 비용을 줄이는 방식이다. LG유플러스는 이를 바탕으로 단순히 토큰당 단가를 낮추는 데 그치지 않고 고객이 AI로 업무 하나를 끝내는 데 드는 총비용(Task Cost)을 줄이겠다는 목표를 세웠다.
정성권 AX서비스개발그룹장(전무)은 비용을 낮추면서 성능까지 유지하려면 여러 기술이 함께 작동해야 한다고 설명했다. 성능이 낮아지면 AI 에이전트가 작업을 반복해 비용이 다시 늘어날 수 있기 때문이다. 그는 "B2C 관점에서는 누릴 수 없었던 AI를 커피 한잔 값으로 쓸 수 있게 된다"고 말했다. 기업 시장에 대해서는 "돈 먹는 하마인 AI가 어떻게 일하는 직원이 되느냐가 관건이다. AI 모델이 종량제로 전환되고 있는데 기업이 AI 직원을 실전에 투입하는 유일한 열쇠는 토큰 최적화"라고 진단했다.
서로 다른 반도체를 함께 쓰는 '칩 믹스'도 추진한다. AI 추론은 입력 내용을 처리하는 '프리필'과 답변을 생성하는 '디코딩' 단계로 나뉜다. 권기덕 AX엔지니어링랩장(담당)은 프리필은 연산 성능에, 디코딩은 메모리 대역폭에 크게 좌우된다고 설명했다. LG유플러스는 연산 성능이 높은 엔비디아 GPU가 프리필을 처리하고 메모리 용량이 큰 AMD GPU가 디코딩을 맡는 방식으로 토큰 생성 속도를 높일 수 있다고 보고 있다. 신경망처리장치(NPU)에는 경량 모델을 올리는 방안도 검토한다.
이상엽 LG유플러스 최고기술책임자(CTO)는 통신사의 운영 경험을 강점으로 꼽았다. 그는 "통신사는 주파수, 트래픽 분야에서 최적화 작업을 많이 해왔다. 다양한 장비와 기술을 목적에 맞게 조합하려면 많은 노하우가 필요하다"고 말했다. 토큰 최적화를 위해서는 회선과 인프라, 모델 라우팅, 고객 의도를 함께 고려해야 하며 이 과정에서 통신사의 경험을 활용할 수 있다는 설명이다.
이 CTO는 "LG유플러스의 토큰 최적화는 이론적 효율화를 넘어 이미 수많은 실전 서비스에서 검증을 끝낸 즉시 전력감 기술. 글로벌 수준의 모델 경량화·추론 기술과 AI 업무 수행 궤적을 반영한 운영 레시피를 결합해 내년부터 기업 고객들이 가장 합리적인 비용으로 최고의 AI 성과를 낼 수 있도록 시장을 주도하겠다"고 말했다.
정성권 AX서비스개발그룹장(전무)은 비용을 낮추면서 성능까지 유지하려면 여러 기술이 함께 작동해야 한다고 설명했다. 성능이 낮아지면 AI 에이전트가 작업을 반복해 비용이 다시 늘어날 수 있기 때문이다. 그는 "B2C 관점에서는 누릴 수 없었던 AI를 커피 한잔 값으로 쓸 수 있게 된다"고 말했다. 기업 시장에 대해서는 "돈 먹는 하마인 AI가 어떻게 일하는 직원이 되느냐가 관건이다. AI 모델이 종량제로 전환되고 있는데 기업이 AI 직원을 실전에 투입하는 유일한 열쇠는 토큰 최적화"라고 진단했다.
서로 다른 반도체를 함께 쓰는 '칩 믹스'도 추진한다. AI 추론은 입력 내용을 처리하는 '프리필'과 답변을 생성하는 '디코딩' 단계로 나뉜다. 권기덕 AX엔지니어링랩장(담당)은 프리필은 연산 성능에, 디코딩은 메모리 대역폭에 크게 좌우된다고 설명했다. LG유플러스는 연산 성능이 높은 엔비디아 GPU가 프리필을 처리하고 메모리 용량이 큰 AMD GPU가 디코딩을 맡는 방식으로 토큰 생성 속도를 높일 수 있다고 보고 있다. 신경망처리장치(NPU)에는 경량 모델을 올리는 방안도 검토한다.
이상엽 LG유플러스 최고기술책임자(CTO)는 통신사의 운영 경험을 강점으로 꼽았다. 그는 "통신사는 주파수, 트래픽 분야에서 최적화 작업을 많이 해왔다. 다양한 장비와 기술을 목적에 맞게 조합하려면 많은 노하우가 필요하다"고 말했다. 토큰 최적화를 위해서는 회선과 인프라, 모델 라우팅, 고객 의도를 함께 고려해야 하며 이 과정에서 통신사의 경험을 활용할 수 있다는 설명이다.
이 CTO는 "LG유플러스의 토큰 최적화는 이론적 효율화를 넘어 이미 수많은 실전 서비스에서 검증을 끝낸 즉시 전력감 기술. 글로벌 수준의 모델 경량화·추론 기술과 AI 업무 수행 궤적을 반영한 운영 레시피를 결합해 내년부터 기업 고객들이 가장 합리적인 비용으로 최고의 AI 성과를 낼 수 있도록 시장을 주도하겠다"고 말했다.
