amaranth.log
💻 개발

실시간 타이핑 UI로 체감 로딩시간 줄이기(feat. Event Stream)

개요

기존 문제

고객사의 요구로 AI 팀에서 AI 분석 결과를 받아오는 API의 로직을 개선했는데, 개선 전보다 응답 속도가 눈에띄게 느려지는 문제가 생겼다. 기존에는 약 5초면 응답이 오던 요청이 10초 이상 걸리게 되면서 사용자의 불편이 우려되는 상황이었다.
원래도 응답 시간이 유독 긴 API에 대해, 실제 사용자로부터 “멈춘 것 같다”거나 “응답이 없는 것 같다”는 피드백을 받았었고 기존처럼 단순히 로딩 스피너를 띄워두는 것만으로는 이 불편을 완전히 해소하기 어려울 것 같았다.

기술 스택

Next.js, React

해결 아이디어

평상시 ChatGPT와 같은 생성형 AI를 사용하다보면, 응답 데이터가 실시간으로 한 글자씩 출력되는 것을 볼 수 있다. 혹시 이걸 도입하면 사용자의 불편을 줄일 수 있지 않을까?
내 개인적인 경험 상, 모든 내용이 로드될 때까지 로딩 스피너만 보여주다 완성된 결과 데이터를 화면에 띄우는 것보다, 미완성된 데이터라도 사용자에게 노출시키는 방식이 체감상 더 적은 시간을 기다린 것 같은 기분이 들었다.(정확히는 대기 시간으로 인한 불편을 적게 느꼈던 것에 가까운 것 같다)
여기에 착안해서 실제 신뢰할 수 있을만한 이론이나 사례가 있는지 찾아보았다.
먼저 Attentional Gate Theory(주의 관문 이론)라는 심리 이론에 따르면, 사람이 시간을 인식하는 방식은 실제로 얼마나 시간이 흘렀는가보다 그 시간에 얼마나 주의를 기울였는가에 더 크게 영향을 받는다고 한다.
즉, 로딩 중에 아무 정보도 보여주지 않으면 사용자는 ‘기다리는 행위’에 집중하게 되고, 이는 체감 대기 시간을 길게 만드는 요인이 된다. 반면 로딩 중 내용의 일부라도 먼저 보여주거나 화면에 변화감을 주면 사용자의 주의를 분산시켜 체감되는 대기시간을 줄일 수 있다.
비슷한 사례로, AI 이미지를 생성하는 동안 저해상도의 임시 이미지를 보여주도록 했더니 실제 생성 시간은 더 걸리게 됐지만(저해상도 이미지를 별도로 생성해야 하므로) 오히려 사용자의 체감 로딩 시간은 더 줄었다는 얘기를 들은 적이 있다.(비슷한 내용을 담고 있는 글)
두 번째로 Can Gestural Filler Reduce User-Perceived Latency in Touch Interaction 연구에 따르면, 로딩 시간 동안 사용자가 작업이 진행 중이라는 느낌을 받을 수 있도록 제스처나 피드백을 제공했을 때 체감 지연이 줄고 만족도가 높아졌다고 한다.
결국 아무런 변화 없이 대기 상태만 보여주는 것보다는 작업이 진행 중이라는 신호를 주는 것이 사용자의 신뢰를 높이고, 기다림에 대한 불만을 줄이는 데 효과적이라는 것이다.
이 정도면 충분히 뒷받침이 된 것 같아, 응답 데이터를 모든 처리가 끝나기 전부터 점진적으로 보여주는 방식을 적용해 사용자 경험을 개선해보기로 했다.

구현

먼저 AI 팀이 문제의 API를 Event Stream 기반으로 실시간 응답을 반환하도록 수정했고, 나는 클라이언트에서 도착하는 데이터를 순차적으로 렌더링하는 로직을 구현했다.
여기서 한 가지 특이사항이라면 해당 API 로직의 내부 메커니즘 상, 응답이 문자열 단위(한 줄)로 도착한다는 것이었다. 때문에 단순히 도착한 데이터를 즉시 화면에 렌더링하는 방식으로는 결과 데이터가 한 글자씩 출력되는 것 같은 효과를 구현할 수 없었다.
한 줄의 응답 데이터가 도착하면 해당 문자열을 한 글자씩 출력하는 로직을 실행하고, 출력 중 새 응답이 들어오면 대기 큐에 저장해 순차적으로 이어 출력하도록 했다.
 
이 과정에서, 가장 까다로웠던 부분은 렌더링 상태 동기화 문제였다. React의 상태 갱신은 비동기적으로 처리되기 때문에, 이벤트 스트림처럼 초당 여러 번 들어오는 데이터를 useState만으로 관리하면 렌더링 지연이나 중복 업데이트가 쉽게 발생했다.
이를 방지하기 위해 useRef와 useState를 적절히 사용해서 요구사항을 성공적으로 구현할 수 있었다.
  • 최신 데이터 접근이 필요한 경우 useRef를 활용해 렌더링 없이 즉시 참조
  • UI 갱신이 필요한 시점에는 useState로 상태를 업데이트해 데이터 변경사항을 자연스럽게 화면에 반영
import { useCallback, useRef, useState } from 'react'; const useAIStreamResult = <I,>(url: string) => { const [streamDataList, setStreamDataList] = useState<string[]>([]); const streamDataListRef = useRef<string[]>([]); // 상태 초기화 const clear = useCallback(() => { streamDataListRef.current = []; setStreamDataList([]); }, []); // 핵심 함수 const postAi = useCallback( async (submitData: I): Promise<string[]> => { const response = await fetch(url, { method: 'POST', headers: { 'Content-Type': 'application/json', }, body: JSON.stringify(submitData), }); const reader = response?.body?.getReader(); const decoder = new TextDecoder(); let buffer = ''; return new Promise((resolve, reject) => { const readChunk = async (): Promise<void> => { try { const { done, value } = await reader!.read(); if (done) { // 최종 성공 신호가 없으면 마지막 상태라도 resolve resolve([...streamDataListRef.current]); return; } buffer += decoder.decode(value, { stream: true }); const parts = buffer.split('\n\n'); buffer = parts.pop() || ''; for (const part of parts) { const line = part.trim(); // data:로 시작하지 않으면 처리하지 않음 if (line.startsWith('data:')) { const textData = line.replace(/^data:\s*/, '').trim(); if (textData) { streamDataListRef.current = [ ...streamDataListRef.current, textData, ]; setStreamDataList(streamDataListRef.current); } } } await readChunk(); } catch (err) { reject(err); } }; readChunk(); }); }, [url], ); return { streamDataList, postAi, clear, }; }; export default useAIStreamResult;
Event Stream 청크를 받는 커스텀 훅
function Test() { const { postAiApi, streamDataList, // 실시간으로 누적된 응답 문자열이 담기는 리스트 } = useSummaryAI(); const [renderedSummaryList, setRenderedSummaryList] = useState<string[]>([]); const [currentTypingSummary, setCurrentTypingSummary] = useState<string>(''); const queueRef = useRef<string[]>([]); const typingRef = useRef(false); const processedIndexRef = useRef(0); useEffect(() => { const newItems = streamDataList.slice(processedIndexRef.current); if (newItems.length > 0) { queueRef.current = [...queueRef.current, ...newItems]; processedIndexRef.current = streamDataList.length; startTyping(); } }, [streamDataList]); const startTyping = async () => { if (typingRef.current) return; typingRef.current = true; while (queueRef.current.length > 0) { const text = queueRef.current.shift()!; await typeText(text); setRenderedSummaryList(prev => [...prev, text]); setCurrentTypingSummary(''); } typingRef.current = false; }; const typeText = (text: string) => new Promise<void>(resolve => { let i = 0; const interval = setInterval(() => { i++; setCurrentTypingSummary(text.slice(0, i)); if (i >= text.length) { clearInterval(interval); resolve(); } }, 8); }); ... return ( <Stack> <Box> {[...renderedSummaryList, currentTypingSummary].join('\n')} </Box> {summaryLoading && <ProgressSpinner height="10vh" width="100%" />} </Stack> ) }

결과 & 소감

notion image
이번 작업을 하면서 로딩 시간을 줄이는 게 꼭 인프라나 서버 성능만의 문제가 아니라는 걸 느꼈다.
물론 서버를 튜닝하거나 API 속도를 개선하는 게 가장 확실한 방법이긴 하지만, 현실적으로 항상 그렇게만 해결할 수는 없다.
그래서 이번엔 사용자가 더 빠르게 느끼게 만드는 쪽에 초점을 맞췄다.
실제로 처리 속도는 그대로인데도, “무언가 진행 중이다”는 신호만 줘도 체감하는 대기 시간을 줄일 수 있었다.
결국 “로딩 시간을 줄이는 건 백엔드의 일”이라고만 생각했는데, 인터랙션만으로도 사용자 경험을 바꿀 수 있다는 걸 직접 느꼈다.
앞으로도 이런 ‘인지적 속도’를 높이는 방향으로 인터랙션을 고민하고 싶다.