https://kimfishes.tistory.com/3 SpringAI 사용해서 LLM (Ollama) 연결 + Resilience4j 도입 (Spring Boot)고객센터에 사용자가 문의 게시물을 작성하면 관리자에게 디스코드로 알림이 가고, 관리자가 답변을 달아주기 전 AI가 먼저 문의글에 맞게 답변을 달아주는 기능을 구현하려고 한다.디스코드(Dikimfishes.tistory.com 기존 Ollama로 LLM을 사용하던 상황에서도 기본적인 대화는 가능하다.하지만 예를 들어:“고객센터 몇 시에 종료되나요?”“환불은 언제까지 가능하죠?”“구독 해지는 바로 되나요?”이 질문들은 정확한 정책/운영 정보를 요구한다.LLM은:일반적인 지식은 잘 답하지만우리 회사의 최신 정책은 모른다잘못된 정보를 그럴듯하..

본문LLM (Ollama)가 동작하지 않을 때 Resilience4j를 사용하여 재시도 처리 로직을 추가했지만 DLQ 로직은 구현되지 않았었다. DLQ (Dead Letter Queue)메시지 큐 시스템(Kafka, RabbitMQ, SQS 등)이나 이벤트 기반 아키텍처에서 처리 실패한 메시지를 따로 보관하는 큐로 장애나 외로 인해 메시지가 실패했을 때 재시도해도 계속 실패하는 메시지들을 나중에 재처리(reprocess)하거나 분석하기 위해 DLQ에 보관운영자는 DLQ에 쌓인 메시지를 모니터링 / 복구 / 재처리 DLQ가 해결하는 점1. 실패 메시지를 격리시켜 서비스 정상화2. DLQ에 보관해 나중에 로그·데이터 분석 가능3. DLQ로 분리해서 다른 메시지 처리는 정상 진행DLQ를 Kafka로 구현..

고객센터에 사용자가 문의 게시물을 작성하면 관리자에게 디스코드로 알림이 가고, 관리자가 답변을 달아주기 전 AI가 먼저 문의글에 맞게 답변을 달아주는 기능을 구현하려고 한다.디스코드(Discord)를 통해 관리자가 실시간으로 알림을 받음AI가 사용자의 문의 내용을 분석해 적절한 초안 답변을 자동으로 작성 (추후엔 미리 학습시킨 내용을 기반으로 응답하게 작업 할 예정) 문제 발생OpenAI API(GPT-4)나 Claude API 등 외부 모델도 있지만 비용 문제와 고객센터의 경우 회사 정책을 학습시켜 사용해야 하므로 보안적인 문제가 있어 LLM을 사용하기로 했고, 그중 Ollama를 사용했다.설치와 연동 후 문의 응답이 잘 오는 것을 확인은 했지만 질문을 연속으로 보낼 시 동작되지 않거나 TimeOu..