←목록으로 돌아가기
[기술분석] RAG요청흐름_FastAPI+vLLM+Chroma_초급_개발자_Rocky9+Python3.11_Qwen2.5-7B-Instruct
이 글이 유용하셨다면 공유해 주세요
JetBrains가 궁금하다면?
JetBrains 신규 기능이나 깊이 있는 워크플로우에 대해 궁금한 점을 문의주시면
단군소프트 Tech 팀의 엔지니어들로부터 도움을 드릴 수 있습니다.
단군소프트의 기술 스택 전문가가 엄선한 최고 조회수 아티클을 전해드립니다.
![[로드 맵] RAG실전튜닝일지_컨텍스트한계부터학습UX까지_중급_개발자_Rocky9+vLLM+Chroma_Qwen2.5-7B-Instruct](/_next/image?url=%2Fnotion-images%2F3d7fa215-6762-81a3-8adc-df3b561efdd1.png&w=3840&q=75)
자체구축 RAG 프로덕션 튜닝 기록 - Context 한계 이해(Vol 1)부터 한자 leak 방어(Vol 2), 환각 억제(Vol 3), 자연어 학습 UX(Vol 4)까지. 4권으로 정리한 실전 문제와 해결 과정 시리즈 인덱스.
![[Troubleshooting] RAG환각방지_SystemPrompt오버라이드+Bridging방어_초급_개발자_Rocky9+Python3.11_Qwen2.5-7B-Instruct](/_next/image?url=%2Fnotion-images%2F3d0fa215-6762-819d-81c3-f7b41baf72f4.png&w=3840&q=75)
Continue.dev 같은 IDE 클라이언트가 'You are a helpful assistant' 같은 system message 를 함께 보내면 RAG 시스템이 '자료에 없습니다' 대신 알려진 개념에 억지로 다리를 놓는 bridging hallucination 이 발생. 실제 재현 후 3층 방어 (System 통합 + Score threshold + Entity grounding) 설계.
![[Troubleshooting] Streaming 한자 남용 방어_ZeroTolerance+hanjaLib변환_중급_개발자_Rocky9+Python3.11_Qwen2.5-7B-Instruct](/_next/image?url=%2Fnotion-images%2F3d0fa215-6762-8150-9ae2-faafc9022261.png&w=3840&q=75)
Phase A 배포 후에도 사용자가 한국어 질문에 중국어 응답 받는 사례 발견. Non-stream 5회 반복 재현 시 모두 hanja=0 인데, IDE 클라이언트가 쓰는 streaming 경로가 chat_guarded 를 완전히 우회한다는 사실 확인. Buffered streaming + threshold 0 + hanja 라이브러리 fallback 으로 3층 방어.