←목록으로 돌아가기
[로드 맵] RAG실전튜닝일지_컨텍스트한계부터학습UX까지_중급_개발자_Rocky9+vLLM+Chroma_Qwen2.5-7B-Instruct
이 글이 유용하셨다면 공유해 주세요
JetBrains가 궁금하다면?
JetBrains 신규 기능이나 깊이 있는 워크플로우에 대해 궁금한 점을 문의주시면
단군소프트 Tech 팀의 엔지니어들로부터 도움을 드릴 수 있습니다.
단군소프트의 기술 스택 전문가가 엄선한 최고 조회수 아티클을 전해드립니다.
![[Troubleshooting] RAG환각방지_SystemPrompt오버라이드+Bridging방어_초급_개발자_Rocky9+Python3.11_Qwen2.5-7B-Instruct](/_next/image?url=%2Fnotion-images%2F3d0fa215-6762-819d-81c3-f7b41baf72f4.png&w=3840&q=75)
Continue.dev 같은 IDE 클라이언트가 'You are a helpful assistant' 같은 system message 를 함께 보내면 RAG 시스템이 '자료에 없습니다' 대신 알려진 개념에 억지로 다리를 놓는 bridging hallucination 이 발생. 실제 재현 후 3층 방어 (System 통합 + Score threshold + Entity grounding) 설계.
![[Troubleshooting] Streaming 한자 남용 방어_ZeroTolerance+hanjaLib변환_중급_개발자_Rocky9+Python3.11_Qwen2.5-7B-Instruct](/_next/image?url=%2Fnotion-images%2F3d0fa215-6762-8150-9ae2-faafc9022261.png&w=3840&q=75)
Phase A 배포 후에도 사용자가 한국어 질문에 중국어 응답 받는 사례 발견. Non-stream 5회 반복 재현 시 모두 hanja=0 인데, IDE 클라이언트가 쓰는 streaming 경로가 chat_guarded 를 완전히 우회한다는 사실 확인. Buffered streaming + threshold 0 + hanja 라이브러리 fallback 으로 3층 방어.
![[권장 구성] 환각방어유지_RAG검증프레임워크_중급_개발자_FastAPI+Chroma_Qwen2.5-7B](/_next/image?url=%2Fnotion-images%2F3d0fa215-6762-8190-b7d6-e8787c866ff1.png&w=3840&q=75)
환각 방어는 구현이 아니라 유지의 문제. 4-카테고리 검증 프롬프트 세트, 로그 회귀 감지, 운영하며 밟은 튜닝 함정 6개 정리.