How to Safeguard AI Agents for Customer Service with NVIDIA NeMo Guardrails - 소개

#1 NeMo Guardrails란

• NVIDIA에서 개발한 오픈 소스 LIB로, LLM 기반 Application 에 안전 장치(가드레일)을 설치하여 모델에서 예상하지 못한 대답이나 민감정보를 노출하지 않도록 제어하는 기술임

  #2 NeMo Guardrails 기능 및 특징

• 룰(규칙) 기반 프레임워크
• 대화 흐름 관리
• **세분화된 컨텐츠 필터링 **
• 개인정보 보호와 보안
• **멀티 모달 확장 **

  #3 NeMo Guardrails 예시

NVIDIA Tech Blog, figure 1

• ContentSafety NIM : 부적절한 언어 탐지
• TopicControl NIM : 주제에 맞는 질문 제한
• RAG Enforcement : 검색 범위 한정
• JailbreakDetect NIM : LLM Jailbreak 탐지
• PII Detection : 데이터 보호

  #4 결론

• NVIDIA NeMo Guardrails와 NIM 마이크로서비스의 역할
• 안전·보안 모델 3종
• 적용 효과