Benchmarks and Evals

Recent Signals

• 2026-07-25
• 의미: AI 도입이 늘수록 모델 능력보다 신뢰성 측정과 검증 체계가 병목이 됩니다.
• 팔로업: 벤치마크가 실제 업무 환경을 얼마나 반영하는지, contamination과 분포 변화에 취약한지 확인해야 합니다.
• Euclid-MCP: A Model Context Protocol Server for Deterministic Logical Reasoning via Prolog (arXiv cs.AI)
• Agentic coding without the cloud: evaluating open-weight large language models on longitudinal data preparation tasks (arXiv cs.AI)
• IssueTrojanBench: Benchmarking AI Coding Agents Against Malicious Issue Requests (arXiv cs.AI)