Agent Evaluation
围绕 Agent 的非确定性,梳理单轮与多轮评估、评分器、量化指标及防护体系,并结合 DeepEval 和 DeepAgents 的测试配置与真实运行结果,说明从任务设计到工程验证的落地路径。
Chen Wang — Agentic Engineer
Building reliable agents through simple systems, explicit evaluation, and tight feedback loops.
think build measure learn
围绕 Agent 的非确定性,梳理单轮与多轮评估、评分器、量化指标及防护体系,并结合 DeepEval 和 DeepAgents 的测试配置与真实运行结果,说明从任务设计到工程验证的落地路径。
梳理 Agent 沙箱的隔离边界与微虚拟机、用户态内核等隔离路线,比较浏览器、代码执行、完整开发环境三种能力形态,并介绍 Kubernetes Job、人工审批、RBAC 和网络策略的工程落地。
从概念、关系与规则的形式化定义出发,比较语义网本体、知识图谱 Schema 与 Palantir Ontology 三条技术路径,解析本体为 Agent 提供统一语义、推理护栏与执行闭环的落地方式。
MCP 为模型连接外部工具提供标准接口,大模型经预训练、微调与人类反馈形成助手能力,Agent 再通过 ReAct 或规划执行完成任务,并依靠角色协作、分层记忆、自动验证和模型调度支撑长任务运行。
介绍 Claude Code Auto mode 的官方机制与限制:分类器预审工具调用,被判定安全的操作自动执行,但风险并未消除;作者另就减少人工干预和沙盒隔离提出看法。
介绍 AttnRes 的核心思路:用 softmax 注意力选择历史层信息,区分 Full 与 Block 两种实现,并概述其在隐状态膨胀、信息稀释和工程开销方面的设计。