详解Agent与推理软件生态,覆盖MCP/A2A协议、Agent编排、模型推理服务、观测评测、模型网关和企业级AI工程。
协议层
MCP、函数调用和 A2A 等协议让模型可以标准化连接工具、数据和其他智能体。
编排层
LangGraph、工作流引擎和多 Agent 框架用于处理状态、分支、重试、人工确认和长任务。
推理层
vLLM、Ollama、llama.cpp 等工具覆盖服务器高吞吐、本地开发和边缘部署。
治理层
Tracing、Eval、成本统计、权限审计和安全沙箱决定 AI 系统能否进入生产。