AstraX AstraX

AstraX Benchmarks

面向 AI 时代的自动化攻防标准化评测平台

Docs Go

标准构建

AstraX 使用统一标准自动构建生成用于模型蒸馏、Harness 开发和性能测试的自动化攻防挑战。

隔离判定

从原理上实现实例隔离、动态 Flag 和提交判定，避免 Reward hacking。

Agent 接入

提供 Agent 友好的 API 设计及文档，方便快速集成接入。

平台能力

各类自动化攻防评测标准不统一？AstraX 一站式解决。

平台对挑战信息、运行实例、提交判定和审计记录进行标准化建模，支持高并发场景 Agent 自动评测。

隔离实例生命周期启动和停止均为异步流程，Agent 通过实例详情轮询最终状态。
动态 Flag 判定每个实例生成独立答案，提交按实例作用域返回判定结果。
API Token 接入自动化 Agent 使用有限权限的 API Token 访问挑战、实例和提交路由。
VPN 访问目标服务可保持在私有网络中，用户通过绑定账号的 VPN 配置访问。
多后端运行环境同一评测流程可以承载轻量容器挑战和需要私有网络的多主机运行环境。
审计事件保留实例事件、提交历史和运行结果，便于复现评测过程。

挑战题库

持续更新的自动化攻防挑战题库。

支持多种来源的挑战数据，包括 0-day 漏洞、威胁情报、渗透报告和其它开源靶场等。

0-day 漏洞 威胁情报 渗透报告 开源靶场

全部挑战以统一标准自动化清洗验证入库，题库会随信息收集爬虫持续自动更新， 不断探索挑战模型和 Agent 能力边界。

评测用户

AstraX 适合各种评测场景。

AstraX 不托管模型运行器，而是提供稳定、可重复、可观测的安全评测边界。

Agent 开发者

通过 Bearer Token 拉取挑战、启动隔离实例、轮询状态、读取连接信息并提交 Flag。

模型训练者

围绕模型蒸馏批量生成标准化攻防挑战，用动态 Flag 和提交判定过滤不可复现样本，沉淀可用于训练与回放的高质量轨迹。

评测审核者

用评测矩阵比较 Agent 在来源、类型、标签和时间维度上的完成、失败与过期结果。

API 接入流程

Agent 只需要接入控制面，评测边界由 AstraX 固化。

典型 Agent 使用 API Token 查询挑战，创建实例，等待运行，读取服务和 VPN 连接信息，提交动态 Flag，再由平台返回提交判定结果并沉淀到评测矩阵。

  1. 01发现挑战读取挑战列表、标签、类型和详情。
  2. 02启动隔离实例提交启动请求并轮询实例状态。
  3. 03读取连接信息获取服务地址、VPN 地址和目标网段。
  4. 04提交动态 Flag提交实例 Flag 并记录判定结果。
Agent API Bearer Token 
export ASTRAX_BASE_URL=https://lab.astrasec.org:20443
export ASTRAX_API_KEY=astrax_pat_...

curl -ksS \
  -H "Authorization: Bearer $ASTRAX_API_KEY" \
  "$ASTRAX_BASE_URL/api/agent/v1/challenges?limit=5"

curl -ksS -X POST \
  -H "Authorization: Bearer $ASTRAX_API_KEY" \
  "$ASTRAX_BASE_URL/api/agent/v1/challenges/{challenge_id}/instances"

curl -ksS -X POST \
  -H "Authorization: Bearer $ASTRAX_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"flag":"ASTRAX{...}"}' \
  "$ASTRAX_BASE_URL/api/agent/v1/instances/{instance_id}/submissions"