question-creator

T-Auto's avatarfrom T-Auto

创建符合 CAC 评测系统规范的标准化测试题目。当用户需要添加新题目、创建测试题、或提到"创建题目"、"新建题目"、"添加题目"、"add question"、"create question"时使用此 Skill。支持代码、数理、逻辑、综合四类题库。

⭐20stars🔀1forks📁View on GitHub🕐Updated Dec 28, 2025

When & Why to Use This Skill

The Question Creator skill is a specialized tool designed to automate the generation of standardized test questions for the CAC evaluation system. It streamlines the creation of high-quality benchmark datasets across four key domains: coding, mathematics, logic, and comprehensive reasoning. By automating directory structuring, metadata generation (meta.yaml), and file formatting (prompt.md, reference.md), it ensures that all evaluation materials are perfectly formatted for AI model assessment and performance tracking.

Use Cases

  • Expanding AI evaluation benchmarks by generating standardized coding challenges and mathematical reasoning problems with precise metadata.
  • Automating the creation of structured test directories to ensure consistency in large-scale model evaluation repositories.
  • Streamlining the workflow for researchers to add new logic puzzles and comprehensive test cases while adhering to strict formatting and numbering rules.
  • Ensuring data integrity in evaluation datasets by automatically generating valid YAML configurations and reference answers for automated scoring.
namequestion-creator
description创建符合 CAC 评测系统规范的标准化测试题目。当用户需要添加新题目、创建测试题、或提到"创建题目"、"新建题目"、"添加题目"、"add question"、"create question"时使用此 Skill。支持代码、数理、逻辑、综合四类题库。

Question Creator - 题目创建助手

创建符合 CAC 评测系统规范的标准化测试题目。

快速开始

必需信息

创建题目前,请提供:

  1. 题目内容 - 完整的题目描述
  2. 标准答案 - 正确答案和解题过程
  3. 难度级别 - base / advanced / final / final+
  4. 题库类别 - 代码 / 数理 / 逻辑 / 综合

创建流程

  1. 确定编号 → 查看目标目录,找下一个可用编号
  2. 创建目录 → NNN-problem-name 格式
  3. 创建文件 → meta.yaml, prompt.md, reference.md, README.md
  4. 验证格式 → python scripts/validate_questions.py

目录结构

{题库名}/{difficulty}-test/NNN-problem-name/
├── README.md       # 人类阅读的完整文档
├── meta.yaml       # 机器读取的元数据
├── prompt.md       # 发给被测模型的 prompt
├── reference.md    # 标准答案/评判依据
└── test-results/   # 测试结果目录

文件格式

详细格式规范见 question_format_guide.md。 编号规则见 numbering_rules.md。 文件模板见 templates/ 目录。

meta.yaml 模板

id: {category}-{difficulty}-{number}
brief: 题目简短描述
category: math | code | logic | comprehensive
difficulty: base | advanced | final | final+
scoring_std:
  max_score: 10
  indicators:
    - accuracy      # 准确性
    - completeness  # 完整性

评分指标速查

类型 可用指标
代码题 ans_correct, code_quality, efficiency, robustness
理论题 completeness, accuracy, clarity, depth
设计题 ans_correct, example_quality, completeness, practicality

prompt.md

纯净的题目文本,直接发给被测模型,不含元数据。

reference.md

标准答案和评判依据,供评判模型参考。

题库路径

类别 路径 category
代码 代码能力基准测试题库/ code
数理 数理能力基准测试题库/ math
逻辑 自然语言与逻辑能力基准测试题库/ logic
综合 综合能力测评/ comprehensive

示例

参考现有题目:

  • 数理:数理能力基准测试题库/base-test/001-chicken-rabbit-cage/
  • 代码:代码能力基准测试题库/base-test/001-simple-calculator/
  • 逻辑:自然语言与逻辑能力基准测试题库/base-test/001-age-multiple-reasoning/

注意事项

  1. 编号必须三位数字,连续递增
  2. 目录名用小写英文和连字符
  3. 所有必需文件不能为空
  4. meta.yaml 必须符合 YAML 语法