GPT-5.2 同级精度？港大 1.5B CAD 生成用 TaoToken 做小样本评测

1. 先复现港大 1.5B CAD 参数级评测再把供应商切到 TaoToken如果你正在用港大 1.5B 这类小模型做 CAD 参数级生成评测大概率会遇到两个很具体的现象一是脚本里curl返回401 invalid api key二是本地工具链明明改过ANTHROPIC_BASE_URL或config.toml但请求还是打到旧地址。这类问题比“额度不够”更值得先排查。我的建议是先把 Key 和 Base URL 统一收口到 TaoToken先到 TaoToken 官网 https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_contentcad_eval_intro 创建账号并拿到 Key再把所有请求的 Base URL 指向https://taotoken.net/api。这样后面做小样本评测时变量只剩模型、提示词和 CAD 参数不会一边测精度一边查网络出口。港大 1.5B 模型把 CAD 生成推进到“参数级”精度这个方向之所以值得关注是因为它不再只输出一段看起来像工程图的文本而是强调孔位、长度、角度、约束、单位这些可校验字段。换句话说评测对象从“图片像不像”变成了“参数对不对”。这对做小样本评测的人其实是好事样本量不用很大但只要样本覆盖 2D 草图、3D 实体、装配孔位和导出格式就能快速看出模型在参数级任务上的稳定性。本文不写热点评论直接给一套可跟做的流程样本清单、TaoToken 接入、curl请求、批量跑测、精度对照记录以及 Claude Code / Codex / CC Switch 的配置模板。需要先说明的是本文的所有命令都在读者本地终端执行API Key 用YOUR_API_KEY占位模型 ID 用YOUR_MODEL_ID占位。实际模型 ID 请在你自己的 TaoToken 控制台或模型对话页选择不要凭记忆硬编码。Base URL 固定为https://taotoken.net/api这个地址不加 UTM 参数避免工具链把查询参数带进签名或路径拼接。2. 样本清单把港大 1.5B CAD 生成评测拆成 8 组可复现输入小样本评测的关键不是样本多而是每条样本都能回答一个明确问题。下面这份 8 条样本清单围绕“参数级精度”设计覆盖 2D 草图、3D 实体、约束、公差、导出和装配。你可以直接复制成samples.json也可以按自己的 CAD 任务替换数值。注意提示词里要求模型返回 JSON字段名固定便于后面做精度对照。编号任务类型输入提示摘要期望参数级输出验收点CAD-012D 法兰盘外径 120mm内孔 40mm6 个均布孔孔中心分布半径、孔直径、阵列角度孔数、角度误差、单位CAD-02L 型支架长 80mm高 60mm厚 6mm折弯内角 R3折弯线位置、板厚、圆角半径折弯参数是否完整CAD-03直齿轮模数 2齿数 20压力角 20°分度圆、齿顶圆、齿根圆、齿厚齿轮基本参数CAD-04钣金折弯四边折弯盒长宽高 100×60×30mm展开长度、折弯扣除、折弯方向展开尺寸CAD-05轴套公差内径 25H7外径 32长度 20mm上下偏差、基本尺寸、配合类型公差字段CAD-06外壳卡扣上下壳卡扣壁厚 2mm卡扣深度 1.2mm卡扣宽度、深度、配合间隙参数是否可制造CAD-07装配孔位底板与盖板 4 个 M3 通孔孔中心坐标、孔径、沉孔深度坐标一致性CAD-08DXF/STEP 导出输出简单板件并导出文件格式、单位、图层/实体名导出指令与单位对应的samples.json可以这样写。这里的数值是评测用示例你可以按真实图纸改。[ { id: CAD-01, task: 2d_flange, prompt: 生成一个 2D 法兰盘参数化草图。外径 120mm内孔直径 40mm6 个均布螺栓孔孔直径 8mm孔中心分布圆直径 90mm。请只返回 JSON字段包括 outer_diameter、inner_diameter、hole_count、hole_diameter、bolt_circle_diameter、angle_step_deg、unit。 }, { id: CAD-02, task: l_bracket, prompt: 生成 L 型支架参数。长度 80mm高度 60mm板厚 6mm折弯内角 R3折弯角度 90 度。返回 JSON字段包括 length_mm、height_mm、thickness_mm、bend_radius_mm、bend_angle_deg、unit。 }, { id: CAD-03, task: spur_gear, prompt: 生成直齿轮参数。模数 2齿数 20压力角 20 度标准直齿圆柱齿轮。返回 JSON字段包括 module、teeth、pressure_angle_deg、pitch_diameter_mm、addendum_diameter_mm、dedendum_diameter_mm、unit。 }, { id: CAD-04, task: sheet_metal_box, prompt: 生成钣金盒参数。外形长 100mm宽 60mm高 30mm板厚 1.5mm四边折弯。返回 JSON字段包括 length_mm、width_mm、height_mm、thickness_mm、bend_deduction_mm、flat_length_mm、unit。 }, { id: CAD-05, task: bushing_tolerance, prompt: 生成轴套参数。内径 25H7外径 32mm长度 20mm。返回 JSON字段包括 nominal_bore_mm、bore_tolerance_code、upper_deviation_mm、lower_deviation_mm、outer_diameter_mm、length_mm、unit。 }, { id: CAD-06, task: snap_fit, prompt: 生成塑料外壳卡扣参数。壁厚 2mm卡扣深度 1.2mm卡扣宽度 6mm配合间隙 0.2mm。返回 JSON字段包括 wall_thickness_mm、snap_depth_mm、snap_width_mm、clearance_mm、unit。 }, { id: CAD-07, task: assembly_holes, prompt: 生成底板与盖板装配孔位参数。4 个 M3 通孔矩形分布X 方向间距 50mmY 方向间距 30mm孔径 3.2mm。返回 JSON字段包括 hole_count、hole_diameter_mm、x_pitch_mm、y_pitch_mm、coordinates、unit。 }, { id: CAD-08, task: export_dxf_step, prompt: 生成一块 80x50x5mm 的板件并给出导出 DXF 和 STEP 的参数化指令。返回 JSON字段包括 length_mm、width_mm、thickness_mm、export_formats、unit、layer_name。 } ]这份清单的好处是每个样本都有“参数级验收点”。比如 CAD-01 不关心图形渲染只看hole_count是否等于 6、angle_step_deg是否接近 60、unit是否为mm。CAD-05 则直接看公差字段是否完整。小样本评测最怕字段漂移所以提示词里一定要写“只返回 JSON”否则后面无法自动对照。3. TaoToken 接入准备Key、Base URL 与最小 curl 请求在跑批量脚本前先做一次最小请求。第一步打开 TaoToken 控制台创建 API Key https://taotoken.net/console/api-keys?utm_sourcetaotoken_aicg_blog_endutm_contentcad_eval_key 。创建后把 Key 放到本地环境变量不要写进脚本提交到仓库。export TAOTOKEN_API_KEYYOUR_API_KEY export TAOTOKEN_BASE_URLhttps://taotoken.net/api export TAOTOKEN_MODELYOUR_MODEL_ID模型 ID 不要猜。你可以先在模型对话页确认可用模型和调用名 https://taotoken.net/models/detail/chat?utm_sourcetaotoken_aicg_blog_endutm_contentcad_eval_model 。选好之后把YOUR_MODEL_ID替换成实际值。下面是最小curl请求走的 OpenAI 兼容路径/v1/chat/completions。注意 Base URL 是https://taotoken.net/api所以完整地址是https://taotoken.net/api/v1/chat/completions。curl -sS --max-time 60 \ -X POST https://taotoken.net/api/v1/chat/completions \ -H Authorization: Bearer ${TAOTOKEN_API_KEY} \ -H Content-Type: application/json \ -d { model: ${TAOTOKEN_MODEL}, messages: [ { role: system, content: 你是 CAD 参数生成助手只输出 JSON不要输出解释。 }, { role: user, content: 生成一个 2D 法兰盘参数化草图。外径 120mm内孔直径 40mm6 个均布螺栓孔孔直径 8mm孔中心分布圆直径 90mm。请只返回 JSON。 } ], temperature: 0, stream: false } | tee raw/CAD-01.json如果返回401 invalid api key先检查三件事Key 是否复制完整、Authorization是否写成Bearer YOUR_API_KEY、环境变量是否在当前 shell 生效。可以用echo ${TAOTOKEN_API_KEY:0:6}只看前六位避免泄露完整 Key。如果返回404 model not found说明YOUR_MODEL_ID不对回模型对话页重新确认。如果返回429不要立刻改参数先降低并发记录时间窗口后面在批量脚本里加退避。这一步成功后你会得到第一份原始记录raw/CAD-01.json。不要急着看文本先确认返回结构里有choices[0].message.content并且content能被 JSON 解析。如果模型返回了 Markdown 代码围栏比如json ...后面可以在解析脚本里去掉围栏。评测阶段保留原始返回很重要因为精度对照记录依赖原始字段而不是你手抄后的结果。4. 批量跑 8 条 CAD 小样本可复制的 curl 循环与日志落盘最小请求通了以后就可以批量跑samples.json。下面脚本用jq读取每条样本逐条请求保存原始响应、HTTP 状态码和耗时。所有命令在本地执行不要放到不可信环境。建议目录结构如下cad_eval/ samples.json raw/ logs/ records/批量脚本#!/usr/bin/env bash set -euo pipefail BASE_URLhttps://taotoken.net/api MODEL${TAOTOKEN_MODEL} API_KEY${TAOTOKEN_API_KEY} mkdir -p raw logs records jq -c .[] samples.json | while read -r sample; do id$(echo $sample | jq -r .id) prompt$(echo $sample | jq -r .prompt) payload$(jq -n \ --arg model $MODEL \ --arg content $prompt \ { model: $model, messages: [ {role: system, content: 你是 CAD 参数生成助手只输出 JSON不要输出解释。}, {role: user, content: $content} ], temperature: 0, stream: false }) start_ms$(date %s%3N) http_code$(curl -sS --max-time 90 \ -o raw/${id}.json \ -w %{http_code} \ -X POST ${BASE_URL}/v1/chat/completions \ -H Authorization: Bearer ${API_KEY} \ -H Content-Type: application/json \ -d $payload) end_ms$(date %s%3N) latency_ms$((end_ms - start_ms)) echo ${id},${http_code},${latency_ms} logs/http_latency.csv echo done ${id} http${http_code} latency${latency_ms}ms sleep 1 done跑完后检查logs/http_latency.csv格式是sample_id,http_code,latency_ms。如果某条出现 429可以把sleep 1改成sleep 3或加指数退避。不要用高并发压测CAD 参数生成不是吞吐测试小样本评测更关心稳定复现。raw/里保存的是完整响应logs/保存的是运行轨迹records/后面放人工或脚本生成的精度对照记录。提取模型输出内容可以用jq -r .choices[0].message.content raw/CAD-01.json records/CAD-01.content.txt如果输出带代码围栏可以这样清理sed -e s/^json// -e s/^$// records/CAD-01.content.txt records/CAD-01.clean.json jq . records/CAD-01.clean.json能jq .成功解析才进入精度对照。解析失败不要直接判模型错先分到“格式失败”类别后面单独统计。5. 精度对照记录参数级误差、几何有效性与失败分类精度对照记录不是写“看起来对”而是把每个关键字段写成可比对的数值。建议 CSV 字段如下sample_id, field, expected, actual, abs_error, rel_error, pass, fail_type, notes。pass可以用阈值判断长度类允许abs_error 0.01mm角度类允许abs_error 0.1deg计数类必须完全相等单位类必须等于mm。阈值可以按你的任务调整但必须在评测前固定不能看到结果后再改。示例记录表sample_idfieldexpectedactualabs_errorrel_errorpassfail_typenotesCAD-01hole_count6600true计数正确CAD-01angle_step_deg606000true均布角度正确CAD-02bend_radius_mm3300true折弯半径正确CAD-03pitch_diameter_mm404000true分度圆正确CAD-04flat_length_mm待计算252.4待定公式待确认需按折弯扣除复核CAD-05upper_deviation_mm按 H7 查表0.021待定公差表需核对标准CAD-06snap_depth_mm1.21.200true卡扣深度正确CAD-07hole_count4400true孔数正确CAD-08unitmmmm00true单位正确注意 CAD-04 和 CAD-05 这种依赖标准表或展开公式的字段不要强行写一个“标准答案”。小样本评测可以先记录模型返回值再由工程经验或标准手册复核。对 CAD 参数级生成来说失败类型比单条对错更有价值。建议分类为missing_field字段缺失、unit_error单位错误、parse_errorJSON 解析失败、constraint_conflict约束冲突、export_fail导出失败、timeout超时、http_error请求失败。每次跑完统计各类失败数量比只看平均分更能定位问题。如果你想把对照记录自动化可以用 Python 读取raw/*.json和一份期望值表但期望值表仍建议人工维护。脚本只做字段提取、数值比较和 CSV 落盘。不要把标准答案完全交给另一个模型生成否则评测会变成模型自评。TaoToken 在这里的角色是稳定提供模型调用入口而不是替代工程判断。6. Claude Code / Codex / CC Switch 接入 TaoToken 的配置模板小样本评测之外很多人会把这些模型接进日常编码工具。这里给出三套配置模板。重点注意Claude Code 用ANTHROPIC_*Codex 用config.toml不要把ANTHROPIC_*套到 Codex 上两者协议和字段不同。Claude Code 的settings.json可以这样写{ env: { ANTHROPIC_BASE_URL: https://taotoken.net/api, ANTHROPIC_AUTH_TOKEN: YOUR_API_KEY, ANTHROPIC_API_KEY: YOUR_API_KEY, ANTHROPIC_MODEL: YOUR_MODEL_ID } }如果本地是 macOS 或 Linux也可以先临时用环境变量验证export ANTHROPIC_BASE_URLhttps://taotoken.net/api export ANTHROPIC_AUTH_TOKENYOUR_API_KEY export ANTHROPIC_API_KEYYOUR_API_KEY export ANTHROPIC_MODELYOUR_MODEL_IDClaude Code 的细节可参考 TaoToken 文档 https://taotoken.net/doc/ClaudeCodeAnthropic?utm_sourcetaotoken_aicg_blog_endutm_contentcad_eval_claude_config 。如果遇到401优先检查ANTHROPIC_AUTH_TOKEN和ANTHROPIC_API_KEY是否有一个写错不同版本可能只读其中一个。Codex 用config.toml不要写ANTHROPIC_*。示例model YOUR_MODEL_ID model_provider taotoken [model_providers.taotoken] name TaoToken base_url https://taotoken.net/api/v1 env_key TAOTOKEN_API_KEY然后在 shell 里设置export TAOTOKEN_API_KEYYOUR_API_KEY这里base_url写https://taotoken.net/api/v1是因为 Codex 通常按 OpenAI 兼容路径拼接。如果你本地 Codex 版本会自动补/v1就把base_url改成https://taotoken.net/api。判断方法很简单请求返回404且路径里出现重复/v1/v1就去掉一个返回404且路径缺少/v1就补上。不要用ANTHROPIC_BASE_URL去配 Codex这会导致协议不匹配。CC Switch 可以理解为多套供应商配置的快速切换器。它的“三件套”是Base URL、API Key、模型 ID。填成 TaoToken 时Base URL 用https://taotoken.net/apiAPI Key 用YOUR_API_KEY模型 ID 用你在模型对话页确认的YOUR_MODEL_ID。如果 CC Switch 要求 OpenAI 兼容根路径则填https://taotoken.net/api/v1如果它自己带路径拼接就填https://taotoken.net/api。切换后先用第 3 节的最小curl验证再打开工具避免把配置问题误判成模型问题。7. 评测中的常见报错与定位401、404、429、超时与模型返回空小样本评测最怕“跑不通还以为是模型差”。下面这张表按现象、原因、验证方式、修正方式整理。命令都在本地执行。现象可能原因验证方式修正401 invalid api keyKey 错误、缺少 Bearer、环境变量未生效echo ${TAOTOKEN_API_KEY:0:6}重建 Key检查Authorization: Bearer404 model not found模型 ID 写错、路径多写/v1回模型对话页确认 ID替换YOUR_MODEL_ID检查 Base URL429 rate limit并发过高或短时间请求过多看logs/http_latency.csv降并发sleep加退避timeout网络慢、提示词过长、模型排队curl --max-time 90 -v增大超时缩短提示词返回空内容stream参数不匹配、解析字段错jq .choices[0].message raw/CAD-01.json关闭 stream检查字段路径JSON 解析失败模型输出代码围栏或解释文字jq . records/CAD-01.clean.json清理围栏提示词强制只输出 JSON参数单位错模型把 mm 写成 cm 或 inch看unit字段在提示词中固定unit: mm一个实用的排查顺序是先看 HTTP 状态码再看原始响应再看模型内容最后看参数对照。很多人直接看最终表格然后把401当成“模型不支持 CAD”。实际上401和模型能力无关先把请求打通再谈精度。如果你要验证路径是否正确可以用curl -sS -o /dev/null -w %{http_code}\n \ -X POST https://taotoken.net/api/v1/chat/completions \ -H Authorization: Bearer YOUR_API_KEY \ -H Content-Type: application/json \ -d {model:YOUR_MODEL_ID,messages:[{role:user,content:ping}]}返回200说明鉴权和路径基本正确返回401查 Key返回404查模型 ID 或路径返回429降速。这个最小探针不要频繁跑验证一次即可。8. 从评测到工作流把 CAD 样本清单沉淀为回归集8 条样本只是起点。真正有价值的是把这些样本变成回归集每次换模型、换供应商、改提示词都跑同一套samples.json生成同一套精度对照记录。建议按三层扩充第一层保持 8 条核心样本覆盖参数、单位、公差、导出第二层加到 30 条加入更复杂的装配和约束冲突第三层加到 50 条以上引入真实图纸的脱敏参数。每层都保留raw/原始响应和records/对照表这样模型升级时可以直接对比历史。回归集落地时有三条经验。第一样本 ID 不要变CAD-01永远代表法兰盘方便跨版本对比。第二提示词版本要记录比如prompt_v1、prompt_v2否则精度变化说不清是模型变了还是提示词变了。第三失败分类要固定missing_field、unit_error、parse_error这些类别一旦定义就不要频繁改统计趋势才有意义。如果你还没有开始建议先做最小闭环打开 TaoToken 官网 https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_contentcad_eval_flow 拿 Key把 Base URL 设为https://taotoken.net/api复制samples.json跑通CAD-01记录第一行精度对照。然后再接 Claude Code 或 Codex把编码工具和评测脚本统一到同一个供应商入口。这样热点里的“参数级精度”才不只是新闻标题而是你本地可复现的记录表。如果你想继续往下走可以按这个顺序先在模型对话页确认模型和参数 https://taotoken.net/models/detail/chat?utm_sourcetaotoken_aicg_blog_endutm_contentcad_eval_cta_chat 再根据调用量选择 Coding Plan https://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_contentcad_eval_cta_plan 接着创建正式 API Key https://taotoken.net/console/api-keys?utm_sourcetaotoken_aicg_blog_endutm_contentcad_eval_cta_key 最后按 Claude Code 文档完成工具接入 https://taotoken.net/doc/ClaudeCodeAnthropic?utm_sourcetaotoken_aicg_blog_endutm_contentcad_eval_cta_claude 。整套流程跑完你得到的不只是 8 条 CAD 输出而是一份能持续迭代的参数级精度对照记录。