Thử cả lúc có lỗi
Gửi lại một yêu cầu không tạo phiếu trùng.
Kiểm tra cả test và bộ chặn
Test xanh chỉ có ích nếu nó bắt được lỗi cần tránh. Thử một bản sai có chủ ý trong lab riêng. Với hook, phân biệt đã chạy, đã cảnh báo và đã chặn; thiếu công cụ không được tính là đạt.
Chuông báo cháy hết pin không có nghĩa là nhà không cháy.
Hook chạy khác hook chặn
Hook sau hành động không ngăn được việc đã xảy ra. Hook lỗi, thiếu công cụ hay quá giờ phải hiện rõ; không tự đổi thành đạt.
Chuông báo cửa mở khác với ổ khóa giữ cửa đóng.
Thực hành
Hoàn thiện submitOnce theo mô tả hàm.
Chỉ sửa submitOnce trong model.mjs theo mô tả hàm, giữ tests gốc. Cùng requestId và nội dung sau chuẩn hóa thì trả kết quả đã ghi; khác nội dung báo REQUEST_CONFLICT. Không thay đổi state cũ. Chạy quality và các ca trước; báo giới hạn một tiến trình và dữ liệu trong bộ nhớ.
Tự kiểm tra
Replay, conflict và hai ID khác nhau đều được thử.
Test hàm và đánh giá agent được phân biệt.
Tài liệu tham khảo
- Demystifying evals for AI agents — Anthropic Engineering
- Testing Agent Skills with Evals · Dominik Kundel, Gabriel Chua — OpenAI Developers
- Claude hooks — Claude Code Docs
- Anthropic agent evaluations — Anthropic Engineering
- OpenAI iterative repair loop — OpenAI Docs
- CMU assessment alignment — CMU Eberly Center