ประสิทธิภาพ & ค่าใช้จ่าย

แหล่งตัวเลข: radar/digests/2026-10-26-th.md · reviews/2026-10-26-stats.md · state.db (session_model_usage, messages) · workflows/state.db · curl 10 โดเมนสด

1) อะไรได้ผล

• เว็บทั้ง 10 ตัวตอบ 200 วัดสดรอบนี้: lab radar dash gallery cozy3d shader particles type img2three jotjo
• radar-daily ทำงานจริงวันนี้: first_seen ล่าสุด 2026-10-26T01:04:42Z · คลัง 424 แถว (423 URL ไม่ซ้ำ) · digest radar/digests/2026-10-26-th.md ขนาด 7,814 ไบต์ · 422 รายการใหม่ใน 24 ชม. จาก 6 แหล่ง (x 222 · github 82 · rss 78 · hn 24 · arxiv 11 · release 5)
• ข้อเสนอรอบก่อนถูกทำจริงและตรวจได้ 2 ข้อ:

1. _sweep_stalled() อยู่ใน workflows/wf.py:204-215 (เกณฑ์ 60 นาที) — run 20261025-065039-e51c ไม่ค้างแล้ว สถานะ blocked พร้อมหลักฐานราย step ว่า stalled: no step progress for >60 min (ก่อนหน้านี้ค้าง running 2.95 ชม.)
2. scripts/self_review.py ส่งข้อความ error จริงมาให้แล้ว — stats รอบนี้มีหัวข้อ ตัวอย่าง error ล่าสุด 8 บรรทัด ทำให้ระบุสาเหตุได้แทนการเดา

• workflow 20261025-065046-595b (claim-check) จบ done failed steps 0

2) อะไรเปลืองโดยไม่จำเป็น

• cache read 181.89M เทียบ input จริง 3.79M = 48 เท่า — ภาระหลักยังเป็น context ที่วนซ้ำ ไม่ใช่คำถามใหม่
• task background_review: 121 calls ให้ output 134.3K = 20.8% ของ output ทั้งระบบ 646.0K (511,314+134,345+360+33) ทั้งที่ใช้แค่ 13.1% ของ call — output ต่อ call 1,110 token สูงสุดในระบบ
• task approval: 90 calls ได้ output รวม 360 token = 4 token/call กิน input 43.7K — overhead ล้วน
• write_file ถูกเรียก 90 ครั้ง ล้มเหลว 12.2% และทั้ง 11 ครั้งมาจากสาเหตุเดียวกัน: Refusing to overwrite … has not seen its full current content — เขียนทับไฟล์ที่ยังไม่ได้อ่านหรือ patch เสีย call เปล่า 11 ครั้ง
• skill เปิดใช้งาน 72 ตัว (hermes skills list) ใช้จริง 9 ตัว — 63 ตัวไม่เคยถูกเรียก ยังไม่มีตัวเลขว่าแต่ละตัวกิน token ต่อ session เท่าไร
• ระบบ workflow ถูกใช้แค่ 2 run ทั้งสัปดาห์ (workflows/runs/ มี 2 โฟลเดอร์: 20261025-065039-e51c, 20261025-065046-595b) เทียบกับ 922 api calls — เครื่องมือที่มี gate กลับไม่ถูกใช้ งานส่วนใหญ่ทำแบบ ad hoc

3) อะไรพังหรือเสี่ยง

• error แยกตามเครื่องมือ: terminal 23/365 = 6.3% · write_file 11/90 = 12.2% · browser_exec 7/82 = 8.5% · execute_code 4/106 = 3.8% · skill_manage 4/16 = 25.0%
• 8 จาก 769 tool messages (1.0%) ถูก approvals บล็อก เพราะ approvals.cron_mode = deny (ตรวจด้วย hermes config get approvals): รันสคริปต์แบบ inline 3 · heredoc 2 · แก้ config/env 2 · อื่น ๆ 1 — คิดเป็น 8/23 = 35% ของ error terminal ทั้งหมด
• radar มี error row 2 แถว: source x → HTTP Error 429 (rate limit, item ax:webgpu path tracer) และ rss-error → https://hnrss.org/frontpage timeout — source ยังไม่ตาย แต่ x ติด rate limit
• cron บันทึกไม่ตรงกับของจริง: hermes cron list แสดง radar-daily Last run 2026-10-25T09:28:08Z แต่ไฟล์จริงบอกว่ารัน 2026-10-26T01:05Z (digest และ items-2026-10-26.jsonl) — ถ้าเชื่อ cron record อย่างเดียวจะเข้าใจผิดว่างานวันนี้ไม่รัน
• ความเสี่ยงเชิงพฤติกรรม: write_file พยายามเขียนทับไฟล์ที่ยังไม่เห็นเนื้อหา (เช่น /opt/data/SOUL.md) — ตัวกันทำงานถูก แต่แสดงว่าโมเดลเดาเนื้อหาไฟล์เดิมแทนที่จะอ่านก่อน

4) จะเปลี่ยนอะไร 3 อย่าง

1. เลิกใช้วิธีรันสคริปต์แบบ inline/heredoc แล้วเก็บ probe เป็นไฟล์ถาวร — รอบนี้พิสูจน์แล้วว่าเขียน cache/scratch/probe.py แล้วเรียก python3 ตามด้วยชื่อไฟล์ผ่านได้ ขณะที่แบบ inline ถูกบล็อก: ย้าย query ที่ใช้ซ้ำ (นับ item ตาม source, error rows, usage ตาม task) ไปเป็น /opt/data/scripts/probe_radar.py และ /opt/data/scripts/probe_usage.py แล้วให้ scripts/self_review.py เรียกผ่าน subprocess — ตรวจด้วย python3 scripts/probe_radar.py ต้องได้ 424 และรายชื่อ source 8 แบบ
2. ลด write_file error 11 ครั้งที่เสียเปล่า — กติกา: ก่อนเขียนทับไฟล์ที่มีอยู่ให้ read_file หรือใช้ patch; เพิ่มหัวข้อใน scripts/self_review.py ที่นับสัดส่วน error Refusing to overwrite แยกออกมา (เป้า: write_file error ต่ำกว่า 5%)
3. ปิดช่อง approvals ที่บล็อกงานอ่านอย่างเดียว — 8 ครั้ง/สัปดาห์ที่โดนบล็อกเป็นงานที่ไม่แก้อะไร เสนอ allowlist เฉพาะ /opt/data/scripts/*.py ใน approvals (แก้ config ต้องมีคนอนุมัติ ไม่ใช่ job นี้) — ตรวจก่อน/หลังด้วย hermes confi