3.4 Analyze observability challenges and select monitoring strategies at scale

Quan sát hệ thống LLM ở quy mô lớn: log gì, trace gì, theo dõi chi phí ra sao.

  1. Log request-id của mọi lời gọi API — cần khi điều tra sự cố và làm việc với support.
  2. Với agent: trace quyết định và cấu trúc tương tác (tool nào, thứ tự, lỗi) — Anthropic trace mà không cần đọc nội dung hội thoại để bảo vệ quyền riêng tư.
  3. Chi phí theo đội/dự án → tách workspace + báo cáo usage/cost của Admin API.