AI-Toolkit Architektúra – JSON Bus Edition

┌─────────────────────────────┐
│ User CLI                                                                                               │
│ ai [options] [command]                                                                    │
│ - prompt, -m, -c, -o ...                                                                         │
└─────────────┬───────────────┘
│
▼
┌─────────────────────────────┐
│ Input Preprocessing │
│ - Pipe / File / Args │
│ - RAG context builder │
│ - Max context calculation │
└─────────────┬───────────────┘
│
▼
┌─────────────────────────────┐
│ JSON Bus Layer │
│ - Standardized JSON format │
│ - Streams CONTENT/REASONING│
│ - TTFT & token metrics │
│ - Event-driven (publish) │
└─────────────┬───────────────┘
│
┌───────┴────────┐
▼ ▼
┌───────────────┐ ┌───────────────┐
│ AI Model │ │ Logger / UI │
│ (llama3, gpt) │ │ - Metrics │
│ - Receives JSON│ │ - JSON log │
│ - Streams back │ │ - TPS, TTFT │
│ chunks │ │ - Cost calc │
└───────────────┘ └───────────────┘
│
▼
┌─────────────────────────────┐
│ Output Processing / Render │
│ - Markdown / Terminal │
│ - Tool call parsing │
│ - JSON bus events │
└─────────────────────────────┘

---

Tok dát

1. User CLI input → text / súbor / pipe

2. Preprocessing: RAG, systémový prompt, max context

3. JSON Bus publish:

   • každý chunk obsahuje {content, reasoning, timestamp}

   • TTFT a content_len sa pridávajú dynamicky

4. AI Model: spracuje JSON, vracia stream

5. Logger / Metrics:

   • zapisuje JSON log s tokeny, TTFT, TPS, cost, context

   • môže byť samostatný subscriber na JSON bus

6. Output Renderer: markdown/terminal/fallback file

7. Optional modules (future): monitoring, analytics, external tools

---

Kľúčové vlastnosti JSON bus architektúry

• Jednotný formát dát → všetky moduly čítajú a zapisujú rovnaké JSON objekty

• Modularita → nový modul len subscribuje na bus → žiadny rewrite existujúceho kódu

• Streaming-friendly → TTFT a partial output sa publikuje v reálnom čase

• Robustné logovanie → všetky metriky sú vždy dostupné, fallback tokeny zabezpečené

• RAG-ready → externé knowledge zdroje sa dajú jednoducho prepojiť

• Analytika a monitoring → JSON bus môže feedovať grafy, dashboards, automatické reporty

---

 Bonus blog tip:

• Pri vizualizácii ukáž dynamický tok TTFT a token metrics, aby čitatelia videli, že CLI sleduje reálny výkon modelu v reálnom čase.

• Zdôrazni, že JSON bus umožňuje asynchrónnu prácu s dátami, čo je presne to, čo moderné AI CLI nástroje robia.