Streaming response
Streaming response
Hugovo vysvětlení: To je to postupné vypisování textu slovo po slově, které vidíš v chatu. Nemusíš čekat, až se vygeneruje celá stránka najednou.
Příklad z praxe: Chatbot začne odpovídat okamžitě a ty můžeš začít číst první větu, zatímco on dopisuje zbytek.
Jdi hlouběji
- [[llm-large-language-model]] — LLM (Large Language Model)
- [[prompt]] — Prompt
- [[prompt-engineering]] — Prompt engineering
- [[token]] — Token