Mnoho marketérů věří, že čím více dat do promptu "nasypou", tím lepší výsledek dostanou. Realita je však opačná. Kontextové okno (Context Window) není jen o počtu tokenů, ale o schopnosti modelu udržet pozornost (Attention Mechanism) na klíčových informacích. S rostoucím objemem vstupních dat dochází k jevu zvanému "Lost in the Middle", kdy model prioritizuje začátek a konec promptu, zatímco instrukce uprostřed ignoruje.
V praxi to znamená, že pokud do jednoho promptu vložíte 20 stran firemní identity a na konec napíšete "napiš tweet", model pravděpodobně vytvoří generický text, který nereflektuje specifika hluboko v textu. Efektivní inženýring vyžaduje segmentaci dat a práci s RAG (Retrieval-Augmented Generation) systémy místo prostého kopírování textu do chatu.
Proč LLM "zapomínají"?
- Výpočetní cena roste kvadraticky s délkou kontextu u standardních architektur.
- Tokenizace rozkládá slova na fragmenty, což může zkreslit sémantický význam dlouhých vět.
- Model není databáze; je to prediktor dalšího tokenu na základě vážených souvislostí.
Pokud vás zajímá, jak tento fakt ovlivňuje přesnost generovaných informací, doporučujeme článek Generování textu: Proč LLM lžou.