Jak vlastně funguje živé vyhledávání Perplexity? Snažím se pochopit architekturu

Danieli, tvůj odhad architektury je dost blízko. Dovolím si doplnit detaily:

Čtyřstupňová pipeline:

Fáze 1: Zpracování dotazu

Nejde jen o extrakci klíčových slov:

• Tokenizuje vstup
• Identifikuje entity, lokace, pojmy
• Zjišťuje nejednoznačnost
• Může přeformulovat na více vyhledávacích dotazů

Příklad: “Nejnovější vývoj v kvantovém počítání” →

• Záměr: Aktuální informace
• Téma: Kvantové počítání
• Časové období: Současnost/nejnovější
• Přeformulování: “kvantové počítání 2025”, “novinky v kvantovém počítání” apod.

Fáze 2: Získávání informací

Používá sémantické vyhledávání, ne pouze shodu klíčových slov. Dokument o “umělých neuronových sítích” může být nalezen i pro dotaz “deep learning”, protože sémantický význam je podobný.

Vrstva LLM si zaslouží podrobnější rozbor.

Výběr modelu:

Perplexity používá více LLM:

• GPT-4 Omni (pro složité dotazy)
• Claude 3 (pro určité úlohy)
• Vlastní modely (pro efektivitu)
• Uživatelé mohou v Pro zvolit preferovaný model

Jak LLM generuje odpovědi s citacemi:

LLM pouze nekopíruje text. Provádí:

1. Porozumění záměru dotazu
2. Čtení získaných pasáží
3. Syntézu soudržné odpovědi
4. Přiřazení tvrzení ke zdrojům
5. Formátování s citacemi

Příklad transformace:

Zdroj 1: “Kvantové počítače používají qubity, které mohou být v superpozici.” Zdroj 2: “Mezi hlavní hráče patří IBM, Google a IonQ.” Zdroj 3: “Nedávné průlomy ukazují procesory s více než 1000 qubity.”

Výstup Perplexity: “Kvantové počítače využívají qubity fungující ve stavech superpozice [1]. Průmysloví lídři IBM, Google a IonQ [2] nedávno dosáhli průlomů, včetně procesorů s více než 1000 qubity [3].”

Syntéza vytváří nový text při zachování přesného přiřazení ke zdrojům.

Pro tvůrce obsahu – na čem záleží, aby vás Perplexity citovalo:

Faktory výběru zdroje:

Formát, který je často citován:

Perplexity nejlépe extrahuje informace z:

• Jasných nadpisů signalizujících téma
• Přímých odpovědí v prvních větách
• Odrážkových seznamů faktů
• Tabulek s daty
• Sekcí FAQ

Co bývá přeskakováno:

• Vágní úvody
• Obsah schovaný v hustých odstavcích
• Propagační jazyk
• Tvrzení bez podpůrných údajů

Rychlé vs Pro hledání – technický rozdíl:

Rychlé hledání:

• Jedno zaměřené získání
• ~5 konzultovaných zdrojů
• Rychlá odpověď (2–3 sekundy)
• Nejlepší pro jednoduché faktické dotazy

Pro hledání:

• Vícefázové získávání
• Rozklad dotazu na poddotazy
• Může pokládat upřesňující otázky
• 10+ konzultovaných zdrojů
• Pomalejší, ale důkladnější
• Vhodné pro komplexní rešerše

Rozklad dotazu:

Pro hledání rozkládá složité dotazy na poddotazy:

“Nejlepší CRM pro zdravotnické startupy s HIPAA kompatibilitou” se rozpadne na:

• “CRM software zdravotnictví”
• “HIPAA kompatibilní CRM”
• “CRM ceny pro startupy”
• “Funkce zdravotnických CRM”

Každý poddotaz získá jiné zdroje a výsledky se kombinují.

Prevence halucinací v Perplexity:

Jak snižuje halucinace:

1. Povinné citace – Nemůže generovat tvrzení bez uvedení zdroje
2. Získávání v reálném čase – Aktuální data, nejen tréninkový korpus
3. Potvrzení více zdroji – Významná fakta potřebují vícero zdrojů
4. Váhování důvěryhodnosti zdrojů – Upřednostňovány renomované zdroje

Omezení:

Perplexity může halucinovat, pokud:

• Samotné zdroje jsou chybné
• Získávání vrátí nerelevantní dokumenty
• Dotaz je špatně pochopen

Oproti ChatGPT:

Povinný mechanismus citací je hlavní obranou Perplexity proti halucinacím.

Systém kontextové paměti:

V rámci jedné relace:

Perplexity si pamatuje historii konverzace:

• Předchozí dotazy jsou zakódovány
• Kontext se přenáší dále
• Následné dotazy rozumí odkazům

Příklad: Dotaz 1: “Jaké jsou nejnovější trendy v kvantovém počítání?” Dotaz 2: “Jak se to srovnává s klasickým výpočtem?”

U dotazu 2 Perplexity chápe, že “to” znamená kvantové počítání z dotazu 1.

Mechanismus pozornosti:

Používá váhy pozornosti k určení, který předchozí kontext je relevantní k novému dotazu. Ne vše se přenáší – jen kontextuálně důležité části.

Omezení:

Paměť je pouze v rámci relace. Po zavření konverzace = kontext ztracen. Neprobíhá trvalá personalizace mezi relacemi.

Jde o volbu soukromí, ne technické omezení.

Režim Focus (zaměření) je podceňovaný pro pochopení architektury Perplexity:

Dostupné zaměření:

Co to ukazuje:

Režim zaměření ukazuje, že Perplexity umí omezit získávání na konkrétní skupiny zdrojů. Znamená to, že:

1. Indexují a kategorizují zdroje
2. Mají oddělené systémy získávání podle kategorií
3. Umí filtrovat podle typu domény

Pro optimalizaci:

Chcete-li být citováni v akademickém režimu – ujistěte se, že je váš výzkum indexován v akademických databázích. Chcete-li obecné citace – zaměřte se na obsah snadno dohledatelný na webu.

Tento thread mi doplnil chybějící informace. Tady je můj aktualizovaný diagram architektury:

Pipeline živého vyhledávání Perplexity:

Uživatelský dotaz
    ↓
Fáze 1: Zpracování dotazu
├── NLP tokenizace
├── Klasifikace záměru
├── Extrakce entit
├── Převod dotazu (více poddotazů)
    ↓
Fáze 2: Získávání informací
├── Sémantické vyhledávání (na základě embeddingů)
├── API volání na webový index
├── Filtrování zdrojů (Focus Mode)
├── Extrakce pasáží
├── Řazení podle relevance
    ↓
Fáze 3: Generování odpovědi
├── Naplnění kontextového okna
├── Syntéza pomocí LLM (GPT-4/Claude)
├── Průběžné sledování citací
├── Řešení konfliktů
    ↓
Fáze 4: Zpřesnění
├── Kontrola faktů vůči zdrojům
├── Vyhodnocení soudržnosti
├── Generování návrhů na doplňující dotazy
├── Formátování citací
    ↓
Finální výstup (odpověď + citace + návrhy)

Klíčové poznatky:

1. Sémantické vyhledávání – Ne klíčová slova, ale význam
2. Povinné citace – Každé tvrzení napárováno na zdroj, snižuje halucinace
3. Index v reálném čase – Obsah se objeví během hodin od publikace
4. Multi-modelová architektura – Různé LLM pro různé účely
5. Paměť v rámci relace – Kontextová znalost v rámci konverzace

Pro optimalizaci obsahu:

Chcete-li být citováni v Perplexity:

• Pište v extrahovatelném formátu (seznamy, tabulky, přímé odpovědi)
• Přidejte signály důvěryhodnosti (autor, instituce)
• Udržujte obsah aktuální (záleží na datu aktualizace)
• Buďte autoritativním zdrojem na své téma

Díky všem za technický deep dive.