Ako vlastne funguje Perplexityho živé vyhľadávanie? Snažím sa pochopiť architektúru

Daniel, tvoj tip na architektúru je celkom presný. Pridám detaily:

Štvorstupňový pipeline:

Fáza 1: Spracovanie dotazu

Nejde len o extrakciu kľúčových slov:

• Tokenizuje vstup
• Identifikuje entity, lokality, koncepty
• Deteguje nejasnosti
• Vie reformulovať na viacero vyhľadávacích dotazov

Príklad: “Najnovší vývoj v kvantovom počítaní” →

• Zámer: Aktuálne informácie
• Téma: Kvantové počítanie
• Časový rámec: Súčasnosť/najnovšie
• Reformulácia: “kvantové počítanie 2025”, “novinky kvantové počítanie” atď.

Fáza 2: Získavanie

Používa sémantické vyhľadávanie, nielen zhodu kľúčových slov. Dokument o “umelých neurónových sieťach” môže byť nájdený na dotaz “deep learning”, lebo sémantický význam je podobný.

LLM vrstva si zaslúži viac pozornosti.

Výber modelu:

Perplexity používa viacero LLM:

• GPT-4 Omni (na zložité dotazy)
• Claude 3 (na niektoré úlohy)
• Vlastné modely (pre efektivitu)
• Používateľ si vie v Pro zvoliť preferovaný model

Ako LLM generuje odpovede s citáciami:

LLM len nekopíruje text. Robí:

1. Porozumie zámeru dotazu
2. Číta získané pasáže
3. Syntetizuje koherentnú odpoveď
4. Priraďuje tvrdenia ke zdrojom
5. Formátuje s citáciami

Príklad transformácie:

Zdroj 1: “Kvantové počítače používajú qubity, ktoré môžu byť v superpozícii.” Zdroj 2: “Medzi hlavné firmy patria IBM, Google a IonQ.” Zdroj 3: “Posledné prelomové objavy ukazujú procesory s 1000+ qubitmi.”

Výstup Perplexity: “Kvantové počítače využívajú qubity pracujúce v superpozičných stavoch [1]. Lídri v odvetví IBM, Google a IonQ [2] nedávno dosiahli prelomové objavy vrátane procesorov s viac ako 1000 qubitmi [3].”

Syntéza vytvára nový text a zároveň zachováva presnú atribúciu.

Pre tvorcov obsahu – na toto záleží, ak chcete byť citovaní:

Faktory výberu zdrojov:

Formát, ktorý sa cituje:

Perplexity najlepšie extrahuje informácie z:

• Jasných nadpisov signalizujúcich tému
• Priamych odpovedí v prvých vetách
• Odrážkových zoznamov faktov
• Tabuliek s údajmi
• Sekcií typu FAQ

Čo sa obchádza:

• Nejasné úvody
• Informácie skryté v hustých odstavcoch
• Propagačný jazyk
• Tvrdenia bez podporných údajov

Rýchle vyhľadávanie vs Pro vyhľadávanie – technický rozdiel:

Rýchle vyhľadávanie:

• Jednorazové cielené získanie info
• ~5 konzultovaných zdrojov
• Rýchla odpoveď (2-3 sekundy)
• Najlepšie na jednoduché faktické otázky

Pro vyhľadávanie:

• Viackrokové získavanie info
• Rozkladanie dotazu na poddotazy
• Môže sa dopytovať na upresnenie
• 10+ konzultovaných zdrojov
• Pomalšie, ale komplexnejšie
• Lepšie na odborný výskum

Rozkladanie dotazu:

Pro vyhľadávanie rozkladá zložité dotazy na poddotazy:

“Najlepší CRM pre zdravotnícke startupy s HIPAA súladom” sa rozdelí na:

• “CRM softvér zdravotníctvo”
• “HIPAA súlad CRM”
• “CRM ceny pre startupy”
• “CRM funkcie zdravotníctvo”

Každý poddotaz získa iné zdroje, výsledky sa potom skombinujú.

Prevencia halucinácií v Perplexity:

Ako znižuje halucinácie:

1. Povinné citácie – Nemôže generovať tvrdenia bez citácií
2. Získavanie v reálnom čase – Aktuálne dáta, nie len trénovanie
3. Potvrdenie viacerými zdrojmi – Dôležité fakty musia byť vo viacerých zdrojoch
4. Váha dôveryhodnosti zdrojov – Uprednostňuje renomované zdroje

Obmedzenia:

Perplexity môže halucinovať ak:

• Samotné zdroje sú nesprávne
• Získané dokumenty sú irelevantné
• Dotaz je nesprávne pochopený

V porovnaní s ChatGPT:

Povinný mechanizmus citácií je hlavná obrana Perplexity proti halucináciám.

Systém kontextovej pamäte:

Počas jednej relácie:

Perplexity si pamätá históriu konverzácie:

• Predchádzajúce otázky sú zakódované
• Kontext sa prenáša ďalej
• Nasledujúce otázky chápu odkazy

Príklad: Q1: “Aké sú najnovšie pokroky v kvantovom počítaní?” Q2: “Ako sa to porovnáva s klasickým počítaním?”

Pri Q2 Perplexity chápe, že “to” odkazuje na kvantové počítanie z Q1.

Mechanizmus pozornosti:

Používa váhy pozornosti na určenie, ktorý predchádzajúci kontext je relevantný pre nový dotaz. Nie všetko sa prenáša – len relevantné časti.

Obmedzenie:

Pamäť je len na úrovni relácie. Po zatvorení konverzácie = kontext sa stratí. Neexistuje trvalá personalizácia naprieč reláciami.

Je to voľba z hľadiska súkromia, nie technické obmedzenie.

Focus Mode je podceňovaný pri pochopení architektúry Perplexity:

Dostupné režimy:

Čo to odhaľuje:

Focus Mode ukazuje, že Perplexity vie obmedziť získavanie na konkrétne skupiny zdrojov. Znamená to, že majú:

1. Indexované a kategorizované zdroje
2. Oddelené systémy získavania pre každú kategóriu
3. Schopnosť filtrovať podľa typu domény

Pre optimalizáciu:

Chcete akademické citácie – zabezpečte, aby bol váš výskum v akademických databázach. Chcete všeobecné citácie – zamerajte sa na webovo objaviteľný obsah.

Táto diskusia mi doplnila chýbajúce časti. Tu je môj aktualizovaný diagram architektúry:

Pipeline živého vyhľadávania Perplexity:

Dotaz používateľa
    ↓
Fáza 1: Spracovanie dotazu
├── NLP tokenizácia
├── Klasifikácia zámeru
├── Extrakcia entít
├── Reformulácia dotazu (viacero poddotazov)
    ↓
Fáza 2: Získavanie informácií
├── Sémantické vyhľadávanie (embeddingy)
├── API volania na webový index
├── Filtrovanie zdrojov (Focus Mode)
├── Extrakcia pasáží
├── Poradie podľa relevantnosti
    ↓
Fáza 3: Generovanie odpovede
├── Naplnenie kontextového okna
├── Syntéza cez LLM (GPT-4/Claude)
├── Priebežné sledovanie citácií
├── Riešenie rozporov
    ↓
Fáza 4: Záverečné spracovanie
├── Overenie faktov zo zdrojov
├── Hodnotenie koherencie
├── Návrhy na ďalšie otázky
├── Formátovanie citácií
    ↓
Finálny výstup (odpoveď + citácie + návrhy)

Kľúčové postrehy:

1. Sémantické získavanie – Nie porovnávanie kľúčových slov, ale významov
2. Povinné citácie – Každé tvrdenie je viazané na zdroj, znižuje halucinácie
3. Index v reálnom čase – Obsah sa objaví v priebehu hodín od publikácie
4. Multimodelová architektúra – Rôzne LLM na rôzne účely
5. Pamäť relácie – Kontextové povedomie v rámci konverzácie

Pre optimalizáciu obsahu:

Ak chcete byť citovaní v Perplexity:

• Píšte v extrahovateľnom formáte (zoznamy, tabuľky, priame odpovede)
• Pridajte signály dôveryhodnosti (autor, inštitúcia)
• Obsah udržiavajte aktuálny (dátumy aktualizácie sú dôležité)
• Buďte autoritou na svoju tému

Vďaka všetkým za technický deep dive.