Jeg har fået til opgave at bygge vores virksomheds AI-søgeinfrastruktur fra bunden. Jeg kommer fra traditionel ML, og landskabet er overvældende.
Hvad jeg tror, jeg har brug for:
Hvad jeg er forvirret over:
Kontekst:
Vil meget gerne høre hvilke stack folk faktisk kører i produktion og hvad de ville gøre anderledes.
Jeg har opbygget denne stack flere gange. Her er den ramme jeg bruger:
Kernearkitektur (RAG-mønster):
Brugerforespørgsel
↓
Forespørgselsembedding (embedding-model)
↓
Vektorsøgning (vektordatabase)
↓
Kandidat-hentning
↓
Genrangering (cross-encoder)
↓
Kontekst-samling
↓
LLM-generering
↓
Svar
Komponentanbefalinger til din skala (500K docs):
| Komponent | Anbefaling | Hvorfor |
|---|---|---|
| Vektordatabase | Pinecone eller Qdrant | Administreret = hurtigere, team på 2 kan ikke babysitte infrastruktur |
| Embeddings | OpenAI text-embedding-3-large | Bedste kvalitet/omkostningsforhold til generelt brug |
| Genrangerer | Cohere Rerank eller cross-encoder | 10-20x forbedret relevans |
| LLM | GPT-4 eller Claude | Afhænger af opgaven |
| Orkestrering | LangChain eller LlamaIndex | Genopfind ikke hjulet |
Budget-realitetscheck:
Ved 500K dokumenter kigger du på:
For et team på 2 ingeniører kan det 100% betale sig at vælge administrerede tjenester.
Genrangering er en af de forbedringer med højest ROI du kan lave. Her er hvorfor:
Uden genrangerer:
Med genrangerer:
Latenstidseffekt:
Tallene:
Spring det over hvis det er nødvendigt, men tilføj det senere. Det er oftest den enkeltstående største kvalitetsforbedring efter grundlæggende RAG.
Har kørt AI-søgning i produktion i 18 måneder. Her er hvad jeg ville gøre anderledes:
Fejl vi lavede:
Startede med selvhostet vektordatabase – Brugte 3 måneder på infrastruktur. Burde have valgt administreret fra dag 1.
Billig embedding-model – Sparet $20/mdr, men mistede betydelig søgekvalitet. Kvalitets-embeddings kan betale sig.
Ingen hybrid-søgning i starten – Ren vektorsøgning missede eksakte forespørgsler. Hybrid (vektor + BM25) løste det.
Undervurderede overvågningsbehov – Svært at fejlfinde uden indblik i søgekvalitets-metrics.
Hvad vi kører nu:
Latenstidsfordeling:
Den samlede oplevede latenstid er fin fordi vi streamer LLM-output.
Lidt om datapipeline-perspektivet, som ofte bliver overset:
Dokumentbehandling betyder MEGET:
Inden noget rammer din vektordatabase, skal du have:
Chunking-råd:
| Indholdstype | Chunk-strategi | Chunk-størrelse |
|---|---|---|
| Længere artikler | Afsnitsbaseret med overlap | 300-500 tokens |
| Tekniske dokumenter | Sektionbaseret | 500-1000 tokens |
| FAQ-indhold | Spørgsmål-svar-par | Naturlige enheder |
| Produktdata | Enhedsbaseret | Hele produktet |
Fælden:
Folk bruger uger på valg af vektordatabase og dage på chunking. Det burde være omvendt. Dårlig chunking = dårlig søgning uanset hvor god din vektordatabase er.
Sammenligning af vektordatabaser baseret på dine krav:
Til 500K dokumenter + 2 ingeniører + under 200 ms:
Pinecone:
Qdrant:
Weaviate:
Milvus:
Min anbefaling:
Start med Pinecone. Det er kedeligt (på den gode måde). Du får tid til at evaluere alternativer, når du kender dine reelle behov bedre.
Glem ikke MLOps og observabilitet:
Det skal du spore:
Søgemetrics
Genereringsmetrics
Systemmetrics
Værktøjer:
Det ingen fortæller dig:
Du kommer til at bruge mere tid på overvågning og fejlfinding end på at bygge det oprindelige system. Planlæg for det fra dag 1.
Startup-realitetscheck:
Hvis du bygger dette til en virksomhed (ikke forskning), så overvej:
Byg selv vs køb:
Platforme der pakker det ind:
Hvornår bygge selv:
Hvornår bruge platform:
For de fleste virksomheder vinder platformtilgangen indtil du møder skala-begrænsninger.
Sikkerhedsovervejelser som ingen nævnte:
Databekymringer:
Muligheder for følsomme data:
Compliance-tjekliste:
Antag ikke at administrerede tjenester opfylder dine compliance-krav. Tjek det eksplicit.
Denne tråd har været utrolig værdifuld. Her er min opdaterede plan:
Arkitekturbeslutning:
Vælger administrerede tjenester af hensyn til hastighed og teamsammensætning:
Vigtigste læringer:
Tidslinje:
Tak til alle for grundige indsigter. Dette community er guld værd.
Get personalized help from our team. We'll respond within 24 hours.
Følg hvordan dit brand vises i AI-drevne søgeresultater. Få indsigt i ChatGPT, Perplexity og andre AI-svarmotorer.
Fælles diskussion om, hvordan vidensbaser og strukturerede indholdsarkiver hjælper med at forbedre AI-henvisninger. Reelle strategier til at opbygge RAG-venligt...
Lær om de essentielle komponenter, frameworks og værktøjer, der kræves for at bygge en moderne AI-søgeteknologisk stack. Opdag retrieval-systemer, vektordatabas...
Fællesskabsdiskussion om, hvordan store virksomheder griber AI-søgning an for både intern vidensdeling og ekstern brand-synlighed. Reelle strategier fra Fortune...