Amazonbot

Čo je Amazonbot a aký je jeho účel

Amazonbot je oficiálny webový prehliadač spoločnosti Amazon navrhnutý na zlepšovanie produktov a služieb spoločnosti zhromažďovaním a analýzou webového obsahu. Tento sofistikovaný prehliadač poháňa kľúčové funkcie Amazonu, vrátane hlasového asistenta Alexa, AI nákupného asistenta Rufus a vyhľadávacích skúseností Amazonu poháňaných umelou inteligenciou. Amazonbot funguje s identifikačným reťazcom user agenta Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot) Chrome/119.0.6045.214 Safari/537.36, ktorý ho identifikuje pre webové servery. Dáta získané Amazonbotom môžu byť použité na trénovanie modelov umelej inteligencie Amazonu, vďaka čomu je kľúčovou súčasťou širšej AI infraštruktúry a stratégie rozvoja produktov Amazonu.

Ako funguje Amazonbot a súvisiace prehliadače

Amazon prevádzkuje tri odlišné webové prehliadače, pričom každý z nich slúži špecifickému účelu v jeho ekosystéme. Amazonbot je hlavný prehliadač používaný na všeobecné zlepšovanie produktov a služieb a môže byť použitý na trénovanie AI modelov. Amzn-SearchBot je špeciálne navrhnutý na zlepšovanie vyhľadávacích skúseností v produktoch Amazonu ako Alexa a Rufus, no dôležité je, že NEZBERÁ obsah na trénovanie AI modelov. Amzn-User podporuje akcie iniciované používateľom, ako je získavanie aktuálnych informácií, keď zákazníci položia Alexe otázky vyžadujúce čerstvé webové dáta, a takisto neprechádza obsah na účely AI tréningu. Všetky tri prehliadače rešpektujú Robots Exclusion Protocol a dodržiavajú pokyny v robots.txt, čím umožňujú majiteľom stránok kontrolovať ich prístup. Amazon uverejňuje IP adresy pre každý prehliadač na svojom developerskom portáli, čím umožňuje overiť legitímnu návštevnosť. Okrem toho všetky prehliadače Amazonu rešpektujú linkové direktívy rel=nofollow a stránkové meta tagy robots vrátane noarchive (zabránenie použitia na AI tréning), noindex (zabránenie indexovaniu) a none (zabránenie obom).

Robots.txt a prístupová kontrola

Amazon rešpektuje priemyselný štandard Robots Exclusion Protocol (RFC 9309), čo znamená, že majitelia webových stránok môžu ovládať prístup Amazonbotu cez svoj robots.txt súbor. Amazon načítava súbory robots.txt z koreňa vašej domény (napr. example.com/robots.txt) a ak sa mu súbor nepodarí stiahnuť, použije cache kópiu starú maximálne 30 dní. Zmeny v robots.txt sa vo väčšine prípadov prejavia v systémoch Amazonu približne do 24 hodín. Protokol podporuje štandardné direktívy user-agent a allow/disallow, čím umožňuje detailnú kontrolu nad tým, ktoré prehliadače môžu pristupovať k vybraným adresárom alebo súborom. Je však dôležité poznamenať, že Amazon prehliadače NEPODPORUJÚ direktívu crawl-delay, takže tento parameter bude ignorovaný, ak je zahrnutý vo vašom robots.txt.

Príklad, ako ovládať prístup Amazonbotu:

# Zablokujte Amazonbotu prechádzanie celej stránky
User-agent: Amazonbot
Disallow: /

# Povoľte Amzn-SearchBot pre účely vyhľadávania
User-agent: Amzn-SearchBot
Allow: /

# Zablokujte konkrétny adresár pre Amazonbot
User-agent: Amazonbot
Disallow: /private/

# Povoľte všetkým ostatným prehliadačom
User-agent: *
Disallow: /admin/

Identifikácia a overenie Amazonbotu

Majitelia stránok, ktorí sa obávajú robotickej návštevnosti, by si mali overiť, či prehliadače vydávajúce sa za Amazonbot sú skutočne legitímne prehliadače Amazonu. Amazon poskytuje proces overenia cez DNS vyhľadávania na potvrdenie pravosti návštevnosti Amazonbotu. Na overenie legitímnosti prehliadača najskôr zistite IP adresu z prístupových logov servera, potom vykonajte spätné DNS vyhľadávanie na tejto IP adrese pomocou príkazu host. Získané doménové meno by malo byť subdoménou crawl.amazonbot.amazon. Následne vykonajte priame DNS vyhľadávanie na získané doménové meno, aby ste overili, že smeruje späť na pôvodnú IP adresu. Tento obojsmerný proces overenia pomáha zabrániť útokom typu spoofing, keďže škodliví aktéri by mohli nastaviť spätné DNS záznamy na vydávanie sa za Amazonbot. Amazon zverejňuje overené IP adresy pre všetky svoje prehliadače na developerskom portáli na adrese developer.amazon.com/amazonbot/ip-addresses/, čo poskytuje ďalší referenčný bod na overenie.

Príklad procesu overenia:

$ host 12.34.56.789
789.56.34.12.in-addr.arpa domain name pointer 12-34-56-789.crawl.amazonbot.amazon.

$ host 12-34-56-789.crawl.amazonbot.amazon
12-34-56-789.crawl.amazonbot.amazon has address 12.34.56.789

Ak máte otázky ohľadom Amazonbotu alebo potrebujete nahlásiť podozrivú aktivitu, kontaktujte Amazon priamo na amazonbot@amazon.com a do správy uveďte príslušné domény.

Amazonbot a trénovanie AI modelov

Medzi prehliadačmi Amazonu existuje zásadný rozdiel, pokiaľ ide o tréning AI modelov. Amazonbot môže byť použitý na trénovanie modelov umelej inteligencie Amazonu, čo je dôležité pre tvorcov obsahu obávajúcich sa použitia svojho obsahu na AI tréning. Naproti tomu Amzn-SearchBot a Amzn-User VÝSLOVNE NEZBERAJÚ obsah na trénovanie generatívnych AI modelov a zameriavajú sa výlučne na zlepšovanie vyhľadávania a podporu používateľských dotazov. Ak chcete zabrániť použitiu vášho obsahu na trénovanie AI modelov, použite robots meta tag noarchive v hlavičke HTML vašej stránky, ktorý inštruuje Amazonbot, aby stránku nepoužil na účely tréningu AI modelov. Tento rozdiel je dôležitý pre vydavateľov, tvorcov a majiteľov webov, ktorí chcú mať kontrolu nad tým, ako je ich obsah použitý v AI pipeline, a zároveň chcú, aby sa ich obsah zobrazoval vo výsledkoch vyhľadávania Amazonu a odporúčaniach Rufus.

Rufus nákupný asistent a Amazonbot

Rufus je pokročilý AI nákupný asistent Amazonu, ktorý využíva webové prehliadanie a AI technológie na poskytovanie personalizovaných nákupných odporúčaní a asistencie. Zatiaľ čo Amazonbot prispieva k celkovej AI infraštruktúre Amazonu, Rufus špecificky využíva Amzn-SearchBot na indexovanie informácií o produktoch a webového obsahu relevantného pre nákupné dotazy. Rufus je postavený na Amazon Bedrock a používa pokročilé veľké jazykové modely vrátane Claude Sonnet od Anthropic a Amazon Nova, v kombinácii s vlastným modelom trénovaným na rozsiahlych produktových katalógoch Amazonu, recenziách zákazníkov, komunitných otázkach a odpovediach a webových informáciách. Asistent pomáha zákazníkom skúmať produkty, porovnávať možnosti, sledovať ceny, nájsť zľavy a dokonca aj automaticky nakupovať položky, keď dosiahnu cieľovú cenu. Od svojho uvedenia sa Rufus stal mimoriadne populárnym – používa ho viac ako 250 miliónov zákazníkov, počet aktívnych používateľov mesačne vzrástol o 149 % a počet interakcií medziročne o 210 %. Zákazníci, ktorí využívajú Rufus pri nakupovaní, majú o viac ako 60 % vyššiu pravdepodobnosť nákupu počas nákupnej relácie, čo dokazuje významný vplyv AI asistencie na spotrebiteľské správanie.

Najlepšie postupy pre majiteľov webových stránok

Majitelia stránok by mali vypracovať strategický prístup k správe prehliadačov Amazonu na základe svojich obchodných cieľov a politiky obsahu:

• Povoľte Amzn-SearchBot na prístup k vášmu obsahu, ak chcete, aby sa vaše produkty a informácie zobrazovali vo výsledkoch vyhľadávania Amazonu, odpovediach Alexa a odporúčaniach Rufus – tento prehliadač netrénuje AI modely a poskytuje cennú viditeľnosť
• Zvážte svoj postoj k Amazonbotu podľa toho, či ste v poriadku s tým, že váš obsah môže byť použitý na AI tréning; ak nie, použite robots meta tag noarchive alebo ho úplne zablokujte cez robots.txt
• Pravidelne sledujte serverové logy, aby ste pochopili vzorce návštevnosti prehliadačov a identifikovali akúkoľvek neobvyklú aktivitu, ktorá môže naznačovať škodlivé roboty vydávajúce sa za legitímne prehliadače
• Implementujte rate limiting, ak návštevnosť prehliadačov ovplyvňuje výkon vášho servera, ale dávajte si pozor na príliš agresívne blokovanie, ktoré by mohlo negatívne ovplyvniť vašu viditeľnosť vo vyhľadávaní a nákupných funkciách Amazonu
• Vždy overujte legitímnosť prehliadača cez DNS vyhľadávania pred prijatím opatrení proti podozrivej návštevnosti
• Obráťte sa na tím podpory Amazonu na amazonbot@amazon.com s informáciami o vašej doméne pre personalizované rady, ak máte konkrétne otázky alebo obavy ohľadom interakcie Amazon prehliadačov s vaším webom