Pripravenosť WWW na umelú inteligenciu

Jedným zo základných súborov každého webu je:

\/robots.txt

Nájdeme ho napríklad na adrese:

https:\/\/www.domena.sk\/robots.txt

Súbor určuje pravidlá pre roboty, ktoré web prechádzajú.

Google napríklad pred načítaním webu kontroluje pravidlá uvedené v robots.txt a na ich základe rozhoduje, ktoré časti webu smú prechádzať.

Moderná konfigurácia webu preto musí riešiť nielen Googlebot, ale aj jednotlivé AI roboty.

Príklad zjednodušeného nastavenia môže vyzerať napríklad takto:

User-agent: OAI-SearchBot Allow: \/ User-agent: Claude-SearchBot Allow: \/ User-agent: Googlebot Allow: \/ User-agent: * Allow: \/ Sitemap: https:\/\/www.domena.sk\/sitemap.xml

Konkrétnu konfiguráciu je však potrebné pripraviť individuálne podľa typu webu.

Napríklad administráciu, interné vyhľadávanie, košík, objednávkové procesy alebo niektoré parametrické adresy naopak nie je vhodné robotom zbytočne sprístupňovať.

Ďalšou dôležitou súčasťou je súbor:

sitemap.xml

Ten robotom pomáha zistiť:

• aké stránky web obsahuje,
• aké produkty existujú,
• ktoré články sú dostupné,
• ktoré stránky boli aktualizované,
• ako je web štrukturovaný.

U rozsiahlych webov alebo e-shopov môžu existovať samostatné mapy napríklad pre:

• produkty,
• kategórie,
• články,
• obrázky,
• jazykové verzie.

Sitemap musí byť aktuálny. Ak web obsahuje 20 000 produktov, z ktorých polovica už neexistuje, a sitemap stále odkazuje na staré adresy, vytvárame zbytočné požiadavky a komplikujeme robotom prácu.

Veľmi dôležitým tématom moderných webov je JavaScript.

Web môže na monitore vyzerať perfektne, ale veľká časť jeho obsahu môže vzniknúť až po spustení JavaScriptu v internetovom prehliadači.

To môže pre niektoré automatizované systémy predstavovať problém.

Preto kontrolujeme, či dôležité informácie existujú priamo vo výslednom HTML dokumente, príp. či je použitý vhodný server-side rendering alebo iné riešenie.

Robot by mal byť schopný jednoducho zistiť:

• názov firmy,
• hlavné služby,
• produkty,
• ceny,
• lokality,
• kontaktné údaje,
• dôležité parametre produktu,
• texty kategórií,
• FAQ,
• referencie,
• ďalšie podstatné informácie.

Web nemôže byť "čitateľný len pre človeka".

Umelá inteligencia dokáže spracovávať text veľmi dobre. Napriek tomu jej výrazne pomáha, ak je stránka logicky štruktúrovaná.

Kontrolujeme preto napríklad:

<title>

<meta name="description">

<h1>

<h2>

<h3>

<main>

<article>

<section>

<nav>

<header>

<footer>

Správne použitá štruktúra pomáha určiť:

• čo je hlavná téma stránky,
• čo je nadpis,
• čo je doplňujúca informácia,
• čo je navigácia,
• čo je vlastný obsah,
• ako jednotlivé časti textu spolu súvisia.

Napríklad stránka nazvaná iba:

Služby

poskytuje stroju podstatne menej informácií ako:

Zakázková výroba kuchýň a nábytku – Uherské Hradiště a okolie

Dôležitá je tiež správne pripravená HTML hlavička.

Obsahuje napríklad:

<title>Výroba kuchýň na mieru | Firma XY</title> <meta name="description" content="Výroba kuchýň a nábytku na mieru v Uherskom Hradišti a okolí. Návrh, výroba a montáž."> <link rel="canonical" href="https://www.domena.cz/kuchyne-na-miru">

Podľa typu webu doplňujeme tiež:

• kanonickú URL,
• jazykové varianty pomocou hreflang,,
• Open Graph metadata,
• metadata pre sociálne siete,
• informácie pre roboty,
• správne stavové HTTP kódy.

Duplicita adries je problém nielen pre klasické SEO.

Ak sa napríklad ten istý obsah zobrazuje na piatich rôznych URL, robot musí riešiť, ktorá adresa je vlastne hlavná.

Jednou z najdôležitejších technických vrstiev moderného webu sú štruktúrované dáta.

Nejde o text určený návštevníkovi.

Ide o strojovo čitateľnú informáciu, ktorá robotom explicitne hovorí:

Toto je firma.

Toto je produkt.

Toto je cena.

Toto je adresa firmy.

Toto je telefón.

Toto je článok.

Toto je FAQ.

Toto je autor.

Toto je služba.

Najčastejšie sa používa formát JSON-LD podľa štandardu Schema.org.

Google priamo uvádza, že štruktúrované dáta používa na lepšie pochopenie obsahu stránky.

U lokálnej firmy možno napríklad využiť štruktúru typu LocalBusiness. Schema.org umožňuje opísať napríklad adresu, telefón, lokalitu, logo, ponúkané služby a ďalšie údaje.

Zjednodušený príklad:

<script type="application\/ld+json"> { "@context": "https:\/\/schema.org", "@type": "LocalBusiness", "name": "Firma XY", "url": "https:\/\/www.domena.sk", "telephone": "+421123456789", "address": { "@type": "PostalAddress", "addressLocality": "Uherské Hradiště", "addressCountry": "CZ" } } <\/script>

U e-shopu môžu byť štruktúrovanými dátami opísané napríklad produkty, ceny, dostupnosť alebo ďalšie parametre.

Pre stroje je to výrazne jednoznačnejšie než pokúšať sa všetky informácie odhadovať iba z grafického vzhľadu stránky.

Nestačí technicky správny web.

AI vyhľadávanie je postavené na otázkach.

Preto sa mení aj spôsob tvorby obsahu.

Užívateľ nehľadá iba:

„tesár Uherské Hradiště“

ale môže sa pýtať:

„Kto mi v Uherskom Hradišti vyrobí vstavanú skriňu na mieru?“

„Koľko stojí kuchyňa na mieru?“

„Kto príde zamerať kuchyňu priamo domov?“

„Ktorá firma vyrába nábytok v okolí Uherského Hradiště?“

Ak web na podobné otázky poskytuje kvalitné a jednoznačné odpovede, dáva AI systému viac použiteľných informácií.

Preto pri optimalizácii kontrolujeme aj:

• stránky jednotlivých služieb,
• lokality,
• FAQ,
• produktové popisy,
• referencie,
• kontaktné informácie,
• informácie o firme,
• odborné články,
• jasnosť a jednoznačnosť textov.

Veľká časť AI dopytov bude lokálna.

Napríklad:

„Nájdite mi pneuservis v Kunoviciach.“

„Kde si nechám vyrobiť pergolu vo Zlíne?“

„Kto opravuje tepelné čerpadlá v Uherskom Hradišti?“

Ak z webu nie je jednoznačne zrejmé, kde firma pôsobí, AI túto informáciu nemá z čoho bezpečne zistiť.

Preto kontrolujeme napríklad:

• adresu,
• mesto,
• región,
• obsluhované lokality,
• kontaktnú stránku,
• strukturované dáta LocalBusiness,
• prepojenie jednotlivých služieb s lokalitou.

Nie je však správne vytvárať stovky prakticky totožných stránok iba so zmeneným názvom obce.

Obsah musí byť predovšetkým kvalitný a užitočný.

Rýchlosť má význam nielen pre používateľov, ale aj pre automatizované systémy.

Ak robot požaduje stránku a server odpovedá niekoľko sekúnd alebo opakovane vracia chyby, je spracovanie webu zložitejšie a nákladnejšie.

Preto kontrolujeme:

• veľkosť HTML,
• obrázky,
• WebP/AVIF,
• lazy loading,
• JavaScript,
• CSS,
• databázové dotazy,
• cache,
• kompresiu Brotli/GZIP,
• HTTP/2 alebo HTTP/3,
• rýchlosť servera,
• CDN,
• načítanie externých skriptov.

Google používa na hodnotenie používateľského zážitku mimo iného Core Web Vitals.

Aktuálne medzi hlavné metriky patrí:

LCP – Najväčšie zobrazenie obsahu (Largest Contentful Paint) odporúčaná hodnota do 2,5 sekundy.

INP – Interakcia na ďalšie zobrazenie (Interaction to Next Paint) odporúčaná hodnota pod 200 ms.

CLS – Kumulatívny posun rozvrhu (Cumulative Layout Shift) odporúčaná hodnota pod 0,1.

Skôr web navštevovali predovšetkým používatelia a niekoľko hlavných vyhľadávačov.

Dnes pribúdajú ďalšie automatizované systémy.

AI vyhľadávače, indexery, agenti a ďalšie služby vytvárajú ďalšiu vrstvu automatizovaného prevádzky.

U niektorých webov môže byť počet týchto prístupov významný.

Preto je potrebné kontrolovať:

• serverovú kapacitu,
• databázu,
• cache,
• počet požiadaviek,
• logy servera,
• rate limiting,
• ochrana proti nekontrolovaným robotom,
• rozdiel medzi legitímnym robotom a škodlivým scraperom.

Cieľom nie je jednoducho „povoliť všetkých robotov“.

Cieľom je umožniť prístup tým systémom, ktoré pre web dávajú zmysel, a súčasne web chrániť pred nežiaducou automatizovanou záťažou.

Toto je dnes veľmi častý problém.

Web môže mať správne nastavený robots.txt, ale pred serverom môže fungovať napríklad:

• Cloudflare,
• Web Application Firewall,
• ochrana proti DDoS,
• ochrana proti botom,
• vlastný firewall.

Tá môže robota zablokovať ešte predtým, než sa k webu vôbec dostane.

OpenAI napríklad upozorňuje, že ochrany webov môžu legitímne roboty blokovať a vracať im odpoveď 403 Forbidden.

Preto nestačí skontrolovať iba HTML stránky.

Je nutné kontrolovať celú cestu:

robot → DNS → CDN → firewall → server → aplikácia → databáza

S rozvojom automatizácie a AI rastú aj možnosti automatizovaného vyhľadávania zraniteľností, generovania požiadaviek a analyzovania webových aplikácií.

Bezpečnosť webu je preto stále dôležitejšia.

Pri technickom audite kontrolujeme napríklad:

• zastaralé knižnice,
• verziu PHP a ďalších technológií,
• zabezpečenie formulárov,
• SQL injection,
• XSS,
• CSRF,
• prístupové práva,
• administratívne rozhranie,
• upload súborov,
• API,
• hlavičky HTTP,
• SSL/TLS,
• chyba stránky,
• logovanie,
• ochranu proti brute-force útokom,
• rate limiting.

Dôležité je rozlišovať medzi legitímnym AI robotom a automatizovaným útočníkom, ktorý sa za robota iba vydáva.

Samotný text v User-Agent hlavičke nie je spoľahlivý dôkaz identity návštevníka.

Robot musí tiež správne pochopiť, čo sa s konkrétnou adresou stalo.

Preto kontrolujeme napríklad:

200 OK stránka existuje.

301 Redirect stránka bola trvalo presunutá.

404 Not Found stránka neexistuje.

410 Gone obsah bol odstránený.

429 Too Many Requests príliš veľa požiadaviek.

5xx chyba servera.

Ak web namiesto skutočnej chyby 404 zobrazuje stránku s textom „produkt neexistuje“, ale vracia HTTP 200, robot môže chybnú stránku považovať za platný obsah.

Robot sa musí vedieť pohybovať po webe.

Preto analyzujeme:

• hlavné menu,
• drobečkovú navigáciu,
• odkazy medzi službami,
• odkazy medzi kategóriami,
• súvisiace produkty,
• články,
• referencie.

Dôležitá stránka by nemala existovať ako „ostrov“, na ktorý z webu nikde nevedie odkaz.

Takisto musia byť obrázky správne popísané.

Kontrolujeme napríklad:

• názvy súborov,
• alt text,
• rozmery,
• kompresiu,
• lazy loading,
• dostupnosť obrázku robotom,
• prístup cez CDN.

Napríklad súbor:

IMG_45892.jpg

nedáva žiadnu informáciu.

Naopak:

kuchyne-na-miru-uherske-hradiste.jpg

spolu so správnym ALT popisom poskytuje podstatne viac kontextu.

V súvislosti s AI sa stále častejšie diskutuje aj súbor:

\/llms.txt

Ide o návrh štandardu, ktorého cieľom je ponúknuť AI agentom stručný a dobre štruktúrovaný prehľad dôležitých informácií o webe.

Môže obsahovať napríklad:

• popis spoločnosti,
• hlavné časti webu,
• dôležité dokumenty,
• odkazy na služby,
• dokumentáciu,
• ďalšie informácie vhodné na spracovanie LLM.

Dôležité je zdôrazniť, že llms.txt zatiaľ nie je univerzálny internetový štandard s garantovanou podporou všetkých AI systémov.

Ide však o zaujímavý doplnok, ktorý sa rýchlo vyvíja a u niektorých projektov má zmysel ho pripraviť. Návrh vznikol v roku 2024 a postupne sa ďalej vyvíja.

Nemôže však nahradiť kvalitné HTML, štruktúrované údaje, sitemapu alebo správny robots.txt.

Po vykonaní úprav je vhodné sledovať, kto naozaj navštevuje web.

Z logov servera môžeme zistiť napríklad:

• Googlebot,
• OAI-SearchBot,
• GPTBot,
• ClaudeBot,
• Claude-SearchBot,
• ďalšie roboty.

Môžeme sledovať:

• počet ich návštev,
• požadované URL,
• chybové odpovede,
• rýchlosť servera,
• množstvo prenesených dát,
• neobvyklú záťaž.

Vďaka tomu je možné konfiguráciu postupne upravovať podľa skutočného prevádzky.