Un site nu mai este vizitat doar de oameni și de motoarele de căutare. Conținutul său poate fi accesat și de servicii care pregătesc răspunsuri generate cu inteligență artificială, execută diferite sarcini sau colectează informații pentru antrenarea modelelor AI.
Pentru proprietarul unui site, întrebarea nu mai este doar „permit sau blochez roboții?”, ci și: ce tip de acces permit și în ce scop?
 |
| Accesul pentru căutare, agenți AI și antrenarea modelelor poate fi administrat separat. |
Ce a anunțat Cloudflare?
Pe 21 august 2026, Cloudflare a prezentat Bot Preference Sync, o funcție care sincronizează preferințele stabilite pentru roboții AI cu regulile publicate în fișierul robots.txt al site-ului.
Cloudflare grupează acum traficul AI în trei categorii care pot fi controlate separat:
- Search – roboți care contribuie la descoperirea și afișarea conținutului în servicii de căutare;
- Agent – servicii AI care accesează paginile pentru a răspunde unei solicitări sau pentru a executa o sarcină;
- Training – roboți care colectează conținut pentru antrenarea sau îmbunătățirea modelelor AI.
Astfel, proprietarul site-ului poate permite accesul pentru căutare și agenți AI, dar poate declara separat că nu dorește folosirea conținutului pentru antrenare.
Funcția este disponibilă pentru toate planurile Cloudflare, inclusiv Free, și este lansată treptat în cursul acestei săptămâni. Prin urmare, este posibil ca opțiunea să nu fie încă vizibilă imediat în toate conturile.
De ce era necesară această sincronizare?
Un site poate avea reguli declarate în robots.txt, dar și reguli de blocare aplicate separat prin infrastructura care gestionează traficul. Dacă aceste două configurații nu coincid, mesajul transmis roboților devine neclar.
De exemplu, fișierul poate spune că un anumit crawler nu are voie să acceseze site-ul, în timp ce sistemul de securitate îi permite în continuare accesul. Sau se poate întâmpla exact invers.
Bot Preference Sync actualizează automat robots.txt în funcție de preferințele stabilite în Cloudflare. Dacă site-ul are deja propriul fișier, regulile gestionate de Cloudflare sunt adăugate fără eliminarea instrucțiunilor existente.
Scopul este simplu: preferința declarată public și regula aplicată la nivelul site-ului să transmită același lucru.
Ce alegere ar trebui să facă o afacere?
Nu există o configurație potrivită pentru toate site-urile.
Un magazin online sau un site de servicii poate dori ca produsele și informațiile publice să fie descoperite și citate în răspunsurile AI. Pentru un asemenea site, accesul pentru Search sau Agent poate aduce vizibilitate.
Un site editorial, un fotograf, un creator sau o companie care publică cercetări originale poate fi mai atentă la folosirea conținutului pentru antrenarea modelelor. În acest caz, poate permite descoperirea materialelor, dar poate refuza utilizarea lor pentru Training.
Decizia ar trebui să pornească de la trei întrebări:
- Accesul robotului poate aduce vizibilitate, citări sau vizitatori?
- Site-ul publică informații originale sau conținut cu valoare comercială?
- Există date prin care poate fi verificat ce roboți accesează paginile?
robots.txt nu este un firewall
Aceasta este distincția cea mai importantă.
Conform documentației Cloudflare, respectarea regulilor din robots.txt este voluntară. Fișierul comunică preferințele proprietarului, dar nu împiedică tehnic un crawler să acceseze site-ul.
Roboții corecți vor respecta instrucțiunile. Alții le pot ignora.
Pentru blocarea efectivă este necesar un mecanism de control al traficului, precum AI Crawl Control. Acesta poate permite sau bloca solicitările, în timp ce robots.txt explică public politica site-ului. Cele două instrumente au roluri diferite, dar pot funcționa împreună.
Ce merită verificat acum?
Dacă site-ul folosește Cloudflare, pașii de început sunt simpli:
- verifică activitatea din secțiunea AI Crawl Control;
- deschide adresa
domeniul-tău.ro/robots.txt; - identifică roboții care accesează conținutul;
- decide separat politica pentru Search, Agent și Training;
- verifică din nou setările după activarea Bot Preference Sync.
Orice modificare trebuie făcută atent. Blocarea prea largă poate reduce descoperirea conținutului, iar permiterea tuturor roboților poate oferi mai mult acces decât este necesar.
În 2026, administrarea roboților nu mai este doar o setare tehnică ascunsă în robots.txt. Devine o decizie despre vizibilitate, control și modul în care conținutul unui business poate fi folosit în ecosistemul AI.
Întrebarea utilă pentru această săptămână este: atunci când un robot AI îți accesează site-ul, știi ce face cu informația găsită?
