Crearea fiºierului robots.txt

Numeroase din motoarele de cãutare inspecteazã în rãdacina domeniului cãutând fiºierul robots.txt

Acest fiºier are o sintaxã specialã conþinând înregistrãri. Fiecare înregistrare are 2 câmpuri de forma: Field : value.
Prima linie menþioneazã User-agent iar altã linie sau mai multe Disallow.

Fiºierul nu poate fi fãcut cu un simplu editor în mod text, ci cu unul care poate lucra în mod UNIX sau folosind clientul FTP pentru a face transformarea.

User-agent este numele robotului. De exemplu:
User-agent: googlebot

Pentru a specifica toþi roboþii se poate utiliza caracterul *. De exemplu:
User-agent: *

Disallow exclude de la cãutare fiºiere sau directoare. De exemplu este exclus de la cãutare fiºierul proba.html:
Disallow: proba.html

Pot fi excluse de la cãutare ºi directoare. De exemplu directorul test aflat în radacina domeniului:
Disallow: /test/

Dacã Disallow nu are nici o meþiune înseamnã ca nu sunt fiºiere sau directoare excluse de la cãutare.
Fiecare User-agent are cel puþin o linie Disallow.
Un fiºier robots.txt gol este echivalent cu lipsa acestuia.

Exemplul 1: este permis accesul oricãrui robot ºi nici un fiºier exclus de la cãutare
User-agent: *
Disallow:

Exemplul 2: acces interzis roboþilor (sunt excluse toate fiºierele)
User-agent: *
Disallow: /

Exemplul 3: acces interzis unui anume robot
User-agent: googlebot
Disallow: /

Exemplul 4: pentru un anume robot este exclus de la cãutare fiºierul test.html
User-agent: googlebot
Disallow: test.html