Robots.txt jest plikiem tekstowym, który informuje roboty sieciowe, czego mają nie robić na danej stronie internetowej. Plik ten zawiera listę poleceń, takich jak Allow i Disallow, informujących roboty indeksujące o tym, które adresy URL mogą pobrać, a których nie. Jeśli więc zostanie zablokowany jakiś adres URL, bądź folder instrukcją Disallow, to ten adres, ani zawartość folderu, nie będą pojawiać się w wynikach wyszukiwania. Plik ten umieszczany jest w katalogu głównym hostowanej strony.

Najprostszy kod robots.txt przedstawia się tak:

User-agent: *
Disallow: /

Pierwsza linijka odnosi się do tego, których wyszukiwarek i ich robotów wpis dotyczy. W tym przypadku został użyty symbol gwiazdki, czyli globalny, dzięki czemu adresujemy naszą informację do wszystkich robotów wyszukiwarek. Druga linijka oznacza wyłączenie z indeksacji całej zawartości domeny (slash oznacza katalog główny).

Blokowanie jednego z katalogów tworzy się zaś następująco:

Disallow: /katalog/