Filen robots.txt används för att ge instruktioner till sökrobotar som besöker en webbplats. Detta kallas för The Robots Exclusion Protocol.

Googlebot är en sökrobot som används av Google för att samla dokument från Internet samt göra det sökbart via sökmotorn.

Vad menas med länkstruktur på en webbsida och hur fungerar det? Länkstrukturen på en webbplats är en viktig faktor som påverkar rankingen i resultatlistorna.

Innan Google utvecklade den banbrytande PageRank-tekniken så filtrerades Google SERP (Search Engine Result Pages) på ett annorlunda sätt. Den grundläggande idén för hur resultatlistorna skulle utformas byggde på formeln TF/IDF (Term Frequency delat med Inverse Document Frequency).