Google har forbedret sin crawler, Googlebot, som indtil nu har haft svært ved at indeksere meget af det indhold, der er gemt bag en mur af Javascript og Ajax. Nu er Googlebot i stand til at sende POST-requests og trænge helt ind på de sider, som tidligere ikke var tilgængelige. Det skulle blandt andet betyde at Google bliver bedre til at indeksere debatindlæg og kommentarer i mange systemer, der bygger på Javascript.
I denne blog fortæller Google om arbejdet med at forbedre sin søgerobot. Tidligere har Google blandt andet forbedret indekseringen af Flash og man er også begyndt at udfylde webformularer automatisk for at finde frem til det indhold, der ligger bag formularer.
Nu begynder Google så at sende POST-requests. Man kunne frygte at det vil skabe problemer på nogle websider - og Google har da også en lang række god råd til webmastere på bloggen.
Det anbefales generelt at bruge GET frem for POST til at hente indhold og sørge for at alt det vigtige indhold er inkluderet som søgevenlig og synlig tekst på siden.
Det er stadig muligt at bruge robots.txt til at blokere indekseringen. Det er også muligt at blokere Google Web Preview selektivt. Det er en funktion, der viser tekstuddrag og et preview-billede af websiden i søgeresultaterne.
