Rastreamento Googlebot. Google Confirma 3 Maneiras de Fazer o Googlebot Rastrear Mais. No dinâmico mundo do SEO, entender como o Googlebot decide quando e com que frequência rastrear seu site é crucial para garantir a visibilidade e o desempenho ideais nos resultados de pesquisa. Recentemente, o Google ofereceu novos insights sobre esse processo, confirmando três fatores-chave que podem influenciar a frequência de rastreamento do seu site.
Gary Illyes e Lizzi Sassman, duas figuras proeminentes da equipe do Google, revelaram informações valiosas sobre como otimizar o rastreamento do Googlebot, o que pode ter um impacto significativo na maneira como seu site é indexado e classificado. Em um cenário onde a competição por posições de destaque nas páginas de resultados de pesquisa é acirrada, compreender e aplicar essas estratégias pode ser a chave para melhorar seu desempenho online.
Neste artigo, exploraremos essas três abordagens confirmadas pelo Google para aumentar a frequência de rastreamento do Googlebot, detalhando como você pode aplicar esse conhecimento para maximizar a eficiência de seu site. A partir de insights sobre a qualidade do conteúdo até a frequência de publicação e a consistência na manutenção do site, você descobrirá as melhores práticas para garantir que seu site seja constantemente visível e relevante para os motores de busca.
O que é o Googlebot
Googlebot é o nome genérico dos dois tipos de rastreadores da Web do Google:
- Googlebot para smartphones: um rastreador para dispositivos móveis que simula um usuário em um dispositivo móvel.
- Googlebot para computadores: um rastreador para computadores que simula um usuário no computador.
Você pode identificar o subtipo do Googlebot observando o cabeçalho da solicitação do HTTP user-agent na solicitação. No entanto, os dois tipos de rastreador obedecem ao mesmo token de produto (user agent token) no robots.txt. Por isso, não é possível segmentar seletivamente o Googlebot para smartphones nem o Googlebot Desktop usando o robots.txt.
Na maioria dos sites, o Google indexa principalmente a versão para dispositivos móveis do conteúdo. Dessa forma, a maioria das solicitações de rastreamento do Googlebot será feita usando o rastreador para esse tipo de dispositivo e uma minoria com o rastreador para computadores.
Como o Googlebot acessa seu site
Para a maioria dos sites, o acesso do Googlebot não deve ocorrer, em média, mais de uma vez no intervalo de poucos segundos. No entanto, devido a atrasos, é possível que a taxa pareça ser um pouco mais elevada em intervalos curtos.
O Googlebot foi desenvolvido para funcionar simultaneamente em milhares de máquinas a fim de melhorar o desempenho e a escala de acordo com o crescimento da Web. Além disso, para reduzir o uso da largura de banda, muitos rastreadores funcionam em máquinas localizadas perto dos sites que podem ser rastreados. Por isso, seus registros talvez mostrem visitas de vários endereços IP, todos com o user agent do Googlebot. Nosso objetivo é rastrear o maior número possível de páginas no seu site a cada visita, sem sobrecarregar o servidor. Caso seu site esteja com problemas ao acompanhar as solicitações de rastreamento do Google, reduza a taxa de rastreamento.
O Googlebot rastreia principalmente endereços IP nos Estados Unidos. Caso o Googlebot detecte que um site está bloqueando solicitações dos Estados Unidos, ele poderá tentar rastrear endereços IP localizados em outros países. A lista de intervalos de endereços IP usados pelo Googlebot está disponível no formato JSON.
O Googlebot rastreia o HTTP/1.1 e, se compatível com o site, HTTP/2. Não há benefício de classificação com base na versão do protocolo usada para rastrear seu site. No entanto, o rastreamento por HTTP/2 pode economizar recursos de computação (por exemplo, CPU e RAM) do seu site e do Googlebot.
Para desativar o rastreamento via HTTP/2, instrua o servidor que hospeda o site para responder com um código de status HTTP 421 quando o Googlebot tentar fazer o rastreamento dessa maneira. Se isso não for viável, envie uma mensagem para a equipe do Googlebot. No entanto, essa solução é temporária.
O Googlebot pode rastrear os primeiros 15 MB de um arquivo HTML ou um arquivo de texto compatível. Cada recurso referenciado no HTML, como CSS e JavaScript, é buscado separadamente, e cada busca é restrita ao mesmo limite de tamanho de arquivo. Depois disso, ele interrompe o rastreamento e envia apenas os primeiros 15 MB do arquivo para que seja considerada a indexação. O limite de tamanho do arquivo é aplicado considerando os dados descompactados. Outros rastreadores do Google como o Googlebot Video e o Googlebot Image podem ter limites diferentes.
Ao rastrear endereços IP nos EUA, o fuso horário do Googlebot é o Horário do Pacífico.
Googlebot. Google Confirma 3 Maneiras de Fazer o Googlebot Rastrear Mais
Confira abaixo, 3 maneiras de fazer o Googlebot rastrea ainda mais, seu website:
1. Impacto do conteúdo de alta qualidade na frequência de rastreamento
Uma das coisas sobre as quais eles falaram foi a qualidade de um site. Muitas pessoas sofrem com o problema de descoberta não indexada e isso às vezes é causado por certas práticas de SEO que as pessoas aprenderam e acreditam ser uma boa prática. Faço SEO há 25 anos e uma coisa que sempre permaneceu a mesma é que as melhores práticas definidas pelo setor geralmente estão anos atrás do que o Google está fazendo. No entanto, é difícil ver o que está errado se uma pessoa está convencida de que está fazendo tudo certo.
Gary Illyes compartilhou um motivo para uma frequência de rastreamento elevada na marca de 4:42 minutos, explicando que um dos gatilhos para um alto nível de rastreamento são os sinais de alta qualidade que os algoritmos do Google detectam.
Gary disse isso na marca de 4:42 minutos (vídeo no final deste artigo):
“…geralmente se o conteúdo de um site é de alta qualidade e é útil e as pessoas gostam dele, em geral, então o Googlebot–bem, o Google–tende a rastrear mais daquele site…”
Há muitas nuances na declaração acima que estão faltando, como quais são os sinais de alta qualidade e utilidade que farão o Google decidir rastrear com mais frequência?
Bem, o Google nunca diz. Mas podemos especular e a seguir estão alguns dos meus palpites.
Sabemos que há patentes sobre pesquisa de marca que contam pesquisas de marca feitas por usuários como links implícitos. Algumas pessoas acham que “links implícitos” são menções de marca, mas “menções de marca” não são absolutamente sobre o que a patente fala.
Depois, há a patente Navboost que existe desde 2004. Algumas pessoas equiparam a patente Navboost a cliques, mas se você ler a patente real de 2004, verá que ela nunca menciona taxas de cliques (CTR). Ela fala sobre sinais de interação do usuário. Cliques foram um tópico de pesquisa intensa no início dos anos 2000, mas se você ler os artigos de pesquisa e as patentes, é fácil entender o que quero dizer quando não é tão simples como “macaco clica no site nas SERPs, o Google o classifica mais alto, macaco ganha banana”.
Em geral, acho que os sinais que indicam que as pessoas percebem um site como útil, acho que podem ajudar um site a ter uma classificação melhor. E às vezes isso pode ser dar às pessoas o que elas esperam ver, dar às pessoas o que elas esperam ver.
Os proprietários de sites me dizem que o Google está classificando lixo e quando dou uma olhada, posso ver o que eles querem dizer, os sites são meio lixo. Mas, por outro lado, o conteúdo está dando às pessoas o que elas querem porque elas realmente não sabem como diferenciar o que esperam ver de um conteúdo de boa qualidade (chamo isso de algoritmo Froot Loops).
O que é o algoritmo Froot Loops? É um efeito da dependência do Google em sinais de satisfação do usuário para julgar se seus resultados de pesquisa estão deixando os usuários felizes.
Aqui está o que publiquei anteriormente sobre o algoritmo Froot Loops do Google:
“Você já andou pelo corredor de cereais de um supermercado e notou quantos tipos de cereais cheios de açúcar estão nas prateleiras? Isso é satisfação do usuário em ação. As pessoas esperam ver cereais bomba de açúcar em seu corredor de cereais e os supermercados satisfazem essa intenção do usuário.
Costumo olhar para os Froot Loops no corredor de cereais e pensar: “Quem come essas coisas?” Aparentemente, muitas pessoas comem, é por isso que a caixa está na prateleira do supermercado – porque as pessoas esperam vê-la lá.
O Google está fazendo a mesma coisa que o supermercado. O Google está mostrando os resultados que têm mais probabilidade de satisfazer os usuários, assim como aquele corredor de cereais.”
Um exemplo de um site SPAM que satisfaz os usuários é um site de receitas popular (que não nomearei) que publica receitas fáceis de cozinhar que não são autênticas e usam atalhos como creme de sopa de cogumelos da lata como ingrediente. Tenho bastante experiência na cozinha e essas receitas me fazem estremecer. Mas as pessoas que conheço adoram esse site porque elas realmente não sabem melhor, elas só querem uma receita fácil.
O que a conversa sobre utilidade realmente trata é de entender o público online e dar a eles o que querem, o que é diferente de dar a eles o que deveriam querer. Entender o que as pessoas querem e dar a elas é, na minha opinião, o que os pesquisadores acharão útil e tocarão os sinos de sinal de utilidade do Google.
2. Aumento da atividade de publicação
Outra coisa que Illyes e Sassman disseram que poderia fazer o Googlebot rastrear mais é uma frequência maior de publicação, como se um site aumentasse repentinamente a quantidade de páginas que está publicando. Mas Illyes disse que no contexto de um site hackeado que de repente começou a publicar mais páginas da web. Um site hackeado que está publicando muitas páginas faria o Googlebot rastrear mais.
Se dermos um zoom para examinar essa declaração da perspectiva da floresta, então é bem evidente que ele está sugerindo que um aumento na atividade de publicação pode desencadear um aumento na atividade de rastreamento. Não é que o site foi hackeado que está fazendo o Googlebot rastrear mais, é o aumento na publicação que está causando isso.
Aqui é onde Gary cita uma explosão de atividade de publicação como um gatilho do Googlebot:
“…mas também pode significar que, não sei, o site foi hackeado. E então há um monte de novas URLs que deixam o Googlebot animado, e então ele sai e fica rastreando como um louco.”
Muitas páginas novas fazem o Googlebot ficar animado e rastrear um site “como um louco” é a conclusão disso. Não é preciso mais elaboração, vamos em frente.
3. Consistência da qualidade do conteúdo
Gary Illyes continua mencionando que o Google pode reconsiderar a qualidade geral do site e isso pode causar uma queda na frequência de rastreamento.
Aqui está o que Gary disse:
“… se não estamos rastreando muito ou estamos gradualmente diminuindo o ritmo do rastreamento, isso pode ser um sinal de conteúdo de baixa qualidade ou que repensamos a qualidade do site.”
O que Gary quer dizer quando diz que o Google “repensou a qualidade do site?” Minha opinião sobre isso é que às vezes a qualidade geral de um site pode cair se houver partes do site que não estejam no mesmo padrão da qualidade original do site. Na minha opinião, com base em coisas que vi ao longo dos anos, em algum momento o conteúdo de baixa qualidade pode começar a superar o bom conteúdo e arrastar o resto do site para baixo com ele.
Quando as pessoas vêm até mim dizendo que têm um problema de “canibalismo de conteúdo”, quando dou uma olhada, o que elas realmente estão sofrendo é um problema de conteúdo de baixa qualidade em outra parte do site.
Lizzi Sassman continua perguntando por volta da marca de 6 minutos se há um impacto se o conteúdo do site for estático, nem melhorando, nem piorando, mas simplesmente não mudando. Gary resistiu a dar uma resposta, simplesmente dizendo que o Googlebot retorna para verificar o site para ver se ele mudou e diz que “provavelmente” o Googlebot pode desacelerar o rastreamento se não houver alterações, mas qualificou essa declaração dizendo que ele não sabia.
Algo que não foi dito, mas está relacionado à Consistência da Qualidade do Conteúdo, é que às vezes o tópico muda e se o conteúdo for estático, ele pode perder relevância automaticamente e começar a perder classificações. Portanto, é uma boa ideia fazer uma Auditoria de Conteúdo regular para ver se o tópico mudou e, se sim, atualizar o conteúdo para que ele continue relevante para usuários, leitores e consumidores quando eles tiverem conversas sobre um tópico.
Três maneiras de melhorar as relações com o Googlebot
Como Gary e Lizzi deixaram claro, não se trata realmente de cutucar o Googlebot para fazê-lo aparecer apenas para fazê-lo rastrear. O ponto é pensar sobre seu conteúdo e sua relação com os usuários.
1. O conteúdo é de alta qualidade?
O conteúdo aborda um tópico ou uma palavra-chave? Os sites que usam uma estratégia de conteúdo baseada em palavras-chave são os que vejo sofrendo nas atualizações do algoritmo principal de 2024. Estratégias baseadas em tópicos tendem a produzir melhor conteúdo e navegar pelas atualizações do algoritmo.
2. Aumento da atividade de publicação
Um aumento na atividade de publicação pode fazer com que o Googlebot apareça com mais frequência. Independentemente de ser porque um site foi hackeado ou está colocando mais vigor em sua estratégia de publicação de conteúdo, um cronograma regular de publicação de conteúdo é uma coisa boa e sempre foi uma coisa boa. Não existe “configure e esqueça” quando se trata de publicação de conteúdo.
3. Consistência da qualidade do conteúdo
A qualidade do conteúdo, a atualidade e a relevância para os usuários ao longo do tempo são considerações importantes e garantirão que o Googlebot continuará a aparecer para dizer olá. Uma queda em qualquer um desses fatores (qualidade, atualidade e relevância) pode afetar o rastreamento do Googlebot, o que é um sintoma do fator mais importante, que é como o próprio algoritmo do Google considera o conteúdo.
Ouça o Google Search Off The Record Podcast começando na marca de 4 minutos:
Em um universo digital em constante evolução, manter uma presença sólida e bem posicionada nos resultados de busca do Google é essencial para o sucesso de qualquer estratégia de SEO. Os três fatores confirmados pelo Google para otimizar o rastreamento do Googlebot oferecem diretrizes valiosas para aprimorar a visibilidade e a performance do seu site.
Ao focar na criação de conteúdo de alta qualidade, mantendo uma frequência consistente de publicações e garantindo a estabilidade na qualidade geral do seu site, você pode influenciar positivamente a forma como o Googlebot interage com seu conteúdo. Essas práticas não apenas ajudam a assegurar que seu site seja visitado com maior frequência, mas também garantem que ele seja reconhecido como relevante e útil para os usuários.
Lembre-se de que o sucesso no SEO é um processo contínuo que envolve adaptação e refinamento constante. Monitorar regularmente o desempenho do seu site, ajustar suas estratégias conforme necessário e manter-se atualizado com as melhores práticas recomendadas pelo Google são passos cruciais para otimizar a visibilidade do seu site. Ao implementar essas estratégias e entender como elas impactam o rastreamento e a indexação, você estará melhor preparado para alcançar uma presença digital robusta e eficaz.
Em suma, utilizar os insights sobre o rastreamento do Googlebot pode ser um divisor de águas para a sua estratégia de SEO, permitindo que você se destaque em um cenário competitivo e maximize o potencial do seu site. Aplique esses conhecimentos com sabedoria e observe como seu site ganha maior relevância e destaque nos resultados de busca, proporcionando uma experiência mais rica e satisfatória para seus visitantes.
Leia também:
Google Analytics. Conheça 8 principais estatísticas para seu ecommerce.
Como bloquear conteúdo adulto usando DNS: Um guia completo para proteção online.
