Molti operatori di siti web sono instabili. Apparentemente devi assolutamente avere un file chiamato robots.txt. Che cos'è?
Windows + Linux / Inglese / Open Source. Se hai una homepage, di solito vuoi essere trovato. C'è grande frustrazione quando la tua pagina non appare su Google. Ciò potrebbe essere dovuto al file robots.txt. Ma solo se c'è. Questo file può fare solo una cosa: vietare.
Nel file robots.txt, puoi impedire ai programmi automatici che navigano in Internet 24 ore su 24 di accedere alle tue pagine. Puoi pronunciare il divieto su tutta la linea per tutti questi robot o per alcuni. Puoi bloccare completamente le tue pagine o solo alcune aree.
Se il file non esiste, non ci sono quindi divieti. Le tue pagine sono aperte a tutti i motori di ricerca. Se ancora non appari su Google, sorge una domanda completamente diversa: hai già registrato le tue pagine? La cosa migliore da fare è farlo subito. Basta inserire l'indirizzo qui:
https://www.google.com/webmasters/tools/submit-url
Per fare ciò, devi accedere al tuo account Google.
Affinché un file robots.txt mancante sia un problema, anche il server dovrebbe essere configurato in modo errato. Quindi un robot potrebbe tentare di accedere al file e incontrare messaggi di errore insoliti, causando l'interruzione del processo. Ma questo caso è molto improbabile.
Se vuoi creare un file robots.txt, salvalo nella cartella principale del tuo server web. Se vuoi consentire a tutti di fare tutto, scrivi quanto segue:
Agente utente: *
Non consentire:
La riga "User-Agent" indica a chi si applica il divieto. * significa: per tutti. La riga "Disallow" esprime il divieto. Se non c'è altro significa che tutti gli accessi sono consentiti.
Maggiori informazioni sull'argomento:Su il sipario, ecco il tuo sito web: come creare un sito web con poco sforzo
