Instrumente SEO
Generator Robots.txt
Un fișier mic care este ușor de greșit catastrofal, așa că merită generat în loc să tastați.
- rulează în browser
- Nu s-a încărcat nimic
Instrumentul
Adăugați căile din care doriți să nu accesați crawlerele și adresa URL a sitemapului dvs.
Tot ceea ce introduceți rămâne pe propriul aparat. Nimic nu este trimis nouă sau nimănui altcineva, lucru pe care îl puteți confirma în fila de rețea a browserului.
Pentru ce îl folosesc oamenii
- Menținerea crawlerelor în afara paginilor de administrare, de coș și de rezultate ale căutării
- indicarea motoarelor de căutare către harta site-ului dvs
- Blocarea indexării unui întreg site de organizare
- revizuirea unui fișier robots.txt existent pentru erori evidente
- Producerea unui fișier de pornire pentru un site nou
Despre acest instrument
Singura regulă cu care trebuie să fii atent
Un fișier robots.txt care conține Disallow: / cere fiecărui crawler să ignore întregul site. Este la un singur caracter distanță de un fișier care nu blochează nimic și a eliminat mai multe site-uri din rezultatele căutării decât aproape orice altă greșeală.
Opțiunea există aici, deoarece site-urile de montaj au într-adevăr nevoie de ea, iar eticheta spune acest lucru clar. Verificați fișierul generat înainte de a-l încărca.
Ce nu face robots.txt
Se solicită ca crawlerele să rămână în afara. Nu ține o pagină în afara indexului atunci când alte site-uri leagă la ea și nu oferă nicio securitate: fișierul este public, așa că listarea unei căi sensibile îl face reclamă. Folosiți noindex pentru a ține paginile departe de rezultate și autentificarea pentru a ține oamenii departe.
Verificați-l după încărcare
Preluați-vă propriul robots.txt într-un browser după ce îl implementați. Crawlerele tratează un 404 sau tipul de conținut greșit ca fiind permisiunea de a accesa cu crawlere totul, care se potrivește sau nu cu intenția dvs.
Search Console și instrumentele echivalente arată, de asemenea, cum citesc fișierul, care merită verificat după orice modificare.
Este necesar ca acest lucru să fie tratat pe un întreg site web? Vezi noastre Servicii tehnice SEO pag.
Mai multe instrumente și servicii
- Verificator meta lungime pentru titluri și descrieri
- Verificator de densitate a cuvintelor cheie
- Generator de metaetichete
- Generator de marcaj Schema
- Generator de etichete Hreflang
Dacă preferați ca cineva să facă acest lucru corect pentru dvs., vă oferim Servicii de proiectare web și dezvoltare de site-uri web, Servicii SEO: Optimizare pentru motoarele de căutare, Agenția de automatizare AI.
Întrebări
Întrebări despre acest instrument
Lucrurile pe care clienții doresc de fapt să le știe — costuri, termene, proprietate și ce se întâmplă după lansare.
în rădăcina domeniului dvs., accesibil la /robots.txt. Nu va funcționa în altă parte.
Nu. Folosiți o etichetă noindex pentru asta. Robots.txt le cere crawlerilor să nu viziteze, ceea ce este diferit de a cere motoarele de căutare să nu facă listă.
Nu, și a-l trata ca pe unul este o greșeală. Fișierul este public, așa că listarea unei căi sensibile spune tuturor că există.
De obicei, da, pentru a economisi bugetul de accesare cu crawlere. Dar protejați-l cu autentificare, în loc să vă bazați pe acest fișier.
Cei de renume o fac. Cei rău intenționați îl ignoră în totalitate, ceea ce este un alt motiv pentru care nu este un control de securitate.
Sesiune de strategie gratuită
Să construim ceva ce merită găsit.
Spune-ne unde vrei să fie afacerea peste douăsprezece luni. Vom reveni cu un plan cu costuri, o cronologie realistă și cifrele pe care ne așteptăm să le mutam - fără obligații, fără jargon.
- 30-minut apel, fără pitch-deck
- propunere cu preț fix în 48 ore
- Dețineți tot ceea ce construim
Vorbește cu un dezvoltator
Nu este o echipă de vânzări
- Timp de răspuns
- în intervalul 1 oră de lucru
- Unde lucrăm
- Regatul Unit, SUA și Golful
- Contracte
- Fără blocare, rulare lunară
- De când lucrează
- 2023