Сіздің веб-сайтыңыздың түбірінде сақталған robots.txt файлы, іздеу қозғалтқышы сияқты, веб-роботтарына қандай каталогтар мен файлдарды тексеруге рұқсат етілетіндігін түсіндіреді. Robots.txt файлын пайдалану оңай, бірақ есте сақтау қажет кейбір нәрселер бар:
- Қара шляптың веб-роботтары сіздің robots.txt файлыңызды елемейді. Ең жиі кездесетін түрлер - зиянды бағдарламалық жасақтама боттар және роботтар, электрондық пошта мекенжайларын іздейді.
- Кейбір жаңа бағдарламашылар robots.txt файлын елемейтін роботтарды жазады. Бұл әдетте қателіктермен жасалады.
- Кез келген адам robots.txt файлын көре алады. Олар әрдайым robots.txt деп аталады және әрқашан веб-сайттың түбірінде сақталады.
- Ақырында, егер сіз robots.txt файлынан шығарылмаған бетке роботтар файлын шығарып тастаған файлға немесе каталогқа сілтеме жасасаңыз, оны іздестіру жүйелері бәрібір таба алады.
Маңызды нәрсені жасыру үшін robots.txt файлдарын пайдаланбаңыз. Оның орнына, маңызды ақпаратты құпия сөздердің артына қоюға немесе интернеттен толығымен қалдыруға тиіссіз.
Бұл үлгі файлдарын қалай пайдалануға болады
Мәтінді сіз жасаған нәрсеге ең жақын үлгіден көшіріп, оны robots.txt файлына қойыңыз. Роботты, каталогты және файл атауларын қалаған теңшелімге сәйкестендіру үшін өзгертіңіз.
Екі негізгі Robots.txt файлдары
Пайдаланушы-агент: *
Рұқсат етілмейді: /
Бұл файлда кез-келген робот (User-agent: *) сайтқа кіретін кез келген бетті ескермеуі керек (Disallow: /).
Пайдаланушы-агент: *
Рұқсат етілмейді:
Бұл файлда кез-келген робот (User-agent: *) сайтқа кіретін кез келген бетті қарауға рұқсат етілген (Disallow:).
Сондай-ақ, бұл сіздің robots.txt файлын бос қалдырып, немесе сіздің сайтыңыздың ешқайсысында болмауы арқылы жасауға болады.
Роботтардан арнайы каталогтарды қорғаңыз
Пайдаланушы-агент: *
Рұқсат етілмейді: / cgi-bin /
Тыйым салу: / temp /
Бұл файлға қатынайтын кез-келген робот (User-agent: *) / cgi-bin / және / temp / (Disallow: / cgi-bin / Disallow: / temp /) каталогтарын елемеуі керек.
Роботтардан арнайы беттерді қорғау
Пайдаланушы-агент: *
Рұқсат етілмейді: /jenns-stuff.htm
Рұқсат етілмейді: /private.php
Бұл файлға қатынайтын кез-келген робот (User-agent: *) файлдар /jenns-stuff.htm және /private.php (Disallow: /jenns-stuff.htm Disallow: /private.php) файлдарын елемеуі керек.
Арнайы роботты сіздің сайтқа кіруге жол бермеңіз
Пайдаланушы-агент: Lycos / xx
Рұқсат етілмейді: /
Бұл файл Lycos bot (User-agent: Lycos / xx) сайттың кез-келген жеріне кіруге рұқсат берілмейді (Disallow: /).
Бір ғана арнайы роботқа қол жеткізуге рұқсат беріңіз
Пайдаланушы-агент: *
Рұқсат етілмейді: /
Пайдаланушы-агент: Googlebot
Рұқсат етілмейді:
Бұл файл бірінші кезекте жоғарыда көрсетілгендей барлық роботтарға тыйым салады, содан кейін Googlebot (User-agent: Googlebot) барлық нәрсеге қолжетімділікке рұқсат береді (Disallow:).
Өзіңіз қалаған ерекшеліктерді алу үшін бірнеше сызықты біріктіріңіз
Пайдаланушы-агент: * сияқты өте инклюзивті User-agent сызығын пайдалану жақсы болғанымен, сіз өзіңізге тән болуы мүмкін. Есіңізде болсын, роботтар файлды тәртіппен оқиды. Сондықтан егер бірінші жолда барлық роботтардан бәрі бұғатталған болса, кейінірек файлда барлық роботтарға қол жеткізуге рұқсат етілгенін айтса, роботтар бәріне қол жеткізе алады.
Егер сіздің robots.txt файлыңызды дұрыс жазғаныңызға сенімді болмасаңыз, robots.txt файлын тексеруге немесе жаңасын жазу үшін Google Webmaster Tools бағдарламасын пайдалануға болады.