Роботика

Google актуализира Robots Exclusion Protocol

Иван Гайдаров

Google предлaгa официален интернет стандарт за правилата, включени във файловете от типа robots.txt. Тези правила, описани в протокола REP (Robots Exclusion Protocol), реално са неофициален стандарт в последните 25 години и макар че той е приет от търсачките, все още не е официален, което означава, че е отворен за разнообразно тълкуване от страна разработчиците. Освен това тези правила никога не са били актуализирани, за да обхванат и днешните случаи на употреба.

Според Google това създава предизвикателства за собствениците на уебсайтове, тъй като двусмисленият, де-факто стандарт прави трудно правилното написване на правилата. За да промени това, най-голямата търсачка е документирала как се използва REP в съвременната мрежа и е изпратила анализите си за преглед на Internet Engineering Task Force (IETF), организация, която разработва и популяризира доброволни интернет стандарти.

Google обяснява какви точно правила с включени в черновата на стандарта. "Предложеният проект за REP отразява над 20-годишния опит на реалния свят с употребата на robots.txt правилата, използвани както от Googlebot, така и от други големи търсачки, както и от около половин милиард уебсайта, които разчитат на този стандарт. Тези фини контроли осигуряват на издателите правото да решават как биха искали да бъдат обхождани сайтовете им и евентуално какво да се показва на заинтересованите потребители", пишат от интернет гиганта.

Проектът не променя нито едно от правилата, създадени през 1994 г., а просто ги актуализират.




© Ай Си Ти Медиа ЕООД 1997-2019 съгласно Общи условия за ползване

X