Google открыл исходный код своего парсера для файла robots.txt, который используется для защиты и исключения некоторого контента из результатов поисковой выдачи.
Библиотека парсинга Google существует уже около 20 лет, но до сих пор не была задокументирована и практически не обновлялась. За это время компания узнала больше информации о том, как вебмастера заполняют robots.txt. Все эти знания легли в основу спецификации Robots Exclusion Protocol, которую Google на днях подала в Инженерный совет Интернета (IETF).
Официальная документация позволит вебмастерам правильно заполнить robots.txt и спрятать часть контента от поисковых роботов.
