Insamling
BostadsbolagskollenBot hämtar publika rapporter, pressmeddelanden och artiklar från bolag, pressdistributörer och namngivna nyhetspublicister. Den följer robots.txt och går aldrig bakom inloggning eller betalvägg. Blockera den med User-agent: BostadsbolagskollenBot och Disallow: / i robots.txt eller kontakta oss på [email protected].
Så arbetar roboten
Bostadsbolagskollen hämtar publika rapporter, pressmeddelanden och artiklar med en egen robot som identifierar sig som BostadsbolagskollenBot/1.0 och länkar till den här sidan. Roboten hämtar bara sidor över säker anslutning (https) från bolagens egna webbplatser, deras pressdistributörer och ett fåtal namngivna nyhetspublicister.
Innan en sida hämtas läses webbplatsens robots.txt. Sökvägar som är förbjudna för vår robot eller för alla robotar hämtas inte, och den fördröjning webbplatsen anger respekteras. Roboten hämtar få sidor i taget, väntar mellan varje anrop och laddar aldrig ned material bakom inloggning eller betalvägg. Den som vill begränsa hämtningen ytterligare kan blockera BostadsbolagskollenBot i sin robots.txt eller kontakta [email protected].