BubblesBot BubblesBot ruft die RSS- und Atom-Feeds der Blogs ab, die auf Bubbles gelistet sind. Links folgt er nicht, und er crawlt keine Websites. User-Agent Mozilla/5.0 (compatible; BubblesBot/1.0; +https://bubbles.town) IP-Adressen 178.104.58.164 2a01:4f8:1c19:7e5::1 Jede Anfrage kommt von einer dieser beiden Adressen. Trägt eine Anfrage unseren User-Agent und kommt von woanders, stammt sie von jemand anderem. Was er abruft Den Feed jedes gelisteten Blogs. Ein Blog mit einem Beitrag in der letzten Woche wird alle 15 Minuten abgefragt, ruhigere Blogs seltener, bis hinunter zu einmal alle 6 Stunden. Die Anfragen tragen If-None-Match und If-Modified-Since, ein unveränderter Feed lässt sich also mit einem 304 ohne Inhalt beantworten. Die /robots.txt jedes Hosts. Die URLs bereits gelisteter Beiträge per HEAD-Anfrage, um gelöschte Beiträge zu bemerken. Antwortet ein Beitrag mit 404 oder 410, verschwindet er von Bubbles. Die Startseite jedes gelisteten Blogs, ein- bis zweimal am Tag, um das Meta-Tag bubbles:fediverse zu finden. Was Bubbles von einem Beitrag zeigt (Auszug, Lesezeit, der Inhalt in unseren eigenen Feeds), stammt aus deinem Feed. Bei Artikelseiten wird nur geprüft, ob es sie noch gibt, ihr Inhalt wird nicht gelesen. robots.txt BubblesBot liest die robots.txt, bevor er etwas anderes von deiner Seite abruft. Die Regeln gelten für Feeds, Beitrags-URLs und die Startseite gleichermaßen. Gibt es eine Gruppe für BubblesBot, gilt sie, sonst die Gruppe *. Allow, Disallow und die Platzhalter * und $ werden unterstützt, die längste passende Regel gewinnt. Fehlt die Datei oder lässt sie sich nicht laden, geht BubblesBot von keinen Einschränkungen aus. BubblesBot erlauben, während andere Bots gesperrt bleiben: User-agent: BubblesBot Allow: / BubblesBot aussperren: User-agent: BubblesBot Disallow: / Die zwei Zeilen brauchen einen eigenen Block außerhalb der *-Gruppe. Ob sie live sind, zeigt deinedomain.tld/robots.txt im Browser. Verbieten die Regeln deinen Feed, wird der Blog beim nächsten Abruf deaktiviert und erscheint nicht mehr auf Bubbles. Das gilt auch für ein pauschales Disallow: / unter User-agent: *, das Bear Blog, Blogspot und einige Wordpress-Privacy-Plugins ab Werk setzen. Ein Feed, der in Feedly, Inoreader oder NetNewsWire läuft, kann für uns trotzdem gesperrt sein, weil die meisten Feed-Reader die robots.txt gar nicht lesen. Ein deaktivierter Blog kommt nicht von selbst zurück, wenn die Sperre fällt. Schreib uns, dann nehmen wir ihn wieder auf. Kontakt Macht BubblesBot auf deiner Seite Ärger, oder soll dein Blog entfernt oder wieder aufgenommen werden, schreib an hello@bubbles.town.
