KI Crawler und das neue Internet

Eine Auswertung von einer Woche Logfiles und ein Blick darauf, wohin das „neue“ Internet steuert. Der Anlass Inspiriert von einem Beitrag über das Thema KI-Crawler auf kaffeeringe.de wollte ich wissen wie auf meinen Domains die Lage ist. Ich betreibe auf einem YunoHost-Server bei IONOS mehrere Dienste: dieses Blog, Nextcloud, PeerTube, Funkwhale und ein paar kleinere Anwendungen. Das ist ein Hobby-Setup mit 2 CPU-Kernen und knapp 4 GB RAM. Als ich mir die Zugriffslogs der Woche vom 11. bis 18. Oktober 2026 angesehen habe, war ich überrascht, wer da eigentlich zu Besuch kommt. Die Zahlen Rund 1,74 Millionen Requests in einer Woche, also 250.000 bis 300.000 pro Tag. Davon entfielen über 1,4 Millionen auf mein PeerTube (tube.hamdorf.org). Das Blog selbst kam auf etwa 63.000. Der größte Einzelposten war ein Crawler namens Reflectionbot (reflection.ai) mit rund 570.000 Requests, ein Drittel des gesamten Traffics. Er hat systematisch jedes Video abgeklappert, und zwar nicht nur die Seite,…