![claudio](/data/avatars/m/10/10855.jpg?1725316382)
claudio
Geizhals und Resteverwerter, investiert in Tomaten
Ciao @Mac_News und @fabianb
wie in diesem Faden angedeutet https://www.bassic.de/threads/cannabis-legalisierung-schreitet-voran.14869563/post-17888200 scheinen gewisse cloudbasierte AI Crawler sich seit einiger Zeit nicht mehr um robots.txt zu kümmern und diese komplett zu ignorieren. Ich beobachte dies auch seit einigen Tagen bzw. Wochen auf eigener Infrastruktur und musste mir überlegen, diese Crawler per Regel im IDS zu bannen.
Ich weiss, dies ist nicht ein Fehler der Forumssoftware per se, sondern ein Regelverstoss seitens der "wilden" AI Crawler. Aber es kann als Folge davon vorkommen, dass Inhalt über den Umweg einer AI in Suchmaschinen auftaucht und indexiert wird, welcher eigentlich dafür exkludiert wurde. Daher bringt es (vorderhand) nichts, die Roboterregeln anzupassen, wenn man dies wirklich verhindern will oder muss, sind angepasste Firewall- oder IDS- Skripte gefragt.
Gruss
claudio
wie in diesem Faden angedeutet https://www.bassic.de/threads/cannabis-legalisierung-schreitet-voran.14869563/post-17888200 scheinen gewisse cloudbasierte AI Crawler sich seit einiger Zeit nicht mehr um robots.txt zu kümmern und diese komplett zu ignorieren. Ich beobachte dies auch seit einigen Tagen bzw. Wochen auf eigener Infrastruktur und musste mir überlegen, diese Crawler per Regel im IDS zu bannen.
Ich weiss, dies ist nicht ein Fehler der Forumssoftware per se, sondern ein Regelverstoss seitens der "wilden" AI Crawler. Aber es kann als Folge davon vorkommen, dass Inhalt über den Umweg einer AI in Suchmaschinen auftaucht und indexiert wird, welcher eigentlich dafür exkludiert wurde. Daher bringt es (vorderhand) nichts, die Roboterregeln anzupassen, wenn man dies wirklich verhindern will oder muss, sind angepasste Firewall- oder IDS- Skripte gefragt.
Gruss
claudio
Zuletzt bearbeitet: