Aggressive AI Crawler und robots.txt

claudio

claudio

Geizhals und Resteverwerter, investiert in Tomaten
Beiträge
12.064
Lösungen
1
Ort
CH
Bassix
ß22.627
Ciao @Mac_News und @fabianb

wie in diesem Faden angedeutet https://www.bassic.de/threads/cannabis-legalisierung-schreitet-voran.14869563/post-17888200 scheinen gewisse cloudbasierte AI Crawler sich seit einiger Zeit nicht mehr um robots.txt zu kümmern und diese komplett zu ignorieren. Ich beobachte dies auch seit einigen Tagen bzw. Wochen auf eigener Infrastruktur und musste mir überlegen, diese Crawler per Regel im IDS zu bannen.

Ich weiss, dies ist nicht ein Fehler der Forumssoftware per se, sondern ein Regelverstoss seitens der "wilden" AI Crawler. Aber es kann als Folge davon vorkommen, dass Inhalt über den Umweg einer AI in Suchmaschinen auftaucht und indexiert wird, welcher eigentlich dafür exkludiert wurde. Daher bringt es (vorderhand) nichts, die Roboterregeln anzupassen, wenn man dies wirklich verhindern will oder muss, sind angepasste Firewall- oder IDS- Skripte gefragt.

Gruss
claudio
 
Zuletzt bearbeitet:
für alle, die das Thema interessiert, hier ein kleiner Essay:


Dies erklärt auch, weshalb man diese Unart an einem anderen Ort verhindern muss als wo es ursprünglich vorgesehen ist. Gleichzeitig erklärt dies auch meine Zweifel an der Redlichkeit von AI Firmen und Big Data Farmern.
 
Das erstaunliche für mich ist eigentlich, wenn man dem Artikel glauben darf, dann ist das 30 Jahre gut gegangen, weil sich alle an eine am Eingang aufgehängte Hausordnung gehalten haben.
Sowas wäre in der real world schon echt spooky. Stell Dir einen Bunker mit Proberäumen vor, alle Türen offen (meinetwegen ausser der Eingangstür), und an jedem Raum hängt ein Zettel, Heinz darf hier Harry aber nicht, Gina darf das Mikro mitbenutzen und Carla den Bass.
Ach so, ja, und jeder hält sich dran.
 
Das erstaunliche für mich ist eigentlich, wenn man dem Artikel glauben darf, dann ist das 30 Jahre gut gegangen, weil sich alle an eine am Eingang aufgehängte Hausordnung gehalten haben.
Aber es ist tatsächlich so.
nicht ganz alle haben sich daran gehalten. Spambots und Virenschleudern haben das auch ausgenutzt. Aber diese konnten relativ einfach identifiziert und blockiert werden, da die eigentlichen Zugriffe eindeutig bösartige Muster aufwiesen. Bei den AI Bots sind die Zugriffsmuster hingegen tendenziell nicht gross von gewünschten Mustern unterscheidbar.

Das Internet an sich wurde ohne kommerzielle Hintergedanken konzipiert. Viele der antiquiterten, jedoch robusten, teils immer noch benutzen, unsicher-vertrauensseligen Protokolle zeugen davon. Kommerzialisierung und Ganoventum habens schon lange im Visier, aber bis jetzt haben wir noch Pflästerchen ;-)
 
Zuletzt bearbeitet:
Guten Morgen zusammen!

gestern bei der gootze-Suche nach Horrorbass / Bilder bemerkt: die Bilder in diesem Faden erscheinen bei www Web.
Beiträge aus den geschützten Katakomben-Bereich meinst du?
ja,, aber auch, dass jeder Beitrag mit Bild den Such-Anfragen zur Verfügung steht

Danke für's Taggen erst mal. Verstehe ich das richtig, dass ihr meint, dass Inhalte aus den Katakomben von AI-Bots gecrawlt werden?
Also es gibt in der robots.txt die "dissallow" Anweisung, die auch gerne mal von neugierigen Bots ignoriert wird. Google und seriöse Bots sollten sich aber eigentlich daran halten.

Der Katakombenbereich ist aber nur für eingeloggte Mitglieder zugänglich. Das heißt es spiel erst mal keine Rolle, ob der Bereich auf dissalow/noindex/nofollow etc. steht, man braucht ein Konto, sonst kommt eine Fehlermeldung:
Screenshot 2024-07-15 at 09.14.52.png



Das heißt aber nicht, dass es keinen AI-Bot gibt, der nicht an der Anmelde-Hürde vorbeikommt. Wenn sich Spam-Bots registrieren (oder Accounts hacken) können, können das AI-Crawler sicher auch. Ich werde das mit dem Server-Admin mal besprechen, inwieweit wir dem entgegen wirken können.


1720799101219.png
Was aber das eine Bild betrifft, laut Google hat es ja verschiedene Quellen:
Screenshot 2024-07-15 at 09.10.32.png

Könnt ihr mir bitte mal ein konkretes Beispiel nennen, wo und was ihr genau sucht, damit etwas von den Katakomben sichtbar wird?
Am besten noch einen Screenshot machen, das wäre hilfreich.

Grüße
Fabian
 
Das Internet an sich wurde ohne kommerzielle Hintergedanken konzipiert.
Wenn man Tim Berners-Lee mal länger und genauer zuhört, bekommt man eine Idee/Ahnung, was damit eigentlich intendiert war.... und wie abstrus das ganze durch "die Tech-Firmen" mittlerweile konterkariert wird...:-P
Hoffen wir mal mit Dirk Baecker in seinen "Studien zur nächsten Gesellschaft", dass diese Entwicklung -wie viele andere aktuelle Trends und Phänomene- eine vorübergehende, notwendige Entwicklungsphase ist, um den möglichen Nutzen und die vorhandenen Chancen für möglichst viele zu realisieren..:-P
 
Zuletzt bearbeitet:


Zurück
Oben Unten