Aggressive AI Crawler und robots.txt

[claudio]

Ciao @Mac_News und @fabianb

wie in diesem Faden angedeutet https://www.bassic.de/threads/cannabis-legalisierung-schreitet-voran.14869563/post-17888200 scheinen gewisse cloudbasierte AI Crawler sich seit einiger Zeit nicht mehr um robots.txt zu kümmern und diese komplett zu ignorieren. Ich beobachte dies auch seit einigen Tagen bzw. Wochen auf eigener Infrastruktur und musste mir überlegen, diese Crawler per Regel im IDS zu bannen.

Ich weiss, dies ist nicht ein Fehler der Forumssoftware per se, sondern ein Regelverstoss seitens der "wilden" AI Crawler. Aber es kann als Folge davon vorkommen, dass Inhalt über den Umweg einer AI in Suchmaschinen auftaucht und indexiert wird, welcher eigentlich dafür exkludiert wurde. Daher bringt es (vorderhand) nichts, die Roboterregeln anzupassen, wenn man dies wirklich verhindern will oder muss, sind angepasste Firewall- oder IDS- Skripte gefragt.

Gruss
claudio

 

[Mac_News]

Merci, Fabian wird es prüfen …

Gruß
Martin

 

[claudio]

für alle, die das Thema interessiert, hier ein kleiner Essay:

The rise and fall of robots.txt

As unscrupulous AI companies crawl for more and more data, the basic social contract of the web is falling apart.

www.theverge.com

Dies erklärt auch, weshalb man diese Unart an einem anderen Ort verhindern muss als wo es ursprünglich vorgesehen ist. Gleichzeitig erklärt dies auch meine Zweifel an der Redlichkeit von AI Firmen und Big Data Farmern.

 

[whitewater]

Das erstaunliche für mich ist eigentlich, wenn man dem Artikel glauben darf, dann ist das 30 Jahre gut gegangen, weil sich alle an eine am Eingang aufgehängte Hausordnung gehalten haben.
Sowas wäre in der real world schon echt spooky. Stell Dir einen Bunker mit Proberäumen vor, alle Türen offen (meinetwegen ausser der Eingangstür), und an jedem Raum hängt ein Zettel, Heinz darf hier Harry aber nicht, Gina darf das Mikro mitbenutzen und Carla den Bass.
Ach so, ja, und jeder hält sich dran.

 

[bassmeta]

Aber es ist tatsächlich so.

 

[claudio]

Das erstaunliche für mich ist eigentlich, wenn man dem Artikel glauben darf, dann ist das 30 Jahre gut gegangen, weil sich alle an eine am Eingang aufgehängte Hausordnung gehalten haben.

Aber es ist tatsächlich so.

nicht ganz alle haben sich daran gehalten. Spambots und Virenschleudern haben das auch ausgenutzt. Aber diese konnten relativ einfach identifiziert und blockiert werden, da die eigentlichen Zugriffe eindeutig bösartige Muster aufwiesen. Bei den AI Bots sind die Zugriffsmuster hingegen tendenziell nicht gross von gewünschten Mustern unterscheidbar.

Das Internet an sich wurde ohne kommerzielle Hintergedanken konzipiert. Viele der antiquiterten, jedoch robusten, teils immer noch benutzen, unsicher-vertrauensseligen Protokolle zeugen davon. Kommerzialisierung und Ganoventum habens schon lange im Visier, aber bis jetzt haben wir noch Pflästerchen

 

[beate]

nicht ganz alle haben sich daran gehalten. Spambots und Virenschleudern haben das auch ausgenutzt.

Und auch google bereitete immer wieder mal Probleme, die dazu zwangen, den Bot in der Zugriffs-Konfiguration auszusperren. Wenn man das wollte; man wollte ja auch gefunden werden.

 

[fabianb]

Guten Morgen zusammen!

gestern bei der gootze-Suche nach Horrorbass / Bilder bemerkt: die Bilder in diesem Faden erscheinen bei www Web.

Beiträge aus den geschützten Katakomben-Bereich meinst du?

ja,, aber auch, dass jeder Beitrag mit Bild den Such-Anfragen zur Verfügung steht

Danke für's Taggen erst mal. Verstehe ich das richtig, dass ihr meint, dass Inhalte aus den Katakomben von AI-Bots gecrawlt werden?
Also es gibt in der robots.txt die "dissallow" Anweisung, die auch gerne mal von neugierigen Bots ignoriert wird. Google und seriöse Bots sollten sich aber eigentlich daran halten.

Der Katakombenbereich ist aber nur für eingeloggte Mitglieder zugänglich. Das heißt es spiel erst mal keine Rolle, ob der Bereich auf dissalow/noindex/nofollow etc. steht, man braucht ein Konto, sonst kommt eine Fehlermeldung:

Das heißt aber nicht, dass es keinen AI-Bot gibt, der nicht an der Anmelde-Hürde vorbeikommt. Wenn sich Spam-Bots registrieren (oder Accounts hacken) können, können das AI-Crawler sicher auch. Ich werde das mit dem Server-Admin mal besprechen, inwieweit wir dem entgegen wirken können.



Was aber das eine Bild betrifft, laut Google hat es ja verschiedene Quellen:

Könnt ihr mir bitte mal ein konkretes Beispiel nennen, wo und was ihr genau sucht, damit etwas von den Katakomben sichtbar wird?
Am besten noch einen Screenshot machen, das wäre hilfreich.

Grüße
Fabian

 

[LaFaro]

Das Internet an sich wurde ohne kommerzielle Hintergedanken konzipiert.

Wenn man Tim Berners-Lee mal länger und genauer zuhört, bekommt man eine Idee/Ahnung, was damit eigentlich intendiert war.... und wie abstrus das ganze durch "die Tech-Firmen" mittlerweile konterkariert wird...

Weltrevolution mit drei Buchstaben: Wie ein Brite in der Schweiz das WWW erfand

Im August 1991 wurde in Genf die erste Website der Welt öffentlich gemacht. Es veränderte fast alles. Ein Blick zurück.

www.nzz.ch

Tim Berners-Lee: Er erfand das Internet – und benennt nun dessen größte Probleme - WELT

Einst erfand er das WWW, nun kämpft er für dessen Freiheit und Offenheit. Sir Tim Berners-Lee sorgt sich um die Zukunft des weltweiten Netzes – und hat dessen drei größte Feinde ausgemacht.

www.welt.de

Hoffen wir mal mit Dirk Baecker in seinen "Studien zur nächsten Gesellschaft", dass diese Entwicklung -wie viele andere aktuelle Trends und Phänomene- eine vorübergehende, notwendige Entwicklungsphase ist, um den möglichen Nutzen und die vorhandenen Chancen für möglichst viele zu realisieren..

 

[claudio]

Der Katakombenbereich ist aber nur für eingeloggte Mitglieder zugänglich.

gilt das auch für Attachments? Allerdings müsste da der Filehandle entweder bekannt sein oder dessen Hash erraten werden können.

 

[fabianb]

Ja, das gilt auch für Attachments. Um bei dem Beispiel mal zu bleiben, kannst du ja mal versuchen folgende URL zu öffnen:

https://www.bassic.de/attachments/1720799101219-png.818917/

Und dann bitte im Privat-Fenster (aka inkognito) - dort sollte es eine Fehlermeldung geben.

 

[claudio]

Fehlermeldung kommt wie vorgesehen.