A Cloudflare szerint egy népszerű mesterséges intelligencia-alapú kereső úgy gyűjtögette össze az adatokat, mint egy észak-koreai hacker: mindent, ami a keze ügyébe került.

A Cloudflare elemzése szerint a Perplexity mesterséges intelligenciás keresője, a tiltások ellenére, botok segítségével pásztázza az oldalakat, hogy megszerezze a rajtuk található információkat és tartalmakat. Ezt a megállapítást egy weboptimalizációs és biztonsági szolgáltatásokat nyújtó amerikai techcég tette közzé.

Az internet tele van botokkal, amik végigfutnak minden oldalon, hogy összeszedjék, mi áll rajtuk, például azért, hogy berakhassák az oldalakat keresőkbe - ezek a crawlerök. Azonban nem mindenki szeretné, hogy minden bot átnézze az oldalát, ezért a fejlesztők beépítenek a weblapjukba egy robots.txt nevű fájlt, amiben leírják, hogy ha a crawler átmegy az oldalon, mit nézhet meg, mit indexálhat. Ez azonban a Cloudflare leírása szerint olyan, mint ha kiraknának egy kocsmába egy plakátot arról, hogy is kell viselkedni. Magának a plakátnak semmiféle hatalma nincs, de a jófej emberek megfelelően viselkednek, a rosszak meg nem, őket viszont így ki lehet zárni. Ha egy bot nem tartja magát a robots.txt-ben leírtakhoz, akkor az rossz fényt vet arra, aki küldte.

Sokan nem nézik jó szemmel, hogy az MI-alapú cégek crawleröket küldjenek az oldalaikra. Nemrégiben részletesen foglalkoztunk azzal, hogy miért is aggódnak ezzel kapcsolatban, és hogyan fenyegetheti ez a jövőben az internetet. Ennek következtében több ügyfél is meglepődve fordult a Cloudflare-hez, jelezve, hogy bár elvileg letiltották a crawler hozzáférését, a Perplexity mégis hozzáfér az oldalaik tartalmához. A techcég ennek megoldására új weboldalakat hozott létre, hogy alaposan letesztelje a helyzetet, és valóban: a tiltás ellenére a Perplexity zökkenőmentesen képes volt megmondani, mi található ezeken az oldalakon.

A Cloudflare vezérigazgatója nyilatkozata szerint a Perplexity hasonló taktikákat alkalmaz, mint az észak-koreai hekkerek. A cég elemzése alapján, ha a jól ismert és regisztrált botjaik működését akadályozzák, titkos crawlereket vetnek be, hogy így férjenek hozzá a weboldalakhoz. Ennek következményeként a Perplexity crawlereit eltávolították a hitelesített botok listájáról, és új megoldásokat integrálnak a rendszereikbe, hogy megelőzzék ezeknek az eszközöknek a működését.

Az elemzésre a Perplexity is reagált: a vállalat szerint az egész ügy csupán egy PR-trükk a Cloudflare részéről, és nem áll kapcsolatban a szabályokat megszegő crawlerrel. Állításuk szerint az MI-asszisztenseket nem szabadna ugyanúgy kezelni, mint a régebbi típusú botokat. Ez azonban nem az első alkalom, hogy hasonló vádakkal illetik a céget: tavaly több médium, köztük a Wired is beszámolt arról, hogy a Perplexity állítólag plagizálja a cikkeiket, és az MI-cég vezetője nem tudta pontosan meghatározni, mi is az a plágium.