PerplexityはWebをクロールする時に、robot.txtを無視してクロールしていますか？
Sources
View 2 more
Answer
はい、PerplexityはWebをクロールする際に、robots.txtの指示を無視してクロールしていることが報告されています。具体的には、Perplexityのクローラー「PerplexityBot」が、ウェブサイト管理者がrobots.txtファイルでクロールを禁止しているにもかかわらず、これを無視して情報を収集していることが明らかになっています。
More on this
perplexityはどのようにしてrobots.txtを無視しているのか
perplexityのクローラーは他のAIとどう違うのか
robots.txtを無視することは法律的に問題になるのか