AIクローラーはこのアプローチではなく、「⁠実際にはもっともバカげた方法 ―コミットごとにすべてをHTMLとしてレンダリングし、それを解析する」（⁠Ryabitsev）という方法を取っている。つまり「このコミットをHTMLにして」「⁠このコミットもHTMLにして」「⁠このdiffをHTMLにして」「⁠このフォークのこのコミットをHTMLにして」という要求を延々とサーバに送り続けるのだ。

なんでこんなAI/サーバーどっちにとっても手間な方法を取っているんだろう?

現在、git.kernel.orgにはランダムなコミットを表示してほしいというリクエストが1日あたり約600万件寄せられているという。うち66％はスクレイピングボットを防ぐためのしくみとして導入したAnubisチャレンジ（後述）で弾かれている

anubisちゃんで思ったより弾けているんだな(現時点は)

深刻化する“サイバー蝗害”―Linuxカーネルソースに群がる貪欲で超非効率な「AIイナゴ」たち | gihyo.jp https://gihyo.jp/article/2026/09/daily-linux-260909