クローリング進んでます。939639サーバ中936468サーバ未完了orz
Conversation
Notices
-
zunda (zundan@mastodon.zunda.ninja)'s status on Friday, 07-Jul-2023 12:25:16 JST zunda -
zunda (zundan@mastodon.zunda.ninja)'s status on Friday, 07-Jul-2023 12:24:24 JST zunda というわけで、ActivityPubサーバの大きさ分布の調査が1段落しました。Twitterからの流入の多かった時期の測定ということになります。Monthly active user分布が来月までにどう変化するのか楽しみ。
https://gist.github.com/zunda/f566e2bb85ca0616d351139363274ec5 でmastodon.zunda.ninjaを起点として連合しているサーバについて順に情報を収集しました。合計69877サーバの/.well-known/nodeinfoにGETリクエストを送ってnodeinfo v2.0のマッピングを受け取り、そこへのGETに返事をくれたのは24133サーバ(1/3くらい)、MAUを教えてくれたのは18371サーバ(1/4くらい)でした。
グラフは、MAUが1以上だったサーバ(合計16444)の数を小さい順に数えたものです。MAUが2人までのサーバがだいたい半分、10人までのサーバが80%強、100人までのサーバが95%くらいを占めてるようです。
Twitterからの流入が一段落したころに調査して、大きさ分布の変化をみてみたいところです。わくわく。
-
zunda (zundan@mastodon.zunda.ninja)'s status on Friday, 07-Jul-2023 12:24:25 JST zunda Remaining 1/69877 0% checking mastodon...
Writing data...doneおわったー!!
DozingCat :vivaldi_gray: repeated this. -
zunda (zundan@mastodon.zunda.ninja)'s status on Friday, 07-Jul-2023 12:24:26 JST zunda .onionさんは、うーん、まいっか
-
zunda (zundan@mastodon.zunda.ninja)'s status on Friday, 07-Jul-2023 12:24:27 JST zunda *.herokuapp.comとか*.sakura.ne.jpとかで動いていたサーバもいくつかあるんだねえ
-
zunda (zundan@mastodon.zunda.ninja)'s status on Friday, 07-Jul-2023 12:24:29 JST zunda Remaining 5952/69858 9%
よーっしよーっし。世界に存在している/していたActivityPubサーバは70000弱くらいなんだね。このうちnodeinfo v2を得られなかったのは40000強 (60%)くらい。けっこうな割合で今も生きてる。
-
zunda (zundan@mastodon.zunda.ninja)'s status on Friday, 07-Jul-2023 12:24:31 JST zunda Remaining 8994/69855 13%
がんばえがんばえ!!
-
zunda (zundan@mastodon.zunda.ninja)'s status on Friday, 07-Jul-2023 12:24:32 JST zunda Remaining 30886/69704 44%
ついでにブロックするドメインを増やしたらすんごい進捗が発生 :tada:
-
zunda (zundan@mastodon.zunda.ninja)'s status on Friday, 07-Jul-2023 12:24:35 JST zunda peersのリストに空文字列を含めてくださるw
-
zunda (zundan@mastodon.zunda.ninja)'s status on Friday, 07-Jul-2023 12:24:37 JST zunda crawl-activitypub.rb:149:in `queue': undefined method `split' for nil:NilClass (NoMethodError)
domain = domain.chomp.split("@").last.split("/").first.downcase
きゃー
-
zunda (zundan@mastodon.zunda.ninja)'s status on Friday, 07-Jul-2023 12:24:40 JST zunda Remaining 118071/155968 76%
残り80%未満になってた!!
-
zunda (zundan@mastodon.zunda.ninja)'s status on Friday, 07-Jul-2023 12:24:43 JST zunda これまでmonthly active user数(MAU)を教えてくれたActivityPubサーバのうち半分弱がMAUが1以下、80%が10人以下、95%弱が100人以下のようです。言うほど大きいサーバだけに偏ってはいない気がするな。
-
zunda (zundan@mastodon.zunda.ninja)'s status on Friday, 07-Jul-2023 12:24:45 JST zunda 今まで教えてもらった分
$ awk -F\\t '!/^#/{print $2}' ~/local/src/ap-stat/apstat-20230705.tsv | sort | uniq -c | sort -nr | head
15687 *
9340 mastodon
1020 pleroma
697 misskey
503 akkoma
382 peertube
350 gotosocial
320 calckey
283 friendica
282 wordpress -
zunda (zundan@mastodon.zunda.ninja)'s status on Friday, 07-Jul-2023 12:24:48 JST zunda Remaining 126000/155937 81%
もうちょい整理した
-
zunda (zundan@mastodon.zunda.ninja)'s status on Friday, 07-Jul-2023 12:24:51 JST zunda Remaining 129063/156366 83%
んぎゃー増えてる
-
zunda (zundan@mastodon.zunda.ninja)'s status on Friday, 07-Jul-2023 12:24:53 JST zunda Remaining 51060/65018 79%
タイムアウトを厳しくしました。さくさくやってこ…
-
zunda (zundan@mastodon.zunda.ninja)'s status on Friday, 07-Jul-2023 12:24:55 JST zunda Remaining 51617/63896
進捗しんちょく…って分子も分母も増えとるw
-
zunda (zundan@mastodon.zunda.ninja)'s status on Friday, 07-Jul-2023 12:24:57 JST zunda いくつかのドメインを排除して再開。
Remaining 49710/61213
これならなんとかなるかも…
-
zunda (zundan@mastodon.zunda.ninja)'s status on Friday, 07-Jul-2023 12:24:59 JST zunda ぎゃー。activitypub-trollにやられていました。ブロックリストを用意しておくべきだった…
-
zunda (zundan@mastodon.zunda.ninja)'s status on Friday, 07-Jul-2023 12:25:02 JST zunda 収集した情報(未チェックサーバのリスト)の書き出しに分単位で時間がかかっております。辿る世代数を制限するべきかなあ。
-
zunda (zundan@mastodon.zunda.ninja)'s status on Friday, 07-Jul-2023 12:25:04 JST zunda Remaining 16651126/16662631。24時間過ぎました。今回の収集はそろそろ止めますね。
-
zunda (zundan@mastodon.zunda.ninja)'s status on Friday, 07-Jul-2023 12:25:06 JST zunda Remaining 16570026/16581506。クローラのメモリ利用量は90%弱。進捗率0.07%。どうしようかねえ…
-
zunda (zundan@mastodon.zunda.ninja)'s status on Friday, 07-Jul-2023 12:25:08 JST zunda Remaining 15893016/15904146…クロールするたびサーバ増えるね!(どうしよう…
-
zunda (zundan@mastodon.zunda.ninja)'s status on Friday, 07-Jul-2023 12:25:10 JST zunda Remaining 7010075/7018940…桁増えてるし…
-
zunda (zundan@mastodon.zunda.ninja)'s status on Friday, 07-Jul-2023 12:25:12 JST zunda awk -F\\t '!/^#/{print $2}' ~/local/src/ap-stat/apstat-20230703.tsv | sort | uniq -c | sort -nr
2484 *
499 mastodon
85 pleroma
28 misskey
27 friendica
25 akkoma
11 gotosocial
9 peertube
6 hometown
4 writefreely
4 wordpress
4 pixelfed
4 calckey
2 gnusocial
1 wxwClub
1 twista
1 pub-relay
1 plume
1 microblogpub
1 meisskey
1 hubzilla
1 bookwyrm
1 birdsiteliveほむほむ(*は何かのエラーでnodeinfoをもらえなかったもの)
-
zunda (zundan@mastodon.zunda.ninja)'s status on Friday, 07-Jul-2023 12:25:14 JST zunda おー!連合先にwordpressさんも居る
-