Remaining 16570026/16581506。クローラのメモリ利用量は90%弱。進捗率0.07%。どうしようかねえ…
Notices by zunda (zundan@mastodon.zunda.ninja), page 7
-
zunda (zundan@mastodon.zunda.ninja)'s status on Friday, 07-Jul-2023 12:25:06 JST zunda -
zunda (zundan@mastodon.zunda.ninja)'s status on Friday, 07-Jul-2023 12:25:04 JST zunda Remaining 16651126/16662631。24時間過ぎました。今回の収集はそろそろ止めますね。
-
zunda (zundan@mastodon.zunda.ninja)'s status on Friday, 07-Jul-2023 12:25:02 JST zunda 収集した情報(未チェックサーバのリスト)の書き出しに分単位で時間がかかっております。辿る世代数を制限するべきかなあ。
-
zunda (zundan@mastodon.zunda.ninja)'s status on Friday, 07-Jul-2023 12:24:59 JST zunda ぎゃー。activitypub-trollにやられていました。ブロックリストを用意しておくべきだった…
-
zunda (zundan@mastodon.zunda.ninja)'s status on Friday, 07-Jul-2023 12:24:57 JST zunda いくつかのドメインを排除して再開。
Remaining 49710/61213
これならなんとかなるかも…
-
zunda (zundan@mastodon.zunda.ninja)'s status on Friday, 07-Jul-2023 12:24:55 JST zunda Remaining 51617/63896
進捗しんちょく…って分子も分母も増えとるw
-
zunda (zundan@mastodon.zunda.ninja)'s status on Friday, 07-Jul-2023 12:24:53 JST zunda Remaining 51060/65018 79%
タイムアウトを厳しくしました。さくさくやってこ…
-
zunda (zundan@mastodon.zunda.ninja)'s status on Friday, 07-Jul-2023 12:24:51 JST zunda Remaining 129063/156366 83%
んぎゃー増えてる
-
zunda (zundan@mastodon.zunda.ninja)'s status on Friday, 07-Jul-2023 12:24:48 JST zunda Remaining 126000/155937 81%
もうちょい整理した
-
zunda (zundan@mastodon.zunda.ninja)'s status on Friday, 07-Jul-2023 12:24:45 JST zunda 今まで教えてもらった分
$ awk -F\\t '!/^#/{print $2}' ~/local/src/ap-stat/apstat-20230705.tsv | sort | uniq -c | sort -nr | head
15687 *
9340 mastodon
1020 pleroma
697 misskey
503 akkoma
382 peertube
350 gotosocial
320 calckey
283 friendica
282 wordpress -
zunda (zundan@mastodon.zunda.ninja)'s status on Friday, 07-Jul-2023 12:24:43 JST zunda これまでmonthly active user数(MAU)を教えてくれたActivityPubサーバのうち半分弱がMAUが1以下、80%が10人以下、95%弱が100人以下のようです。言うほど大きいサーバだけに偏ってはいない気がするな。
-
zunda (zundan@mastodon.zunda.ninja)'s status on Friday, 07-Jul-2023 12:24:40 JST zunda Remaining 118071/155968 76%
残り80%未満になってた!!
-
zunda (zundan@mastodon.zunda.ninja)'s status on Friday, 07-Jul-2023 12:24:37 JST zunda crawl-activitypub.rb:149:in `queue': undefined method `split' for nil:NilClass (NoMethodError)
domain = domain.chomp.split("@").last.split("/").first.downcase
きゃー
-
zunda (zundan@mastodon.zunda.ninja)'s status on Friday, 07-Jul-2023 12:24:35 JST zunda peersのリストに空文字列を含めてくださるw
-
zunda (zundan@mastodon.zunda.ninja)'s status on Friday, 07-Jul-2023 12:24:32 JST zunda Remaining 30886/69704 44%
ついでにブロックするドメインを増やしたらすんごい進捗が発生 :tada:
-
zunda (zundan@mastodon.zunda.ninja)'s status on Friday, 07-Jul-2023 12:24:31 JST zunda Remaining 8994/69855 13%
がんばえがんばえ!!
-
zunda (zundan@mastodon.zunda.ninja)'s status on Friday, 07-Jul-2023 12:24:29 JST zunda Remaining 5952/69858 9%
よーっしよーっし。世界に存在している/していたActivityPubサーバは70000弱くらいなんだね。このうちnodeinfo v2を得られなかったのは40000強 (60%)くらい。けっこうな割合で今も生きてる。
-
zunda (zundan@mastodon.zunda.ninja)'s status on Friday, 07-Jul-2023 12:24:27 JST zunda *.herokuapp.comとか*.sakura.ne.jpとかで動いていたサーバもいくつかあるんだねえ
-
zunda (zundan@mastodon.zunda.ninja)'s status on Friday, 07-Jul-2023 12:24:26 JST zunda .onionさんは、うーん、まいっか
-
zunda (zundan@mastodon.zunda.ninja)'s status on Friday, 07-Jul-2023 12:24:25 JST zunda Remaining 1/69877 0% checking mastodon...
Writing data...doneおわったー!!