Conversation

Notices

1. 今も元気ハツラツ太郎 (haturatu@social.076.moe)'s status on Saturday, 15-Jul-2023 18:00:05 JST 今も元気ハツラツ太郎
   Unix板の書き込みとスレを全部保存しようとしても.tmpファイルでしか保存されないな…これ外部からdatファイル読み込んでるからウェブスクレイピングでうまくいかないのか…？ページ単体のだとかはやってたけどまるごとは初めて…
   諏訪子さんのとこの保存サイトでやると負荷掛かりそうで怖いから、有り難くうちの鯖に入れて動かしてみるか…
   • たかし (tak4@social.076.moe)'s status on Saturday, 15-Jul-2023 18:51:02 JST たかし

     in reply to
     wgetはどうですか? すでに試してダメならすみません。
   • 今も元気ハツラツ太郎 (haturatu@social.076.moe)'s status on Sunday, 16-Jul-2023 00:41:50 JST 今も元気ハツラツ太郎

     in reply to

     • たかし
     酒呑みから帰ってきたので今からちょっと試してみます…
     たかし likes this.
   • 今も元気ハツラツ太郎 (haturatu@social.076.moe)'s status on Sunday, 16-Jul-2023 01:56:08 JST 今も元気ハツラツ太郎

     in reply to
     駄目でしたわ…
     やっぱこういう事考えても2ch/5chのdatを読み込む掲示板スタイルはこれは凄いかもですね…
     よくよく考えてもウェブクロールで抜け道が見つからない…
     たかし likes this.
   • たかし (tak4@social.076.moe)'s status on Sunday, 16-Jul-2023 08:16:27 JST たかし

     in reply to
     あらら、保存できませんでしたか。仕組みが気になりますね。
     試したら、下のコマンドで html を取得できましたが、試してゐる URL が違ふかもしれないので、問題なければ教えてほしいです。
     
     板:
     wget https://mevius.5ch.net/unix/
     
     スレッド:
     wget https://mevius.5ch.net/test/read.cgi/unix/1682211057/
   • 今も元気ハツラツ太郎 (haturatu@social.076.moe)'s status on Sunday, 16-Jul-2023 17:28:38 JST 今も元気ハツラツ太郎

     in reply to

     • たかし
     保存されたhtmlをみても、外部からレスなどを読み込んでいる事に変わりはありませんでした…
     たぶんこれだとオフラインでは見れないかもです
     
     ということでこれをやったあとに閃いて、.datさえ取得できればいいのでは？と思いURL末尾の/l50を.datに全て置換して現在保存しています。
     ただ5chのdatファイルは独自で変換させないといけないこと思い出して、またひとクセありますね。
     https://info.5ch.net/index.php/Read.html
     たかし likes this.
   • 今も元気ハツラツ太郎 (haturatu@social.076.moe)'s status on Sunday, 16-Jul-2023 17:32:44 JST 今も元気ハツラツ太郎

     in reply to

     • たかし
     プラス、クラシックの表示が好きなのでその場合URLに/c/を挟むっぽいのでクラシック版も保存してみます。
     オール変換もうまくいったらミラーとしてdamepo.jpに載せようと思います。
   • たかし (tak4@social.076.moe)'s status on Sunday, 16-Jul-2023 19:20:35 JST たかし

     in reply to
     なるほど、2ch時代より複雜になつた氣がします。(わたしはあまり5chを見ません。)
     少し前に見たら、モナーの背景畫像が追加されてゐて驚きました。
     damepo.jp のドメインは2chや5chの情報を殘すのにピッタリですね。
     ブログを拝見しましたが、httrackは便利さうです。
   • 今も元気ハツラツ太郎 (haturatu@social.076.moe)'s status on Sunday, 16-Jul-2023 19:32:58 JST 今も元気ハツラツ太郎

     in reply to

     • たかし
     ありがとうございます
     今取得中で自動的に.datを読み込むと途中でread.cgiを読み込んで.htmlに変換してくれるようなので問題なく保存できそうです。
     ただ、さすが巨大掲示板群の一つと言わんばかりですが現状テキストメインなのに850MBほど…。
     現状では以下をミラーとして保存する予定で同時に動かすと規制掛かりそうなので、一つづつやる予定です。
     家具板
     ネットワーク板
     通信技術板
     資料
     ガイドライン
     自宅サーバ
     たかし likes this.