Conversation

Notices

1. ぽな (C.Ponapalt) (ponapalt@ukadon.shillest.net)'s status on Thursday, 23-Feb-2023 09:39:16 JST ぽな (C.Ponapalt)

   里々はもっと簡単にUTF-8かどうかの判定ができて、
   「全角の　＃＄＆（）＊０～９：＝＞＠＿　を示すUTF-8の3バイトの並びが出現したらUTF-8と判定」
   という条件で、BOMがなくてもほぼ100%判定できるのです。辞書でまあまず確実に使う記号だからね。

   UnicodeのHalfwidth and Fullwidth Formsの一部、UTF-8の並びでいくと
   EFBCxx (xx = 83.84.86,88,89,8a,90-9a,9d,9e,a0,bf)

   https://ukadon.shillest.net/@steve02081504/109911211034015304

   https://ukadon.shillest.net/@dullNeko/109909302712101775

   • ぽな (C.Ponapalt) (ponapalt@ukadon.shillest.net)'s status on Thursday, 23-Feb-2023 09:46:50 JST ぽな (C.Ponapalt)

     in reply to

     この並びがSJISで現れることはまずない（少なくともcp932ではありえなくて、SJIS2004であるらしいけど何それ食えるのという普及状態）ので、ほぼ確実な判定ができるわけです。

   • dullNeko (dullneko@ukadon.shillest.net)'s status on Thursday, 23-Feb-2023 10:41:02 JST dullNeko

     in reply to

     • steve

     @ponapalt @steve02081504
     fmm...

     （さとりすと２に限らず、里々の辞書扱うプログラムで）
     文字コードの判定処理組み込もうと思ったら、
     ぽなさんの方式（読み込む前にバイト並びチェック）で文字列探索する方が良い感じな気がする…

     BOM（0xEF 0xBB 0xBF）はついていない方が多いし（※私感です）
     BOMついていたら逆に誤動作する子もいたりするし…

     さとりすと２…というかC＃のSystem.IO.File.ReadAllTextと
     少なくとも SSP＆里々 1.166.8.1 の組み合わせなら
     BOM有/BOM無 の辞書ファイルが混在していても問題なく処理してくれますけれど…

     steve さんの "it's simply ugly" に同意する派です…。
     Shebang みたいに可視ならまだしも、不可視なのが…微妙にすっきりしない…