Public
- Public
- Network
- Groups
- Popular
- People

Conversation

Notices

おしり (oshiri@misskey.nukumori-sky.net)'s status on Thursday, 29-Feb-2024 15:37:50 JST おしり

はえー

驚異の1ビットLLMを試す。果たして本当に学習できるのか?｜shi3z @shi3z #note https://note.com/shi3zblog/n/n58b0a2252727?sub_rt=share_b
In conversation about 9 months ago from misskey.nukumori-sky.net permalink
Attachments
1. 驚異の1ビットLLMを試す。果たして本当に学習できるのか?｜shi3z
  
  昨日話題になった「BitNet」という1ビットで推論するLLMがどうしても試したくなったので早速試してみた。 BitNetというのは、1ビット(-1,0,1の三状態を持つ)まで情報を削ぎ落とすことで高速に推論するというアルゴリズム。だから正確には0か1かではなく、-1か0か1ということ。この手法の行き着くところは、GPUが不要になり新しいハードウェアが出現する世界であると予言されている。マジかよ。 https://arxiv.org/pdf/2402.17764.pdf ということで早速試してみることにした。オフィシャルの実装は公開されていないが、そもそも1ビット(と言って
- PYU（ぬくもりすきー管理人） likes this.

Feeds