Conversation

Notices

1. かぐら (taka_hvc1@social.mikutter.hachune.net)'s status on Friday, 09-Aug-2024 07:55:07 JST かぐら

   OpenAIのAPI使って遊ぶの、金かかってめんどいなあと触ってなかったけど4o-mini安いらしい(伝え聞き)から使ってみたさがあるんだよな

   • ぽな (C.Ponapalt) (ponapalt@ukadon.shillest.net)'s status on Friday, 09-Aug-2024 07:55:07 JST ぽな (C.Ponapalt)

     in reply to

     @taka_hvc1

     ・4o-0806もアホみたいに安くなったので、全然気にしなくなった。何なら使う人によってはChatGPTサブスクよりAPI経由のほうが安くなると思うまである。

     ・4o-miniは3.5-turboと同じぐらいのレスポンスでそれなりの回答を出すので下働きに便利。あまりに安すぎて請求が何十円レベルしか来ない…

     こんな感じですかねえ（機材用意するのだるい怠惰派）

   • かぐら (taka_hvc1@social.mikutter.hachune.net)'s status on Friday, 09-Aug-2024 07:57:56 JST かぐら

     in reply to

     • ぽな (C.Ponapalt)

     @ponapalt 思った10倍ぐらいmini安かった、やってみるか…(サブスクすら加入してないので4oのリミットにすぐ当たる)

   • ぽな (C.Ponapalt) (ponapalt@ukadon.shillest.net)'s status on Friday, 09-Aug-2024 07:57:56 JST ぽな (C.Ponapalt)

     in reply to

     @taka_hvc1 gpt-4o-mini、同じ賢さのローカルLLM環境を維持しようと思ったら、電気代だけで負けるのでは説まである…

   • かぐら (taka_hvc1@social.mikutter.hachune.net)'s status on Friday, 09-Aug-2024 08:03:23 JST かぐら

     in reply to

     • ぽな (C.Ponapalt)

     @ponapalt 日本語性能で言ったらボロ負けしてるLLaMA3.1-8B(q8)でもVRAM16GBいりますからね(q4だと日本語性能が露骨に落ちる)…
     すぐ動けるようにつけっぱなしにしてたらそれはもうmini比ですごいお値段に

   • ぽな (C.Ponapalt) (ponapalt@ukadon.shillest.net)'s status on Friday, 09-Aug-2024 08:03:23 JST ぽな (C.Ponapalt)

     in reply to

     @taka_hvc1 しかもgpt-4o-miniは、ファインチューニングもさせてくれる…

     ローカルは自由であるというその一点がとても大事なのはわかるけれど、現実的な活用法といわれるとスンッってなる感じ😭