LLMはリアルタイム学習しない、それはそうなんだけど、
- もともと食わせたデータがめちゃくちゃでかい
- あまりにでかすぎて人間から見ると注意散漫状態になってるように見える挙動を示す
- 散漫なのでなんの手も加えない0-shotだと割とぽんこつちゃんになる
ので、
- プロンプトでどこに注意を向けるかを書いて、どでかい知識の空間からどこを切り取るかを指示する
- API経由で呼び出してるなら、function calling(tool)を最大限に活用して、疑似的に内部でfew-shot相当の動きをさせる
あたりのお手軽な細工で相当テコ入れが可能だし、疑似的にリアルタイム学習しているような動きをさせることもできる。