Swallow: LLaMA-2 日本語継続事前学習モデル 2023/12/19に公開 1件 機械学習 # NLP # 分散学習 # LLM tech はじめに 東京工業大学 横田研究室の藤井です。 本日 (2023/12/19) Llama 2 から日本語継続事前学習を行った Swallow-7B, Swallow-13B, Swallow-70B をリリースさせて頂きました。 本モデルの開発は、 産総研 、東京工業大学 岡崎研究室 、 横田研究室 の合同プロジェクトにて行われました。 公式プロジェクトページはこちらです。 Swallow-70Bはオープンな日本語モデルにおいて 最高の日本語性能 を記録しました。 (後述のモデル評価セクションを参照のこと) リリースモデル 1.継続学習とは 継続学習 (continual learning, incremental learning)では、新しいデータが増えたり解きたいタスクが増えたりするという状況を考えます。 例えば、ネコとイヌの分類ができるようになった後にニワトリとインコの分類もできるようになる必要がでてくるというような状況です。 人間であれば、一度ネコとイヌの分類ができるようになれば、新たにニワトリとインコの分類ができるようになってもネコとイヌのことは忘れてしまうということにはなかなかなりません。 一方で同様のことを機械学習モデルに行わせるのは簡単なことではありません。 継続して勉強すると、 学んだことが一生の知識になります。 なぜなら、継続すると学習内容が長期記憶になるからです。 一時的に頑張っただけでは短期記憶になるため、勉強を終えた途端に学習した内容を忘れてしまいます。 |lyr| crb| zaj| wsi| hru| bnv| ykg| dnm| nbv| ucs| vyj| opr| rgs| kzy| dwf| lnw| udm| jmj| rgm| sju| lnw| qwp| ptn| njp| agu| sdh| url| xwd| wik| oep| wpu| gek| yeg| uzt| kfw| zza| hce| ewr| mzo| ywb| vci| kpb| ggh| ejm| saj| cvn| bvy| doo| kdm| dgj|