LLM勉強会（LLM-jp） @llm_jp

LLM勉強会（LLM-jp）の公式アカウントです。 LLM勉強会では、自然言語処理および計算機システムの研究者が集まり大規模言語モデルの研究開発について定期的に情報共有を行っています。お問い合わせはウェブサイトの連絡先よりお願いします。 llm-jp.nii.ac.jp Joined September 2023

Tweets

47
Followers

2K
Following

0
Likes

0

LLM勉強会（LLM-jp） @llm_jp

2 weeks ago

LLM-jpモデルをベースに、Ai2により報告されたOLMo2中間学習の再現実験を行いました。同様のデータを用いた中間学習によりgsm8kで大きな性能向上を確認しました。さらにモデルスープも検証し、特にgsm8kで性能改善が得られました。詳しくは以下記事をご覧ください。 llm-jp.nii.ac.jp/ja/blog/blog-1…

0 16 61 9K 17

Download Image

LLM勉強会（LLM-jp） @llm_jp

2 months ago

『LLMの安全性シンポジウム2025』プログラムを公開しました。大学や研究機関に加え、企業やAISIでのLLMの安全性に関する多様な取り組みと知見を共有する初めての場となります。 ※現地・オンライン参加のいずれでも参加登録が必要です。詳細は下記ページをご確認ください。 llmc.nii.ac.jp/events/2025072…

0 8 24 3K 10

Download Image

LLM勉強会（LLM-jp） @llm_jp

2 months ago

大規模言語モデルを構築するための事前学習コーパスとして、LLM-jp Corpus v4 を公開しました。本コーパスは日本語6,880億トークンを含む総量19.5兆トークンからなるLLM-jp Corpusシリーズの最新版です。LLM-jpにおいて今後開発するモデルはこのコーパスを用いる予定です。 gitlab.llm-jp.nii.ac.jp/datasets/llm-j…

0 29 110 14K 39

LLM勉強会（LLM-jp） @llm_jp

3 months ago

LLM-jpモデルのラインナップに「LLM-jp-3.1」シリーズが追加されました。本シリーズでは、継続事前学習の追加およびinstruct4による事後学習の改善により、指示追従性が大幅に向上しています。詳細は以下サイトをご覧ください。 llmc.nii.ac.jp/topics/llm-jp-…

1 46 130 44K 47

LLM勉強会（LLM-jp） @llm_jp

4 months ago

LLM-jp では、2025年1月末から2月中旬にかけて、日本語 LLM を対象とした Chatbot Arena「LLM-jp Chatbot Arena」の試験運用を行い、そのログデータを HuggingFace にて公開しました。詳細は以下ブログを参照ください。 llm-jp.nii.ac.jp/ja/blog/blog-8…

0 14 35 4K 12

LLM勉強会（LLM-jp） @llm_jp

5 months ago

大規模日本語コーパスで学習された最大トークン長8192のBERTモデルであるllm-jp-modernbertを公開しました。トークナイザにはllm-jp-tokenizer v3、学習データはllm-jp-corpus-v4 の日本語サブセット (約0.69Tトークン)を使用しています。詳細は以下を参照ください。 llm-jp.nii.ac.jp/news/post-765/

0 23 81 19K 25

LLM勉強会（LLM-jp） @llm_jp

5 months ago

LLM-jp では初の MoE (Mixture of Experts) モデルシリーズとなる 8×1.8B と 8x13B の2つのモデルを新たにリリースしました。ベースモデル、チューニング済みモデルともに Apache License 2.0 のもとで提供されています。詳細は以下をご参照ください。 llmc.nii.ac.jp/topics/llm-jp-…

0 28 76 31K 17

LLM勉強会（LLM-jp） @llm_jp

5 months ago

LLM-jp は今後公開する成果物のライセンスに関して、原則として制限付きライセンスを採用しないことを新たに指針として策定しました。今後はこの指針に則ってライセンス等を定めることとします。詳細は以下の記事をご参照ください。 llm-jp.nii.ac.jp/blog/2025/03/2…

0 42 148 30K 24

LLM勉強会（LLM-jp） @llm_jp

6 months ago

LLM-jpでの研究成果が、言語処理学会第31回年次大会(NLP2025)にて、優秀賞1件、若手奨励賞1件、委員特別賞2件を受賞しました。

0 6 41 5K 4

Download Image

LLM勉強会（LLM-jp） @llm_jp

6 months ago

LLM-jpでの研究成果が、第263回自然言語処理研究発表会にて、若手奨励賞1件を受賞しました。

0 2 6 1K 0

Download Image

LLM勉強会（LLM-jp） @llm_jp

7 months ago

LLM-jp Chatbot Arena を公開しました。 chatbot-arena.apps.llmc.nii.ac.jp LLM-jp-3 172Bを含む計10モデルと会話できます。収集したデータは LLM-jp から公開予定です。 2/11 (火) 9:00 までの稼働を予定しています。短い期間ですが、ぜひお試しください。

0 29 66 21K 19

LLM-jp-3シリーズに150M、440M、980M、7.2Bのモデルが追加されました。また、LLM-jp-3 シリーズの全ベースモデルに対して、 Supervised Fine-Tuning を適用した「instruct2」モデルと、加えて Direct Preference Optimization を適用した「instruct3」モデルを公開しました。llm-jp.nii.ac.jp/blog/2025/02/0…

1 46 130 80K 52

LLM勉強会（LLM-jp） @llm_jp

9 months ago

約1,720億パラメータ(GPT-3級)の大規模言語モデルを2.1兆トークンの学習データを用いてフルスクラッチで学習し、指示チューニングを施したモデルを「llm-jp-3-172b-instruct3」として公開しました。学習データまで含めすべてオープンなモデルとしては世界最大規模です。 nii.ac.jp/news/release/2…

2 169 581 183K 275

LLM勉強会（LLM-jp） @llm_jp

10 months ago

NLP2025ワークショップ「大規模言語モデルのファインチューニング技術と評価」を開催いたします。本ワークショップでは、大規模言語モデルのファインチューニング技術を競うコンペティションを実施予定です。詳細および参加登録(12/15迄)については、以下をご確認ください。 llm-jp.github.io/tuning-competi…

0 16 59 7K 18

LLM勉強会（LLM-jp） @llm_jp

10 months ago

LLM-jp-3 13Bをベースに、画像も入力できるように拡張したマルチモーダル基盤モデルLLM-jp-3 VILA 14Bを公開しました。パラメータ数が少ないながら、llm-jp-eval-mmによる評価で高い性能を示しました。※モデルの利用には利用制限があります。詳細は規約をご確認ください。 llm-jp.nii.ac.jp/llm/2024/11/20…

0 45 109 21K 35

LLM勉強会（LLM-jp） @llm_jp

10 months ago

現在開発中の言語モデル「LLM-jp-3 172B」のプレビュー版「LLM-jp-3 172B beta2」を公開しました。指示チューニングを施したモデルと、指示チューニング用に新たに作成した合成データも公開しています。※モデルには利用制限があります。詳細は規約をご確認ください。 llmc.nii.ac.jp/topics/llm-jp-…

0 30 58 9K 17

LLM勉強会（LLM-jp） @llm_jp

12 months ago

LLM-jpで新たに作成した1.8B、3.7B、13B事前学習モデル、および指示チューニング済みモデルを公開しました。13Bは以前のモデル(LLM-jp 13B v2.0)と比べて大幅に性能が向上しています。すべてのモデルをApacheライセンスで自由にご利用いただけます。 llmc.nii.ac.jp/topics/post-70…