今回はサイバーさんの
大規模日本語モデルを
Google Colabで試してみることにしました

解説動画はこちら



はじめに

サイバーエージェントから日本語LLM
OpenCALMが発表されたので
Google Colabで動かしてみることとします


詳細はこちら

chatGPTなどとは違い

モデルの性能も
いくつか種類がある様で

Model	Params	Layers	Dim	Heads	Dev ppl
cyberagent/open-calm-small	160M	12	768	12	19.7
cyberagent/open-calm-medium	400M	24	1024	16	13.8
cyberagent/open-calm-large	830M	24	1536	16	11.3
cyberagent/open-calm-1b	1.4B	24	2048	16	10.3
cyberagent/open-calm-3b	2.7B	32	2560	32	9.7
cyberagent/open-calm-7b	6.8B	32	4096	32	8.2

こんな感じのモデル構成になっています
今回は一番小さい small モデルを試します


必要なもの

Google Colabで動かすのに必要なのは
です


・「ランタイムタイプの変更」：GPUに変更する

Colabのメニューから「ランタイムタイプの変更」で
GPUに変更しておきましょう




・必要なライブラリのインストール

Google Colabのライブラリだけでは
動かないので次の2つをインストールしましょう

!pip install transformers

!pip install accelerate

1分くらいでインストール出来ます


・ライブラリやモデルのインポート

次のコードでライブラリと
モデルをセットアップ出来ます

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("cyberagent/open-calm-small", device_map="auto", torch_dtype=torch.float16)
tokenizer = AutoTokenizer.from_pretrained("cyberagent/open-calm-small")

エラーはライブラリなどが
インストール出来ていない場合に起きるので
先にインストール確認しておきましょう


次のコードは入力用の関数です
先に実行しておきましょう

# 入力用の関数を定義
def make_text(input_text):
    inputs = tokenizer(input_text, return_tensors="pt").to(model.device)
    with torch.no_grad():
        tokens = model.generate(
            **inputs,
            max_new_tokens=64,
            do_sample=True,
            temperature=0.7,
            pad_token_id=tokenizer.pad_token_id,
        )
    return tokenizer.decode(tokens[0], skip_special_tokens=True)

ここまで揃ったらあとは実行のみです
文章を入力して実行してみましょう

input_text = "文章を入力、"
out = make_text(input_text)
print(out)

次のような文章が生成されました








勝手に色々な物語を生成してくれます

正直な話
精度に関しては良く分かりません

実行毎に結果は変わるので
良いものが出るまで
繰り返してみることをお勧めします


今回はサイバーエージェントのLLMを
ご紹介しました

それでは

タグ ：

Python

プログラミング

大規模日本語モデル

今回は最近発表された大規模言語モデル
Rinna を試してみました

解説動画はこちら



はじめに

最近発表された「Rinna」は
rinna株式会社が開発した
大規模言語モデル(LLM 英: large language model)
になります



早速使い方を見ていきましょう

必要可動要件


モデルの稼働にメモリが16GBほど必要です
最低でも16GB以上の
メモリを積んだPCが必要です

メモリが足りない場合は
次のモデルのダウンロードで落ちます


インストール方法

transformers pytorch などの
ライブラリが必要です

手元にインストールしていない人は
インストールしておいて下さい

# パッケージのインストール例
!pip install pytorch transformers sentencepiece

モデルのダウンロード

ライブラリに問題ない人は
次のコードでモデルをダウンロード出来ます

モデルのダウンロード(15-20分くらい)

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
​
# トークナイザーとモデルの準備(すんごい時間かかる)
tokenizer = AutoTokenizer.from_pretrained("rinna/japanese-gpt-neox-3.6b-instruction-sft", use_fast=False)
model = AutoModelForCausalLM.from_pretrained("rinna/japanese-gpt-neox-3.6b-instruction-sft")

GPUが使える人は
下記のコードを追加するとGPUを使えます

if torch.cuda.is_available():
    model = model.to("cuda")

rinnaを使って会話してみる


プロンプトの後半部分も
作成する関数を用意します

# 対話用関数
def excute_conv(prompt):
    token_ids = tokenizer.encode(prompt, add_special_tokens=False, return_tensors="pt")
    with torch.no_grad():
        output_ids = model.generate(
            token_ids.to(model.device),
            do_sample=True,
            max_new_tokens=128,
            temperature=0.7,
            pad_token_id=tokenizer.pad_token_id,
            bos_token_id=tokenizer.bos_token_id,
            eos_token_id=tokenizer.eos_token_id
        )
    output = tokenizer.decode(output_ids.tolist()[0][token_ids.size(1):])
    output = output.replace("<NL>","\n")
    output = output.replace("。","。\n")
    print(output)

def make_prompt(l):
    prompt = [f"{k}:{v}" for (k,v) in l]
    prompt = "<NL>".join(prompt)
    prompt = (prompt + "<NL>" + "システム: ")
    return prompt

ここまで用意できたら、あとは
プロンプトを用意して会話するだけです

簡単なプロンプトを指定して会話してみましょう

# プロンプトの用意
l = [
    ["ユーザー","あなたはどんな仕組みで動いていますか、より詳しく解説して下さい"],
]
prompt = make_prompt(l)
print(prompt.replace("<NL>","\n"))
excute_conv(prompt)

こんな感じで会話が成立しました
日本語自体はかなり自然で正しい構文である様に見えます

他の会話も色々試しているので
結果は動画をみてみて下さいね


まとめ

ChatGPTを初めとした
大規模言語モデルの開発が進んできています

ファインチューニングを行えば
自社のサービスに特化した会話も
実現できる様になりそうなので

これらのモデルの進化に期待したい所です

今回はここまでです
それでは

タグ ：

プログラミング

Python

rinna

ChatGPT

大規模言語モデル

LLM

今回はAI/機械学習に特化した

解説動画はこちら
















 

タグ ：

プログラミング

Mojo