RakutenAI 2.0 ローカルで試してみた ～個人で"まともに"運用可能!?（推論速度や実験結果、スクリプト配布）～
こんにちはRcatです。
今回は大規模言語モデル使っていきます。
最近ディープシークが世間に混乱をもたらしましたが、モデルサイズが大きすぎるのと、日本語はあんまり上手じゃないというのを聞いて試すのは断念してましたが、そんな中、楽天が AI を出したみたいですね。日本の企業が出したモデルとあれば試すしかないです。
ざっと調べたところ、日本語と英語が上手いらしい。かなり期待できそうです。
というか結論から言うとやばいです…こんなもの本当に無料でばらまいちゃっていいんですか
過去に実施したローカルAI実験はこちら
はじめに
利用規約
情報や作品の活用時は事前に利用規約をご確認ください。
コメントについて
利用規約のガイドラインを確認の上コメントしてください
実行環境
今回は大規模言語モデルを自分のパソコンにダウンロードして、自分のパソコンで実行します。いろんな記事に書いてますが、私のパソコンは以下のスペックです。
CPU Ryzen5 3600
GPU RTX2060 6GB
MEM: DDR4 48GB
こんな感じです。消費税8%スペックです。
モンハンはモザイクになってしまいました…。
日本語に最適化したRakuten AI2.0を試す
Rakuten AI2.0とは
その名の通り楽天が開発した大規模言語モデルです。細かいベンチマークの仕様とかはよく分かりませんが、最高水準の日本語性能があるというのが謳い文句のようです。
で、今回試していきたいのが楽天AIのミニの方なんですけど…パラメーター数がたったの1.5Bだそうです。
これ、私が一番最初に使って会話がまともに成り立たなかったrinnaさんの半分です。それで日本語最高性能??一体どういうことでしょう？
公式のハギングフェイス
りんなさんはこちら
環境構築
まず最初に環境構築ですね。
AIといえばPythonです。この記事見てる人はPythonくらい入ってますよね？入っていないという方はこちらからインストールしてください。
公式のサンプルスクリプトだけ見るとインポート文に書いてある"transformers"だけインストールすればよく見えますが、実際はそんなことなく実行しようとするとめちゃくちゃエラーが出ます。 実行できるまで足りないライブラリをインストールし続けた結果が以下です。
>pip freeze
accelerate==1.3.0
blobfile==3.0.0
certifi==2025.1.31
charset-normalizer==3.4.1
colorama==0.4.6
filelock==3.17.0
fsspec==2025.2.0
huggingface-hub==0.28.1
idna==3.10
Jinja2==3.1.4
lxml==5.3.1
MarkupSafe==2.1.5
mpmath==1.3.0
networkx==3.3
numpy==2.2.3
packaging==24.2
pillow==11.0.0
protobuf==5.29.3
psutil==7.0.0
pycryptodomex==3.21.0
PyYAML==6.0.2
regex==2024.11.6
requests==2.32.3
safetensors==0.5.2
sentencepiece==0.2.0
sympy==1.13.1
tiktoken==0.9.0
tokenizers==0.21.0
torch==2.6.0+cu126
torchaudio==2.6.0+cu126
torchvision==0.21.0+cu126
tqdm==4.67.1
transformers==4.48.3
typing_extensions==4.12.2
urllib3==2.3.0依存ライブラリも含まれているので、実際にインストールした数はこんなに多くないです。
このうちtorchだけはGPUを使うので、公式サイトからインストールコマンドコピペしてください。
このテキストをrequirementsとして使うこともできますが、"+cu126"と書いてある行は全て削除するか"+cu126"だけ消して、CPU版をインストールすることができます。
実行していく
ではでは、早速実行していきましょう。
公式のサンプルスクリプトを書き換えて使います。
import time
from transformers import AutoModelForCausalLM, AutoTokenizer
model_path = "Rakuten/RakutenAI-2.0-mini-instruct"
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(model_path, torch_dtype="auto", device_map="auto")
model.eval()
SYSTEMPROMPT = "人間のユーザーと人工知能アシスタントのチャット。アシスタントはユーザーの問いかけに対し、役に立つ丁寧な回答を提供します。"
def Chat(msg):
chat = [
{"role": "system", "content": SYSTEMPROMPT},
{"role": "user", "content": msg},
]
input_ids = tokenizer.apply_chat_template(chat, tokenize=True, add_generation_prompt=True, return_tensors="pt").to(device=model.device)
attention_mask = input_ids.ne(tokenizer.pad_token_id).long()
st = time.time()
print("生成中...")
tokens = model.generate(
input_ids,
max_length=2048,
do_sample=False,
num_beams=1,
pad_token_id=tokenizer.eos_token_id,
attention_mask=attention_mask,
)
et = time.time()
print(f"推論時間:{et-st:.2f}秒")
return tokenizer.decode(tokens[0][len(input_ids[0]):], skip_special_tokens=True)
def loop():
while True:
msg = input(f"\n{'#'*50}\nメッセージを入力\n")
if not msg: break
print(Chat(msg))
if __name__ == '__main__':
loop()公式からの変更点
何度も実験するので関数にしています。
チャットの内容を日本語化しました。
時間計測用にtimeを追加しました。
実行結果
実行結果がこちらです。
なんと20秒の推論でまともな日本語が返ってきました!!!!
過去に実施したモデルではこんなことはありえませんでした!!!!やばいですね。
突っ込みどころとしては、具材はみんな同じなんですね。担々麺のスープの味がよくわかんないですね。醤油とか味噌とか入ってないでしょ？
まあ、この辺は小さいモデルにはそんな知識が入ってないのかな？というところでまあいいでしょう。
##################################################
メッセージを入力
ラーメンの種類と特徴を5つ列挙して
生成中...
推論時間:22.00秒
ラーメンの種類と特徴を5つ列挙します。
1. **味噌ラーメン**：
- **特徴：** 味噌ベースのスープに、麺を細く切ったものが特徴。具材は、チャーシュー、ネギ、メンマ、卵、海苔など。
- **人気の理由：** 味噌の深いコクと、麺の食感が楽しめる。
2. **塩ラーメン**：
- **特徴：** 塩味のスープに、麺を細く切ったものが特徴。具材は、チャーシュー、ネギ、メンマ、卵、海苔など。
- **人気の理由：** シンプルな塩味のスープが、麺の食感を引き立てる。
3. **豚骨ラーメン**：
- **特徴：** 豚骨を長時間煮込んだスープに、麺を細く切ったものが特徴。具材は、チャーシュー、ネギ、メンマ、卵、海苔など。
- **人気の理由：** 豚骨の深いコクと、麺の食感が楽しめる。
4. **鶏ガララーメン**：
- **特徴：** 鶏ガラを長時間煮込んだスープに、麺を細く切ったものが特徴。具材は、チャーシュー、ネギ、メンマ、卵、海苔など。
- **人気の理由：** 鶏ガラのコクと、麺の食感が楽しめる。
5. **担々ラーメン**：
- **特徴：** 担々麺（担々麺）をベースに、スープに醤油や味噌、塩味を加えたもの。具材は、チャーシュー、ネギ、メンマ、卵、海苔など。
- **人気の理由：** 担々麺の濃厚な味わいと、スープの塩味や味噌の風味が楽しめる。翻訳タスクの実行
日本語と英語ができると言われれば、もちろんやらせるのは翻訳です。
イライザさんの時だいぶ苦労しましたが、今回はどうでしょうか？
##################################################
メッセージを入力
以下の文章を英語に翻訳してください\n猫はとてもかわいくて愛くるしい動物です
生成中...
推論時間:1.39秒
Here is the translation of the given text into English:
"Cats are very cute and adorable animals."この文章を再翻訳してみた結果が以下です。
Google翻訳とチャッピー(チャットGPT)を使って日本語に戻してもらいます。
どちらも同じですね。どうやら問題なく実行できたようです。
しかも1秒かかってないという。マジですか。やばいですね。
イライザさんの時は数分単位でかかった挙句、まともな翻訳じゃなくて日本語で返してきたりとかしてたのに…ちなみにイライザさんは7 Bでした。1/4以下のサイズでちゃんとした翻訳…やばいですね。（もうやばいですねしか言わなくなった）
次はちょっと長めの文章にしてみましょう。
##################################################
メッセージを入力
以下の文章を英語に翻訳してください\nPythonはモダンな構文で書きやすく、ライブラリが豊富で様々なことができるのが特徴です。機械学習の分野においても、Pythonは多く利用されている言語です。
生成中...
推論時間:1.62秒
Python is easy to write with modern syntax, has a rich set of libraries, and is widely used in the field of machine learning.Google翻訳の結果はほぼ元の文章に戻っています。こちらも大丈夫そう？
ちなみにもう1回楽天AIに掛け直した結果が以下。全然問題ないのではないでしょうか?すごいですね。
##################################################
メッセージを入力
以下の文章を日本語に翻訳してください\nPython is easy to write with modern syntax, has a rich set of libraries, and is widely used in the field of machine learning."
生成中.
推論時間:1.30秒
Pythonは、モダンな構文で書きやすく、豊富なライブラリがあり、機械学習の分野で広く使われています。さらに長い文章で試してみる
文章を考えるのが面倒くさいので、チャッピーに適当に考えてもらいます。
こちらの実行時間は約10秒です。
##################################################
メッセージを入力
以下の文章を英語に翻訳してください\n日本の四季は、美しい自然の移り変わりを楽しめる特徴的なものです。春には桜が咲き誇り、多くの人が花見を楽しみます。公園や川沿いに広がる桜並木の下で、家族や友人と食事をしながら春の訪れを感じるのは、日本ならでの風習です。\n夏になると、各地で花火大会や夏祭りが開催されます。浴衣を着て縁日に出かけ、かき氷やたこ焼きを楽しむのも夏の醍醐味です。しかし、日本の夏は湿度が高く、猛暑日が続くこともあるため、熱中症対策が欠かせません。\n秋には紅葉が美しく、特に京都や日光の名所は多くの観光客で賑わいます。紅葉狩りを楽しみながら、秋の味覚である栗やサツマイモ、松茸などを味わうのも、この季節ならではの楽しみです。\n冬になると、雪景色が広がる地域も多くなります。特に北海道や東北地方では、スキーや温泉を楽しむ旅行者が増えます。また、お正月には家族が集まり、おせち料理を囲んで新年を祝います。こうした四季折々の風習や行事は、日本の文化を豊かにし、人々の暮らしに彩りを与えています。
生成中...
推論時間:10.15秒
The four seasons in Japan are characterized by a unique beauty of natural changes. In the spring, cherry blossoms bloom, and many people enjoy hanami (cherry blossom viewing) under the trees along parks and rivers. In summer, fireworks and summer festivals are held in many areas. In the summer, people wear yukata (light summer kimono) and go to the縁日 to enjoy summer treats such as kaki ice and tako yaki. However, the summer in Japan is hot and humid, and it is essential to take measures against heat stroke.
In autumn, autumn leaves are beautiful, especially famous spots such as Kyoto and Nikko. People enjoy autumn cuisine such as sweet potato and matsutake mushroom while having autumn delicacies.
In winter, many areas have snowy scenery. Especially in Hokkaido and Tohoku region, people visit ski resorts and hot springs. On New Year's Day, people gather together to celebrate the New Year with osechi (special dishes) surrounded by family. These seasonal customs and events enrich Japanese culture and give color to people's lives.さすがにこの長さをGoogle翻訳で翻訳した結果が正しいでやるのはなんか違う気がするので、もう1度チャッピーにかけます。
おおよそあっているんですが、一部欠如している表現やどこからか沸いた表現がありますね。Google翻訳を使っても同じような感じになったので、チャッピーが間違えたわけではなさそう。
ちなみに最初の方だけにしたのがこちら
##################################################
メッセージを入力
以下の文章を英語に翻訳してください\n日本の四季は、美しい自然の移り変わりを楽しめる特徴的なものです。春 には桜が咲き誇り、多くの人が花見を楽しみます。公園や川沿いに広がる桜並木の下で、家族や友人と食事をしながら春の訪れを感じるのは、日本ならでの風習です
生成中...
推論時間:3.64秒
Japan's four seasons are distinctive features that allow you to enjoy the changing beauty of nature. In the spring, cherry blossoms bloom, and many people enjoy hanami (cherry blossom viewing) with their families and friends. It is a custom in Japan to enjoy meals under the cherry blossom trees along parks and rivers, feeling the arrival of spring with your family and friends.翻訳の結果、ほぼ元通りの文章に戻っています。
この感じだと100文字くらいに分割した方がいい感じなんでしょうかね?
まあ、翻訳タスクかける時は改行ごとに分割するとか工夫ができると思うので、長すぎると変な表現になるというのはあまり問題にならない気もしますが。
試験問題生成
こちらの記事で紹介している無限練習問題作成botのプロンプトをそのまま貼り付けて実行してみます。
ちなみに文字数は2327文字です。
実行結果
問題を生成するのに25秒かかりました。
問題を出した後、そこでストップしろと指示してあるにも関わらず、答え合わせまで進んだ挙句トークンが足りずに途中で出力が切れています。
また、この時の指示では"DENDRALを使って問題を作成してください"と言っているにも関わらず、関係のない別のキーワードで問題を作ってきてます。選択肢の2番と4番の意味が同じなのもダメですね。
唯一シンギュラリティの意味が正しいところはいいでしょうか？
##################################################
メッセージを入力
msg
生成中...
推論時間:24.54秒
### 試験勉強のための疑似問題
**問題**
人工知能（AI）分野で議論される問題の一つとして、「シンギュラリティ（Singularity）」があります。シンギュラリティとは、人 工知能（AI）が人間の知能を超える「超知能」に到達することを指します。この問題について、以下の選択肢から最も適切なものを選択してください。
**選択肢**
1. **シンギュラリティは実現可能**
2. **シンギュラリティは実現不可能**
3. **シンギュラリティは実現する可能性があるが、実現には時間がかかる**
4. **シンギュラリティは実現しない**
**問題の解説**
- **シンギュラリティは実現可能**
- シンギュラリティは、AIが人間の知能を超える「超知能」に到達することを指します。この問題は、AI研究者が長年にわたって議論してきた重要なテーマの一つです。シンギュラリティが実現する可能性については、様々な見解があります。一部の研究者は、シンギュラリティが近い将来に実現する可能性があると主張しています。
- シンギュラリティは実現する可能性があるが、実現には時間がかかる、シンギュラリティは実現しない、という選択肢は、シンギュラリティの実現可能性に関する見解の違いを示しています。
- **シンギュラリティは実現不可能**
- シンギュラリティは、現在の技術水準では実現不可能であると主張する見解もあります。この見解は、シンギュラリティが実現するには、現在の技術では到底追いつけないほどの進歩が必要であると考えている人々から出されます。
- **シンギュラリティは実現する可能性があるが、実現には時間がかかる**
- この選択肢は、シンギュラリティは実現する可能性はあるが、実現には時間がかかると考える人々の意見を示しています。シンギュラリティの実現可能性については、様々な見解があるため、この選択肢は、シンギュラリティの実現可能性に関する見解の違いを示しています。
- **シンギュラリティは実現しない**
- シンギュラリティは実現しない、という選択肢は、シンギュラリティが実現する可能性について、現在の技術水準では実現不可能であると考える人々の意見を示しています。
**答え合わせ**
- ユーザーの回答が来た後に答え合わせを行います。
- ユーザーは選択肢の番号だけで回答する。
- 問題の解説を簡潔に行う。
- 各選択肢の意味を解説すること。
- 例:
- 選択肢1: シンギュラリティは実現可能です。シンギュラリティは、AIが人間の知能を超える「超知能」に到達することを指しま す。この問題は、※プロンプトは有料の部分なので隠してあります。
詳しいことは言えませんが、問題の出し方や作り方、出力フォーマット、キーワードの使い方答え合わせのやり方いい問題の例などを事前に指示した上で問題を作成させています。
ちなみに、これをGoogleのGemini2.0フラッシュで実行すると以下のような出力になります。これが期待通りの出力です。
計算問題
言語モデルに計算はどうでしょうか?
簡単な四則演算
計算も行けますね
##################################################
メッセージを入力
次の計算をしてください\n1+1=
生成中...
推論時間:0.98秒
1 + 1 = **2** です。
##################################################
メッセージを入力
次の計算をしてください\n5*8
生成中...
推論時間:0.91秒
5*8 の計算結果は 40 です。意地悪な四則演算
掛けるが先で足すが後だけどその辺大丈夫か…あ、大丈夫ですね
##################################################
メッセージを入力
次の計算をしてください\n1+2+5*9=
生成中...
推論時間:1.41秒
1 + 2 + 5 * 9 = 1 + 2 + 45 = 48括弧を使った演算順指定
これもできる
##################################################
メッセージを入力
次の計算をしてください\n(2*(5+2))+7
生成中...
推論時間:3.02秒
まず、括弧内の計算を行います。
2 * (5 + 2) = 2 * 7 = 14
次に、この結果を7に足します。
14 + 7 = 21
したがって、最終的な答えは21です。小数が出る計算
計算途中で小数が出て切る計算も…なんか計算ステップを解説し始めたぞ。
##################################################
メッセージを入力
次の計算をしてください\n9/2*3
生成中...
推論時間:4.44秒
計算してみましょう:
**計算:** 9/2 * 3
**ステップ1: 割り算 (9/2)**
* 9 ÷ 2 = 4.5
**ステップ2: 掛け算 (4.5 * 3)**
* 4.5 × 3 = 13.5
**答え:** 13.5
答えは **13.5** です。累乗
これもOK
##################################################
メッセージを入力
次の計算をしてください\n2^8=
生成中...
推論時間:2.99秒
2の8乗を計算するには、2を8回掛け合わせます。
2^8 = 2 × 2 × 2 × 2 × 2 × 2 × 2 × 2 = 256
したがって、2^8 = 256です。平方根
これもOKまぁ表記的には累乗だけどなんかルート2ってちゃんと認識してる
##################################################
メッセージを入力
次の計算をしてください\n2^(1/2)
生成中...
推論時間:3.11秒
2の1/2乗を計算します。
2^(1/2) = √2
√2 ≈ 1.4142135623730951
したがって、2の1/2乗は約1.4142です。階乗
これも理解できるんだ…
##################################################
メッセージを入力
次の計算をしてください\n10!
生成中...
推論時間:5.50秒
10! の計算は、10 の階乗 (10!) です。これは、10 を 1 から 10 までのすべての整数 (1, 2, 3, ... , 10) で掛け合わせたものです。
10! = 10 × 9 × 8 × 7 × 6 × 5 × 4 × 3 × 2 × 1 = 3,628,800
したがって、10! の結果は 3,628,800 です。記号あり
円周率も計算できました
##################################################
メッセージを入力
次の計算をしてください\n2*2*π
生成中...
推論時間:5.71秒
2 * 2 * π の計算を順を追って行います。
1. まず、2 * 2 を計算します。
- 2 * 2 = 4
2. 次に、4 * π を計算します。
- 4 * π ≈ 4 * 3.14159 ≈ 12.56637
したがって、2 * 2 * π の計算結果はおよそ 12.56637 です。常用対数
これもOK
##################################################
メッセージを入力
次の計算をしてください\nlog10(2)
生成中...
推論時間:1.13秒
計算結果:
log10(2) = 0.3010二項係数
これはダメでした
##################################################
メッセージを入力
次の計算をしてください\n7C3
生成中...
推論時間:2.51秒
7C3の計算は、7を3回掛けた後、3を掛けた結果です。
7 × 3 = 21
21 × 3 = 63
最終的な答えは63です。2進数
最後の桁が0の時はダメか?ちょっと安定しない
##################################################
メッセージを入力
二進数を十進数に変換して\n11010
生成中...
推論時間:9.25秒
二進数「11010」を十進数に変換するには、各桁の値に2のべき乗を掛け、その結果を合計します。
1. 二進数の各桁を確認します。
- 1 (二進数)
- 1 (二進数)
- 0 (二進数)
- 1 (二進数)
- 0 (二進数)
2. 各桁に2のべき乗を掛けて、その結果を合計します。
- 1 * 2^3 = 8
- 1 * 2^2 = 4
- 0 * 2^1 = 0
- 1 * 2^0 = 1
3. これらの結果を合計します。
- 8 + 4 + 0 + 1 = 13
したがって、二進数「11010」は十進数で「13」になります。
##################################################
メッセージを入力
二進数を十進数に変換して\n11011
生成中...
推論時間:7.49秒
二進数「11011」を十進数に変換するには、各桁の値にその位置の2のべき乗を掛けます。
11011 の二進数表記は、次のように変換されます：
- 1 × 2^4 = 16
- 1 × 2^3 = 8
- 0 × 2^2 = 0
- 1 × 2^1 = 2
- 1 × 2^0 = 1
これらを合計すると、11011 の十進数表記は 16 + 8 + 0 + 2 + 1 = 27 になります。
したがって、二進数「11011」は十進数で「27」となります。CPUで実行してみる
配布データの準備中にCPU版torchがインストールされたのでついでに試しました
ラーメンの件
90秒…さすがCPUおっそ。パラメーターの精度が異なっているのか回答の内容が違いますね?
##################################################
メッセージを入力
Enter -> Ctrl+Z -> Enterで確定
ラーメンの種類と特徴を5つ列挙して
^Z
生成中...
推論時間:90.89秒
ラーメンの種類と特徴を5つ列挙します。
1. **味噌ラーメン**：
- **特徴：** 味噌ベースのスープに、麺を細く切ったものが特徴。具材は、チャーシュー（豚肉）、ネギ、メンマ（ネギの酢漬け）、卵などがよく使われる。
- **人気度：** 日本国内では非常に人気があり、多くのラーメン専門店やファストフード店で提供されている。
2. **塩ラーメン**：
- **特徴：** 塩味のスープに、麺を細く切ったものが特徴。具材は、チャーシュー、ネギ、メンマなどがよく使われる。
- **人気度：** 日本国内では非常に人気があり、多くのラーメン専門店やファストフード店で提供されている。
3. **醤油ラーメン**：
- **特徴：** 醤油ベースのスープに、麺を細く切ったものが特徴。具材は、チャーシュー、ネギ、メンマなどがよく使われる。
- **人気度：** 日本国内では非常に人気があり、多くのラーメン専門店やファストフード店で提供されている。
4. **豚骨ラーメン**：
- **特徴：** 豚骨ベースのスープに、麺を細く切ったものが特徴。具材は、チャーシュー、ネギ、メンマなどがよく使われる。
- **人気度：** 日本国内では非常に人気があり、多くのラーメン専門店やファストフード店で提供されている。
5. **塩ラーメン（塩豚骨ラーメン）**：
- **特徴：** 塩味のスープに、豚骨をベースにしたスープに、麺を細く切ったものが特徴。具材は、チャーシュー、ネギ、メンマなどがよく使われる。
- **人気度：** 日本国内では非常に人気があり、多くのラーメン専門店やファストフード店で提供されている。英語翻訳
一言程度なら6秒か。ギリ許容できる。
##################################################
メッセージを入力
Enter -> Ctrl+Z -> Enterで確定
以下の文章を英語に翻訳してください
猫はとてもかわいくて愛くるしい動物です
^Z
生成中...
推論時間:6.28秒
Cats are very cute and adorable animals.まとめ
RakutenAI2.0 miniやばいです。
まさかたった1.5Bのモデルでこれほどの性能があるとは…最高峰と言われるだけありますね。
日本語とか関係なく計算も行けちゃうし…。
年単位で昔の話になっちゃいますが、4倍以上のパラメーター数を持つ AI でもまともに翻訳とかできなかった経験があるので、本当にすごいことだと思います。
となるとミニじゃない方は一体どれだけの性能があるんでしょうか？ただ、あれはモデル全体だと47Bで切り替えて13Bで使う的な感じらしいですがどちらにしてもメモリが足りないので実験はできません。
しかしまあこれほどのモデルを赤字（やっと黒字）の状態で無料で出してしまうとはなかなか太っ腹ですね。
翻訳タスクを高速で正確に個人のパソコンでできれば外部に出せないような機密文章も入力可能です。まあ、個人レベルでそんな情報を入力する機会はまずないと思いますが…。
それでも有料のAPIを使わない限り、生成AI関連は学習に利用されるのが大抵の利用規約なので、そういうのが嫌だという場合はやはり個人のパソコンで動くというのはすごくいいことだと思います。
業者のサービスに頼らなくても、個人でAI を稼働させられる時代がもうすぐ来るのかもしれませんね。業者のサービスだと利用規約云々で入力できない内容とか引っ掛けられる内容とかたまにあるんで（実際に一瞬ジェミに止められたことがあるが、日本語的言い回しで乗り切った）個人で運用することができればできることの幅が広がりそうです。
もう少し長い文章に耐性があり、出力構文もこちらの指示通りに出力してくれれば本気で外付け GPU なり買ってLinux にくっつけるけるか、クラウドでも借りようかって思うレベル。
それではまたお会いしましょう
配布
ワンクリックで実験まで構築可能な状態にしたので、データセット配布します。
利用規約に同意の上お使いください
中身はこんな感じ
start.batを起動すると仮想環境の構築からAIのダウンロードと読み込みまで全自動でやります。
回線速度やPCの性能により数分程度かかります。
"インストールが正常に完了しました"がでた後に読み込みが入ります。（ここが少し長いですが、フリーズではありません）
***省略***
Successfully installed PyYAML-6.0.2 accelerate-1.3.0 blobfile-3.0.0 certifi-2025.1.31 charset-normalizer-3.4.1 colorama-0.4.6 filelock-3.17.0 fsspec-2025.2.0 huggingface-hub-0.28.1 idna-3.10 lxml-5.3.1 numpy-2.2.3 packaging-24.2 protobuf-5.29.3 psutil-7.0.0 pycryptodomex-3.21.0 regex-2024.11.6 requests-2.32.3 safetensors-0.5.2 sentencepiece-0.2.0 tiktoken-0.9.0 tokenizers-0.21.0 tqdm-4.67.1 transformers-4.48.3 urllib3-2.3.0
ライブラリのインストールが正常に完了しました
##################################################
メッセージを入力
Enter -> Ctrl+Z -> Enterで確定
猫の可愛さについて200文字程度で語って
^Z
生成中...
推論時間:12.03秒
**猫の可愛さについて**実験時と少し仕様変えてます。
改行込みでメッセージの入力やコピペが出来るようにinput()を止めてsys.stdin()に変えてます。
Enterの後にCitl+Zを入力して、もう一回Enterを押すと送信できます。
この仕様が嫌な場合は上のコメント消して下2行コメント化してください
いいなと思ったら応援しよう！
コメント