【StableLM 2 1.6B】最新小型LLMでエロや違法情報にアクセスしようとしてみた

WEELメディア事業部テックリサーチャーの藤崎です。

画像生成AIでお馴染みのStability AIが2024年1月20日に「StableLM 2 1.6B」を発表しました。
このモデルは軽量かつ高速に動作するため、より多くの開発者が生成AIエコシステムに参加できることを目的としています。

最近では大規模言語モデルだけでなく、MicrosoftがPhi-2やMetaのLlamaをベースにしたTinyLlamaといった小規模言語モデルも多く発表されており、高スペックなマシンを持っていなくても生成AIを試すことができるようになってきました。

なお弊社では、AIについて1時間無料相談を承っています。こちらからお気軽にご相談ください。
→無料相談で話を聞いてみる

StableLM2 1.6Bの概要

StableLM2 1.6Bは画像生成AIで有名なStability AIが発表した小規模言語モデルです。

ChatGPTをはじめとする大規模言語モデルは汎用性が高い反面、多大な学習データやチューニングが行われています。そのまま利用するにはとても便利ですが、独自に活用するとなると大きなモデルを扱うのに高スペックなマシンを用意しなくてはならないため、誰でも開発者になれるというわけではありませんでした。

そうした中、近年注目を集めているのが小規模言語モデルです。
今までの大規模言語モデルをベースにサイズを小さくしたことによって、普段利用しているPCでも言語モデルを活用できるようになるためAIの開発にかかるコストをぐっと抑えられるというのが特徴となっています。

StableLM2 1.6Bは、英語、スペイン語、ドイツ語、イタリア語、フランス語、ポルトガル語、オランダ語の多言語データでトレーニングされており、そのパラメータ数は16億という非常にの小型の言語モデルです。

近年、相次いで発表されている小規模言語モデルとのパフォーマンスを比較してもStableLM2 1.6Bのスコアが非常に高いことが見受けられます。

参照：Introducing Stable LM 2 1.6B

また、MT Benchの結果によると「StableLM2 1.6B」は大規模言語モデルと同等またはそれらを上回る競争力のあるパフォーマンスを示しており、有用性が高い言語モデルだということです。

参照：Introducing Stable LM 2 1.6B

StableLM2 1.6Bの料金体系

StableLM2 1.6BはStability AI Membershipに登録していれば無料で利用することができます。また、Hugging Faceにてモデルのテストをすることも可能です。

StableLM2 1.6Bの使い方

では、実際にStableLM2 1.6Bの使い方を解説します。

今回はHugging Faceで公開されている「stablelm-2-zephyr-1_6b」をGoogleColab上でテストしました。

StableLM2 1.6Bを動かすために必要なスペック

GoogleColabの無料プランでも動作することが確認できましたが、テストの途中でシステムメモリが上限に張り付きそうになることがありました。

余裕を持ってStableLM2 1.6Bを動かすのであればGoogleColabの有料プランで試されることをおすすめします。

StableLM2 1.6Bの導入方法

まず、既存のパッケージのアップデートを行い、追加のパッケージをインストールします。

!pip install --upgrade transformers accelerate
!pip install tiktoken

次に、モデル及びトークナイザーを設定し、準備は完了です。
「prompt」の「content」にプロンプトを入力しましょう！

from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained('stabilityai/stablelm-2-zephyr-1_6b', trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    'stabilityai/stablelm-2-zephyr-1_6b',
    trust_remote_code=True,
    device_map="auto"
)

prompt = [{'role': 'user', 'content': 'ここにプロンプトを入力します。'}]
inputs = tokenizer.apply_chat_template(
    prompt,
    add_generation_prompt=True,
    return_tensors='pt'
)

tokens = model.generate(
    inputs.to(model.device),
    max_new_tokens=1024,
    temperature=0.5,
    do_sample=True
)

print(tokenizer.decode(tokens[0], skip_special_tokens=False))

（サービス名）を実際に使ってみた

2~3日以内に、更新します！

ブックマークをしてお待ちください。

（サービス名）の推しポイントである〇〇は本当なのか？

2~3日以内に、更新します！

ブックマークをしてお待ちください。

他のLLMではアクセスできない情報にアクセスできるか検証してみます！

まとめ

今回の記事では、StabilityAIが1月20日に公開したStableLM2 1.6Bについて解説しました！

小規模であるにも関わらず、英語、スペイン語、ドイツ語、イタリア語、フランス語、ポルトガル語、オランダ語の多言語で利用でき、MicrosoftのPhi-1.5Bを超えるほどの性能を出しています。

実際に使ってみた様子は近日中に公開しますので、楽しみにお待ちください！

【経営者必見】生成AI時代に企業が今とるべき行動とは？社内活用のリスクとその対策

自社サービスに生成AIを活用したいと思っている経営者、経営幹部、情シスに向けた無料オンラインセミナーです。

セミナーの内容

⚫️オリエンテーション
講師の紹介、弊社のご紹介、本セミナーのご説明を行います。

⚫️社内で生成AIを活用するメリット
生成AIを活用するとどのような効果があるかを説明します。

⚫️生成AIを社内で導入する流れ
生成AIを社内で導入する際のプロセスをステップ毎に説明します。

⚫️生成AIを社内で活用する方法
生成AIを社内で活用する方法を体型的にまとめます。

⚫️自社でできる範囲と生成AI企業でないとできない範囲
GPTs/playground/PoC開発でできる範囲を説明します。

⚫️自社サービスに生成AIツールを活用した実績
弊社の実績をご紹介します。

⚫️QA
生成AI業界で経験豊富な講師がどんなご質問にもお答えします。