GoでローカルLLMを簡単に扱うことができるライブラリがSNSで話題になっているので使ってみます。
候補となるライブラリは以下の2つです。
- mattn/tensai（https://github.com/mattn/tensai）
- goccy/go-llama（https://github.com/goccy/go-llama）
本資料ではtensaiを使って簡単な動作確認をしてみます。
比較（mattn/tensai vs goccy/go-llama）
2つのライブラリを比較します。
| 比較項目 | mattn/tensai | goccy/go-llama |
|---|---|---|
| 主な目的 | Go製の小規模な機械学習フレームワーク | Goからllama.cpp相当の推論機能を利用するライブラリ |
| 実装 | 行列演算、学習、推論などをGoで実装 | llama.cppをWebAssembly経由でGoへ変換 |
| LLMの実行 | GGUFやsafetensors形式のモデルに対応 | GGUF形式のモデルに対応 |
| 特徴 | LLMの実行だけでなく、ニューラルネットワークの学習や内部構造も試せる | ストリーミング、LoRA、埋め込み、複数コンテキストなど推論機能が充実 |
| サンプル | XOR、MNIST、文字生成、TinyGPT、GPT-2などが用意されている | GGUFモデルを読み込み、文章を生成する基本的なサンプルが用意されている |
| 向いている用途 | Goで機械学習やLLMの仕組みを触ってみたい場合 | GoアプリケーションへローカルLLMを組み込みたい場合 |
| 今回選んだ理由 | Goで実装された学習・推論処理や複数のサンプルを確認でき、単なるLLM実行以上のことを試せるため | 推論機能は充実しているが、今回の「GoでAIを動かして遊ぶ」という目的にはやや実用寄り |
上記より、今回はmattn/tensaiを利用することにしました。
補足：用語説明
用語の説明もしておきます。
| 用語 | 簡単な説明 |
|---|---|
| GGUF | llama.cpp系のローカルLLMで使われるモデル形式。量子化済みのモデルを配布・実行しやすい。 |
| safetensors | 主にHugging Faceで使われる、安全に読み込める機械学習モデルの重みファイル形式。 |
| XOR | 2つの入力が異なるときだけ正解になる、ニューラルネットワークの最小的な学習例。 |
| MNIST | 手書き数字を画像から判別する、機械学習の定番データセット。 |
| 文字生成 | 学習した文章から、次に続く文字を1文字ずつ予測してテキストを作るサンプル。 |
| TinyGPT | 小規模なGPT型モデルをゼロから学習し、文章生成を試すサンプル。 |
| GPT-2 | OpenAIが公開した大規模言語モデル。学習済みモデルを読み込み、文章を生成するサンプル。 |
サンプルプログラム
雑に動作確認してみようと思います。
以下はサンプルプログラムのURLです。
https://github.com/taako-502/tensai-playground
私はメモリ 24GB、CPUはAppleシリコンM4を利用しています。
準備
Go 1.27がインストールされていれば問題ありません。
1. ローカルLLMを実行する
利用方法は簡単です。Makefileにllm-runコマンドを用意してるのでそれを利用してください。
量子化版を利用したい場合はllm-run-q8コマンドを代わりに利用してください。
make llm-run PROMPT="GoでCQRSを採用する条件を説明してください"初回利用時はmodelのインストールから始まるので時間がかかることにご注意ください。
実行すると以下のようになります。
% make llm-run PROMPT="GoでCQRSを採用する条件を説明してください"
go tool tensai run "GoでCQRSを採用する条件を説明してください"
loaded qwen2 (24 layers, hidden 896) as float32 in 1.878s
prompt: 43 tokens
prefill: 1.347s
CQRS（Command Query Responsibility Segregation）は、C#で使用するための概念です。これは、命令（Command）、応答（Query）とその間の関係を分離するための設計原則です。この設計原則は、命令が応答に影響を与える可能性があることを避けるために導入されています。
CQRSの基本的な条件は以下の通りです：
1. **命令（Command）**：
- クエリ（Query）は、命令（Command）を実行するためのためのためのもので、命令は応答（Query）に影響を与える可能性があることを避けるために設計されています。
2. **応答（Query）**：
- クエリ（Query）は、命令（Command）を実行するためのためのためのもので、命令は応答（Query）に影響を与える可能性があることを避けるために設計されています。
3. **命令（Command）**：
- クエリ（Query）は、命令（Command）を実行するためのためのためのもので、命令は応答（Query）に影響を与える可能性があることを避ける
(256 tokens, 7.3 tok/s)
299 tokens total in 36.655s何を言っているかわからないですね。私のPCで動作させるために弱いモデルで実行させているため、出力が弱くなります。
モデルを指定する場合
モデルを指定する場合は以下になります。
make llm-run-q8 \
MODEL=./models/model.gguf \
PROMPT="Goについて説明してください"参考：modelの保存先
保存先はコンピュータのOSや設定次第なので参考情報に留めてほしいですが、私のコンピューターには以下のディレクトリにmodelは保存されます。
~/Library/Caches/tensai/Qwen2.5-0.5B-Instructmodelはそれなりに重いファイルなので、ストレージの容量に不安がある人は利用が終わったら削除を推奨します。
対話モード
以下のコマンドを実行することで対話モードで実行できます。
make llm-chat実行すると以下のようになります。
% make llm-chat
go tool tensai chat
loaded qwen2 (24 layers, hidden 896) as float32 in 1.802s
chat mode: type a message, empty line or Ctrl-D to quit
> こんにちは
こんにちは！お元気ですか？何かお手伝いできることがありますか？
(16 tokens, 6.7 tok/s)
> バジルの育て方
バジル（バジル、バジル、バジル）は、日本の伝統的な野菜で、主に秋の野菜として知られています。以下にバジルの育て方について説明します：
1. 原材料の選び方：
- 一般的に、バジルは秋の野菜として採用されることが多いです。
- その際、秋の葉が落ちてから、その葉を剥き出します。
2. 視野の広さ：
- 視野の広さは、バジルの成長に影響します。バジルは、広い視野の下で成長します。
- そのため、バジルの植え付けは、広い場所に位置付けます。
3. 水分の管理：
- バジルは、水分を必要とします。水を適切に管理し、適度な水分を与えることが重要です。
- 水分の管理は、定期的な水やりと、適度な水分を与えることが求められます。
4. 適切な土壌：
- バジルは、砂
(256 tokens, 7.1 tok/s)出力には制限を入れてるので、途中で止まります。
2. XOR学習を試す
tensaiでは、学習済みLLMの実行だけでなく、ニューラルネットワークの学習も試せます。
今回は、2つの入力が異なる場合だけ1になるXORを学習させます。
| 入力1 | 入力2 | 正解 |
|---|---|---|
| 0 | 0 | 0 |
| 0 | 1 | 1 |
| 1 | 0 | 1 |
| 1 | 1 | 0 |
なお、このサンプルは前節のローカルLLMとは独立しており、LLMの実行にXORの学習が必要なわけではありません。
以下のコマンドで実行できます。
make run-xor実行結果は以下のようになります。
% make run-xor
go run ./cmd/xor
tensai: training 5000 epochs with adam + mse on 4 samples
epoch 1: loss=0.279220
epoch 500: loss=0.000043
epoch 1000: loss=0.000011
epoch 1500: loss=0.000005
epoch 2000: loss=0.000003
epoch 2500: loss=0.000002
epoch 3000: loss=0.000001
epoch 3500: loss=0.000001
epoch 4000: loss=0.000001
epoch 4500: loss=0.000000
epoch 5000: loss=0.000000
XOR predictions
0 XOR 0 = 0.0005 (expected 0)
0 XOR 1 = 0.9994 (expected 1)
1 XOR 0 = 0.9994 (expected 1)
1 XOR 1 = 0.0005 (expected 0)学習を繰り返すことでloss（予測と正解のずれ）が小さくなり、最終的にXORの正解へ近い値を出力できました。
ローカルLLMでは学習済みモデルを読み込んで文章を生成しましたが、こちらでは小さなニューラルネットワークをこのMac上で学習させています。
まとめ
tensaiを使い、純Goで小さなニューラルネットワークを学習させる処理と、学習済みモデルによるローカルLLMの実行を試すことができました。
応用すればいろんなものを作れそうですね。
これからAIを学習したい人は、RAGなどをローカルで構築してみても面白そうです。
実際にtensaiを使って簡単なRAGを作ってみました。
以下の記事で、文書検索からローカルLLMによる回答生成までの流れを紹介しています。
コメントを残す