llama.cpp

記事

ゲーム開発でローカルLLMを使う方法まとめ

ゲーム開発でローカルLLMを使う方法を3つまとめました。Unity, Unreal Engine, Godotなどのほとんどのゲームエンジンで利用できる方法であり、実際にGodotで実装した例を上げながら解説しました。
記事

GodotでもLLMを使いたい(C#とLLamaSharp編)

GodotでC#を使いLLMを動かした話。GDScriptと併用できるように実装し、LLMの実行部分だけをC#で書くことでGodotでのゲーム開発が楽になりました。今回はLLamaSharpを使ったのでllama.cppの機能をほとんど使うことができます。
記事

llama-cpp-agentでローカルLLM+RAGを試す

llama.cppを使ったフレームワークであるllama-cpp-agentを使って、RAGをpythonで試してみました。RAGを実行する手順をわかりやすくできるため、拡張性にも優れていると思います
記事

llama-cpp-agentで多機能ローカルLLM環境を作る

llama-cpp-agentというLLMのフレームワークを利用しました。pythonで簡単にLLMに様々な機能を追加できました。本記事では、LLMからの関数呼び出しや構造化出力などを実際に動かしてみました。
記事

llamafile(llama.cpp)で返答をjsonフォーマットに固定する

llamafileを使ったローカルLLMで、返答をjsonのフォーマットに固定する方法を記事にしました。この方法はllama.cppにも同様に使えるため、llama.cppから派生したフレームワークでは一般的に使えると思います。
記事

環境構築すら不要なllamafileでローカルLLM(phi-3)

爆速でローカルLLMを利用できるllamafileを試しました。ダウンロードするだけでローカルLLMが利用できるのは最高のメリット。ローカルLLMにはphi-3を使ってみました。