記事GodotでもLLMを使いたい(C#とONNX編) GodotでLLMを使う話。C#とONNX Runtimeを使って簡単にGodotでもLLMが実行できました。また、GDScriptからも呼び出せるし、GPUを利用しているので高速に出力できました。 2024.06.19記事
記事GodotでもLLMを使いたい(C#とLLamaSharp編) GodotでC#を使いLLMを動かした話。GDScriptと併用できるように実装し、LLMの実行部分だけをC#で書くことでGodotでのゲーム開発が楽になりました。今回はLLamaSharpを使ったのでllama.cppの機能をほとんど使うことができます。 2024.06.18記事
記事llama-cpp-agentでローカルLLM+RAGを試す llama.cppを使ったフレームワークであるllama-cpp-agentを使って、RAGをpythonで試してみました。RAGを実行する手順をわかりやすくできるため、拡張性にも優れていると思います 2024.06.14記事
記事phi-3-mediumをllamafileで動かしてみた microsoftが発表したローカルLLM、phi-3-mediumをllamafileで簡単に実行できるか試してみました。guffとllamafileをダウンロードするだけでchatGPT超えのLLMを環境構築すら不要で使えました。 2024.06.01記事
記事GodotでローカルLLMの返答をリアルタイム表示させたい GodotでLLMを実行する際に、返答をリアルタイムに表示させる話を記事にしました。結論としては、llama.cpp(llamafile)のサーバーをサブプロセスで起動して、http通信をするのが最も簡単にLLMの返答をリアルタイム表示できます。 2024.05.31記事
記事環境構築すら不要なllamafileでローカルLLM(phi-3) 爆速でローカルLLMを利用できるllamafileを試しました。ダウンロードするだけでローカルLLMが利用できるのは最高のメリット。ローカルLLMにはphi-3を使ってみました。 2024.05.23記事