記事llamafile(llama.cpp)で返答をjsonフォーマットに固定する
llamafileを使ったローカルLLMで、返答をjsonのフォーマットに固定する方法を記事にしました。この方法はllama.cppにも同様に使えるため、llama.cppから派生したフレームワークでは一般的に使えると思います。
ローカルLLM
記事
記事phi-3-mediumをllamafileで動かしてみた
microsoftが発表したローカルLLM、phi-3-mediumをllamafileで簡単に実行できるか試してみました。guffとllamafileをダウンロードするだけでchatGPT超えのLLMを環境構築すら不要で使えました。
記事GodotでローカルLLMの返答をリアルタイム表示させたい
GodotでLLMを実行する際に、返答をリアルタイムに表示させる話を記事にしました。結論としては、llama.cpp(llamafile)のサーバーをサブプロセスで起動して、http通信をするのが最も簡単にLLMの返答をリアルタイム表示できます。
記事環境構築すら不要なllamafileでローカルLLM(phi-3)
爆速でローカルLLMを利用できるllamafileを試しました。ダウンロードするだけでローカルLLMが利用できるのは最高のメリット。ローカルLLMにはphi-3を使ってみました。
記事ローカルLLMを翻訳apiを通して日本語化
ローカルLLMは英語に強い。日本語のローカルLLMは非力。だから、機械翻訳サーバーを作って、ローカルLLMを翻訳する話。
記事CPUのみのローカルLLMサーバー構築(llama.cpp)
CPUのみを使ったローカルLLMサーバーをDockerで構築しました。phi-2とtinyllamaを使ってみて、どちらが良いかを検証しました。