記事Gemini 1.5 flash でjson回答の受け取り
Gemini 1.5 flashで回答されるテキストをjson(dict)構造に限定する話。簡単にできる割にはあまり知られていないと思います。
LLM
記事
記事環境構築すら不要なllamafileでローカルLLM(phi-3)
爆速でローカルLLMを利用できるllamafileを試しました。ダウンロードするだけでローカルLLMが利用できるのは最高のメリット。ローカルLLMにはphi-3を使ってみました。
記事GodotでLLMを使いたい(llama.cpp)
GodotでローカルLLMを使う方法をまとめました。llama.cppをサブプロセスとして実行する方法を取りました。
記事CPUのみのローカルLLMサーバー構築(llama.cpp)
CPUのみを使ったローカルLLMサーバーをDockerで構築しました。phi-2とtinyllamaを使ってみて、どちらが良いかを検証しました。