記事llama-cpp-agentで多機能ローカルLLM環境を作る llama-cpp-agentというLLMのフレームワークを利用しました。pythonで簡単にLLMに様々な機能を追加できました。本記事では、LLMからの関数呼び出しや構造化出力などを実際に動かしてみました。 2024.06.13記事
記事NotebookLMを使って英語資料を理解する GoogleのNotebookLMを実際に使ってみました。簡単に英語資料をアップロードできて、日本語で資料の解説をしてくれました。また、資料に載っていないことは答えないことも確認できました。 2024.06.07記事
記事ローカルで動くMiniCPM-V-2.5というマルチモーダルLLMを動かしてみた(llama.cpp) ローカルで動くマルチモーダルLLM、「MiniCPM-V-2.5」を試してみました。どのような解像度の画像であっても、縮小せずにLLMに特徴量をとることができることが利点のマルチモーダルLLMです。また、llama.cppを利用することで、多くの環境で利用できることを確かめました。 2024.06.06記事
記事llamafile(llama.cpp)で返答をjsonフォーマットに固定する llamafileを使ったローカルLLMで、返答をjsonのフォーマットに固定する方法を記事にしました。この方法はllama.cppにも同様に使えるため、llama.cppから派生したフレームワークでは一般的に使えると思います。 2024.06.05記事
記事phi-3-mediumをllamafileで動かしてみた microsoftが発表したローカルLLM、phi-3-mediumをllamafileで簡単に実行できるか試してみました。guffとllamafileをダウンロードするだけでchatGPT超えのLLMを環境構築すら不要で使えました。 2024.06.01記事
記事GodotでローカルLLMの返答をリアルタイム表示させたい GodotでLLMを実行する際に、返答をリアルタイムに表示させる話を記事にしました。結論としては、llama.cpp(llamafile)のサーバーをサブプロセスで起動して、http通信をするのが最も簡単にLLMの返答をリアルタイム表示できます。 2024.05.31記事