記事llamafile(llama.cpp)で返答をjsonフォーマットに固定する
llamafileを使ったローカルLLMで、返答をjsonのフォーマットに固定する方法を記事にしました。この方法はllama.cppにも同様に使えるため、llama.cppから派生したフレームワークでは一般的に使えると思います。
記事
記事ComfyUIをリモートのDockerで動かして、動画を生成する
ComfyUIをDockerでリモートに立てて、それをローカルネット内から接続する方法を書きました。また、animateDiff-lightingを使い簡単に動画が作れることを確かめました。
記事Text2VideoをDockerで動かしたい[AnimateDiff-lighting / diffusers]
pythonのdiffusersをつかってtext2VideoのモデルであるanimateDiff-lightningを動かしてみました。また、Dockerで環境構築したので、誰でも再現可能です。
記事TimesFMをDockerで使って、学習ゼロで為替予測する話
timesFMという時系列のゼロショット学習モデルをpythonで使って、為替予測ができるのかを試した話。DockerでtimesFMの実行環境を作ったので、だれでも再現できます。また、為替はUSDJPYを短期、中期、長期で予測してみました。
記事phi-3-mediumをllamafileで動かしてみた
microsoftが発表したローカルLLM、phi-3-mediumをllamafileで簡単に実行できるか試してみました。guffとllamafileをダウンロードするだけでchatGPT超えのLLMを環境構築すら不要で使えました。
記事GodotでローカルLLMの返答をリアルタイム表示させたい
GodotでLLMを実行する際に、返答をリアルタイムに表示させる話を記事にしました。結論としては、llama.cpp(llamafile)のサーバーをサブプロセスで起動して、http通信をするのが最も簡単にLLMの返答をリアルタイム表示できます。