サーバー構築

ローカルLLMを翻訳apiを通して日本語化

ローカルLLMは英語に強い。日本語のローカルLLMは非力。だから、機械翻訳サーバーを作って、ローカルLLMを翻訳する話。

CPUのみのローカルLLMサーバー構築(llama.cpp)

CPUのみを使ったローカルLLMサーバーをDockerで構築しました。phi-2とtinyllamaを使ってみて、どちらが良いかを検証しました。

機械翻訳APIコンテナの実装(fast api)

DeepL、Google Translate、Argos Translateをapiとして呼び出して、テキストを翻訳してくれる機械翻訳サーバを構築する話