先週Microsoft Foundry Local 1.1.0 がリリースされました。
Microsoft Foundry LocalはLLMなどをクラウドではなくローカルで動かして利用、提供するためのライブラリです。面倒なモデルの管理や起動、Webサービス化など簡単にできます。Microsoft Foundry Local CLIのほうを使えばモデルのロードやWebサービス化は簡単にできますが、SDKを使えばWebサービスにしなくても利用できます。Ollamaのように外部プロセスで別途Webサービスを立ち上げて~みたいな手間が不要で良いです。
続きを読む