Google、ブラウザ内でAIを高速実行する「LiteRT.js」を発表 WebGPU対応、既存ランタイム比で最大約3倍 | Ledge.ai

Bonsai 27Bの1-bit版とTernary版の違いと選び方が、iPhoneでの動作を前提に比較できる。量子化方式による性能と動作環境の違いが判断基準となる。

メモリ25GBという限られた環境で、7440億パラメータの巨大LLMを稼働させる具体的な手法が分かる。量子化やメモリ管理の工夫により、通常は不可能な規模のモデルをローカルで動かすための実用的な知見が得られる。特に、推論時

iPhoneでローカル実行可能な270億パラメータのAIモデル「Bonsai 27B」が登場した。メモリ使用量を3.9GBまで小型化し、スマホ単体で実用的な速度で動作する。ローカルLLMをモバイル端末で利用したい場合の選

AMDのNPU上でLLMをローカル実行し、音声認識や画像生成も行えるAIツール「Lemonade Server」の特集記事。NPUを活用することで、クラウド依存を減らしながらAI機能を手元で動かせる点が実用的。具体的なセ

スマートフォン上で27Bパラメータの大規模言語モデルを無料で実行できる。PrismMLが公開した「Bonsai 27B」は、端末内で動作するためインターネット接続が不要で、プライバシー面でも有利。具体的な利用シーンとして

ローカルLLMの構築手順と、その運用に必要な知識が得られる。どのようなハードウェア要件が必要か、どのOSSフレームワーク（Ollamaやllama.cppなど）を使うか、モデルの選び方といった実践的な判断材料が提供されて