iPhoneでローカル実行可能な270億パラメータのAIモデル「Bonsai 27B」が登場、Qwen3.6-27Bをメモリ使用量3.9GBまで小型化してスマホ単体で実用的な速度で動作

Bonsai 27Bの1-bit版とTernary版の違いと選び方が、iPhoneでの動作を前提に比較できる。量子化方式による性能と動作環境の違いが判断基準となる。

OmniRouteとOpenCodeを組み合わせて月16億トークンを無料で利用できるかどうかの検証結果が得られる。実現可能性とその条件を判断するための材料が提供される。

メモリ25GBという限られた環境で、7440億パラメータの巨大LLMを稼働させる具体的な手法が分かる。量子化やメモリ管理の工夫により、通常は不可能な規模のモデルをローカルで動かすための実用的な知見が得られる。特に、推論時

Claude Opus 4.8を超える予測力を持つマルチモーダルLLM「Inkling」が無償公開された。画像やテキストを同時に処理できる点が特徴で、無料で利用開始できる。

ブラウザ上でAIモデルを高速実行できるJavaScriptランタイムが公開された。WebGPUに対応しており、既存のランタイムと比較して最大で約3倍の処理速度を実現する。これにより、クラウド経由ではなくユーザーの端末だけ

AMDのNPU上でLLMをローカル実行し、音声認識や画像生成も行えるAIツール「Lemonade Server」の特集記事。NPUを活用することで、クラウド依存を減らしながらAI機能を手元で動かせる点が実用的。具体的なセ