【特集】 AMDのNPUでLLMが動く！音声認識や画像生成も使えるローカルAIツール「Lemonade Server」

Bonsai 27Bの1-bit版とTernary版の違いと選び方が、iPhoneでの動作を前提に比較できる。量子化方式による性能と動作環境の違いが判断基準となる。

メモリ25GBという限られた環境で、7440億パラメータの巨大LLMを稼働させる具体的な手法が分かる。量子化やメモリ管理の工夫により、通常は不可能な規模のモデルをローカルで動かすための実用的な知見が得られる。特に、推論時

Claude Opus 4.8を超える予測力を持つマルチモーダルLLM「Inkling」が無償公開された。画像やテキストを同時に処理できる点が特徴で、無料で利用開始できる。

ブラウザ上でAIモデルを高速実行できるJavaScriptランタイムが公開された。WebGPUに対応しており、既存のランタイムと比較して最大で約3倍の処理速度を実現する。これにより、クラウド経由ではなくユーザーの端末だけ

iPhoneでローカル実行可能な270億パラメータのAIモデル「Bonsai 27B」が登場した。メモリ使用量を3.9GBまで小型化し、スマホ単体で実用的な速度で動作する。ローカルLLMをモバイル端末で利用したい場合の選

Claude Visionを使って数分の動画から最適な15秒を選ばせる設計手法が得られる。動画をフレーム分割し、各フレームをClaude Visionに分析させて、指定条件に合うベストなシーンを抽出する手順を学べる。