llama.cpp + Gemmaを使ってローカルLLM APIサーバーを構築する - Qiita
この記事で分かること
llama.cppとGemmaを組み合わせてローカル環境でLLM APIサーバーを構築する手順が得られる。具体的には、llama.cppのビルド方法、Gemmaモデルのダウンロードと量子化、サーバーの起動とAPIエンドポイントの確認までを実装できる。ローカルで動作するため、外部APIのコストをかけずにLLMを利用したい場合に有用である。
関連ニュース
「GitHub Copilot」アプリがすべてのプランに開放 ～無料プランでも利用可能に／「BYOK」で他社製クラウドモデル、ローカルモデルの接続も可能
無料プランでもGitHub Copilotアプリが利用可能になり、さらにBYOK機能で他社製クラウドモデルやローカルモデルを接続できるようになった。無料でコード補完を受けられる点と、自前のモデルを組み込める柔軟性が実務で
AIで紐解くAWS AI-DLC v2：ブラウンフィールド
AWS AI-DLC v2をブラウンフィールド環境で活用する方法が得られる。既存のシステムにAI-DLCを導入する際の具体的な手順や、注意すべき設定項目が推定できる。
【実録】社内向けアプリが海外Botに目を付けられ、1日で20万リクエストを浴びて爆死した話と、私が施した生存戦略
社内向けアプリが海外Botから1日20万リクエストを受けてダウンした事例と、その生存戦略が得られる。具体的な対策として、レート制限やIPブロック、認証強化などの実装方法が推定できる。
AIエージェントに日本の公的データを売り始めた話（初日で4商品を世界公開するまで）
日本の公的データをAIエージェントに販売するビジネスを開始し、初日で4商品を世界公開した事例。データの提供方法や販売戦略、公開までの具体的な手順が実践的に語られている。公共データの商用活用やAI向けデータ販売の参考になる
CloudflareでAIエージェントを試してみた(その１)
Cloudflareのプラットフォーム上でAIエージェントを試用した第一弾記事。具体的な設定手順や動作確認の方法が紹介され、Cloudflare WorkersやAIモデルとの連携方法が実践的に解説されている。サーバーレ
最上位 AI モデルが「完全従量課金」になる日 〜 Claude Code で始めるモデルルーティング入門
従量課金の高額化が進む最上位AIモデルを、用途に応じて使い分けるモデルルーティングの手法を学べる。Claude Codeを例に、タスクの複雑さに応じて安価なモデルに振り分ける設定手順と、コスト削減効果の試算方法が具体的に