llama.cpp 詳解 ― 推論エンジンの内部を読む
ローカルLLM推論エンジンllama.cppのソースを、ggmlのテンソル計算からサンプリングまで順に読み解く。
コース
Web開発
LLMと一緒に学ぶWebアプリ開発 - ゼロからデプロイまで ¥2,480 フレームワークの向こう側 Vol.1 — HTTP/WSGI/ASGI 基礎 ¥1,980 フレームワークの向こう側 Vol.2 — Django/FastAPI の内部構造を読む ¥2,480 フレームワークの向こう側 Vol.3 — Webシステム設計と運用 ¥2,480モジュール(部)
第 1 部 導入:地図を手に入れる
第 2 部 まず動かす:最小コードで全体を追う
第 3 部 ggml:テンソル計算エンジン
第 4 部 モデルとデータの読み込み
第 5 部 推論の中核
第 6 部 出力の制御
第 7 部 応用ツール
付録
レッスン(章)
モジュールを選択してください