Google Gemini API 開發手冊--GenAI SDK×Live API×Agent Skills

第 1 章 Gemini API 入門
1-1 為什麼要使用 API
學習 Gemini API 的好處
1-2 從零開始使用 Gemini API
認識 Gemini API 家族
牛刀小試
1-3 認識 token
使用 Vertex AI Studio 觀察 token 切割結果
在程式中計算 token 數量
實際送入模型的 token 數
1-4 認識訊息角色
訊息與角色
用系統指令幫模型制訂規則
1-5 錯誤處理
1-6 非同步方式使用 API
幫 API 的使用加上等待動畫
1-7 在沒有 Gemini API 套件的環境中使用 API
透過 requests 套件以 HTTP POST 使用 API
透過 HTTPX 套件以非同步方式使用 API
連 Python 都沒有的環境下使用 API

第 2 章 與模型交談的基礎
2-1 認識模型
控制參數
命名慣例
2-2 思考模式
用不具思考能力的模型解益智問答
使用會思考的模型完美解答
查看思考過程
控制思考深度
2-3 控制生成結果的變化性
控制活潑度的 temperature
篩除候選 token 的 top_p 與 top_k
2-4 生成結構化的資料
生成 JSON 格式
使用結構化輸出機制
2-5 多模態輸入
辨識照片內容
使用 Files API 上傳檔案
物件偵測
其他類型的檔案與 YouTube 影片
2-6 串流模式
利用生成器處理串流模式
逐漸顯示 Markdown 內容的技巧
2-7 文字生圖、影片、語音
修改既有的圖片
參考多張圖生成
生成高品質圖片--Imagen 模型
生成影片
生成語音

第 3 章 用自訂函式與內建工具幫模型長出感官手腳
3-1 讓模型使用自訂函式的 Function Calling 機制
Function Calling 基本概念
設計查詢即時溫度的函式
提供自訂函式資訊給模型
自動叫用函式
3-2 平行與多輪函式叫用
平行函式叫用--單次叫用多個函式
多輪函式叫用--進行多輪問答生成最後回覆
整合函式叫用的對談函式
串流模式下的函式叫用
可執行工作的自訂函式工具
3-3 內建工具
Google 搜尋工具
Google 地圖
Code Execution 程式碼執行工具
用 URL context 當網路爬蟲
使用檔案搜尋工具建置 RAG 功能
3-4 讓內建工具與自訂函式工具混用的方法
自訂函式工具不能與內建工具混用
用 Gemini 3 的魔法混用自訂函式與內建工具
用自訂函式包裝內建工具
在系統指令中加入既有事實

第 4 章 用 MCP 串接別人寫好的工具
4-1 MCP 簡介
MCP 的架構
MCP 用戶端與伺服器的傳輸方式
4-2 使用既有的 MCP 伺服器
建立以 uv 管理的 Python 環境
建立本章所要使用的專案
以 stdio 傳輸方式使用 MCP 伺服器
以 SSE 傳輸方式使用 MCP 伺服器
以 Streamable HTTP 傳輸方式使用 MCP
4-3 同時使用多個 MCP 伺服器
MCP 伺服器設定檔
載入 MCP 設定檔建立用戶端
設計可多輪交談的簡易程式
SSE 傳輸的逾時設定
顯示自動叫用歷程
4-4 幫聊天程式加上簡單的記憶
用串列記錄對話過程
儲存對話接續交談
讓內建工具與 MCP 伺服器混用
搭配使用串流模式
停用函式自動叫用機制
4-5 使用 Chat/AsyncChat 類別自動管理交談記錄
簡易的交談程式
儲存對話以及自訂函式與 MCP 伺服器混用
串流模式與停用函式自動叫用機制
4-6 MCP 設定檔的其他設定
設定 MCP 伺服器執行時的環境變數
設定 HTTP 表頭

第 5 章 自動記憶對話的 Interactions API
5-1 Interactions API 的基本用法
建立單輪對話
串接對話
取得特定 id 的交談內容
不儲存對話
顯示思考過程
5-2 多模態輸入/輸出
處理圖片
處理語音
輸入影片與 PDF 檔
5-3 函式叫用與內建工具
使用 FunctionParam 型別的字典描述函式
手動叫用函式
內建工具
可在背景執行的 Agent：Deep Research
5-4 MCP
自動叫用 MCP 工具
手動叫用 MCP 工具
5-5 串流模式
以事件為基礎的串流生成流程
串流模式下的函式叫用
5-6 整合成可多輪對話的聊天程式
增加 MCP 相關的輔助函式
交談迴圈

第 6 章 即時語音交談--Live API
6-1 Live API 的基本架構
使用文字模式認識 Live API
建立文字版本的即時交談範例
測試文字版即時交談範例
6-2 為即時交談程式加上語音功能
使用 pyaudio 套件提供語音功能
播放模型生成的語音
使用麥克風輸入提示內容
顯示使用者的語音內容
6-3 讓即時語音使用外部工具
幫即時語音加入自訂函式與內建工具
幫即時語音加入 MCP 工具
6-4 讓即時語音交談程式自動重新連線
復原交談階段
儲存摘要供下次執行程式復原記憶
6-5 Live API 的其他設定
設定聲音
控制思考深度

第 7 章 實作 CLI 工具與簡易的 Skills 機制
7-1 建立可讓其他人使用的 CLI 工具
以模組形式建立 CLI 專案
在專案以外的地方執行
安裝到t統直接執行
把聊天程式變成 CLI 工具
7-2 簡易的 Skills 機制
Skill 概念
Skill 檔的基本結構
簡易 Skills 模組
為聊天程式加入 Skills 機制
測試 Skills 機制
精簡 MCP 伺服器提供的工具
替換不同的 MCP 伺服器
7-3 使用 CLI 工具加上 Skills 替代 MCP 伺服器
讓模型執行系統上的程式
使用 CLI 工具替代 MCP 伺服器
讓模型自己學會特定 CLI 工具的用法
7-4 幫聊天程式加上使用者自定義的規則系統
幫 MCP 設定加上可在執行時期自訂內容的變數
讓 AI Agent 寫程式
建立自定義系統補足系統指令
讓 AI Agent 照我們的規則寫程式
AI Agent 設計建議

第 1 章 Gemini API 入門
1-1 為什麼要使用 API
學習 Gemini API 的好處
1-2 從零開始使用 Gemini API
認識 Gemini API 家族
牛刀小試
1-3 認識 token
使用 Vertex AI Studio 觀察 token 切割結果
在程式中計算 token 數量
實際送入模型的 token 數
1-4 認識訊息角色
訊息與角色
用系統指令幫模型制訂規則
1-5 錯誤處理
1-6 非同步方式使用 API
幫 API 的使用加上等待動畫
1-7 在沒有 Gemini API 套件的環境中使用 API
透過 requests 套件以 HTTP POST 使用 API
透過 HTTPX 套件以非同步方式使用 API
連 Python 都沒...