MedLM

MedLM 是面向医疗保健行业微调的一系列基础模型。 Med-PaLM 2 是 Google Research 开发的基于文本的模型，是支持 MedLM 的文本模型之一，是首个在解答医学许可检查 (USMLE) 类问题方面达到美国专家专家水平的 AI 系统。 这些模型的发展取决于特定的客户需求，例如回答医学问题和草拟综述。

MedLM 模型卡片

MedLM 模型卡片概述了模型详情，例如 MedLM 的预期用途、数据概览和安全信息。点击以下链接可下载 MedLM 模型卡片的 PDF 版本：

下载 MedLM 模型卡片

使用场景

• 问答：以文本的形式提供医学相关问题的回答草稿。
• 汇总：草拟一个包含原始文本中相关信息的简短文档版本（例如访视后总结或病例和身体检查记录）。

如需详细了解如何设计文本提示，请参阅设计文本提示。

HTTP 请求

MedLM-medium (medlm-medium)：

POST http://us-central1-aiplatform.googleapis.com/v1/projects/{PROJECT_ID}/locations/us-central1/publishers/google/models/medlm-medium:predict

MedLM-large (medlm-large)：

POST http://us-central1-aiplatform.googleapis.com/v1/projects/{PROJECT_ID}/locations/us-central1/publishers/google/models/medlm-large:predict

如需了解详情，请参阅 predict 方法。

模型版本

MedLM 提供以下模型：

• MedLM-medium (medlm-medium)
• MedLM-large (medlm-large)

下表包含可用的稳定模型版本：

MedLM-medium 和 MedLM-large 具有单独的端点，为客户提供了更大的应用场景灵活性。MedLM-medium 为客户提供更高的吞吐量，并包含最新的数据。MedLM-large 是与预览阶段相同的模型。这两个模型在产品生命周期内将继续刷新。在本页面中，“MedLM”指的是这两个模型。

如需了解详情，请参阅模型版本和生命周期。

MedLM 安全过滤器和属性

系统会通过一系列安全属性（包括“有害类别”和可能被视为敏感数据的主题）对通过 MedLM API 处理的内容进行评估。如果您看到后备回复，例如“我无法提供帮助，因为我只是语言模型”，则表示提示或回复触发了安全过滤器。

安全阈值

使用 Vertex AI Studio 时，您可以使用可调整的安全过滤器阈值来确定出现可能有害的回答的可能性。模型响应会因包含骚扰、仇恨言论、危险内容或露骨色情内容的可能性而被屏蔽。安全过滤器设置位于 Vertex AI Studio 中提示框的右侧。您可以从三个选项中进行选择：block most、block some 和 block few。

测试置信度和严重程度阈值

您可以测试 Google 的安全过滤器，并定义适合您的企业的置信度阈值。通过使用这些阈值，您可以采取全面的措施来检测违反 Google 使用政策或服务条款的内容，并采取适当的措施。

置信度得分只是预测值，您不应依赖得分来获取可靠性或准确性。Google 不负责解读或使用这些得分来做出业务决策。

推荐做法

要安全、负责任地使用这项技术，除了考虑内置的技术保障措施外，还必须考虑应用场景、用户和业务环境的其他特定风险。

我们建议您采取以下步骤：

1. 评估应用的安全风险。
2. 考虑进行调整，以降低安全风险。
3. 执行适合您的应用场景的安全测试。
4. 收集用户反馈并监控内容。

如需了解详情，请参阅 Google 的 Responsible AI 建议。

请求正文

{
  "instances": [
    {
      "content": string
    }
  ],
  "parameters": {
    "temperature": number,
    "maxOutputTokens": integer,
    "topK": integer,
    "topP": number
  }
}

为 medlm-medium 和 medlm-large 模型使用以下参数。如需了解详情，请参阅设计文本提示。

示例请求

使用 MedLM API 时，请务必结合提示工程。 例如，我们强烈建议您在每个提示开头提供特定于任务的适当说明。如需了解详情，请参阅提示设计简介。

POST http://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/MEDLM_MODEL:predict

{
  "instances": [
    {
      "content": "Question: What causes you to get ringworm?"
    }
  ],
  "parameters": {
    "temperature": 0,
    "maxOutputTokens": 256,
    "topK": 40,
    "topP": 0.95
  }
}

cat > request.json << 'EOF'
{
  "instances": [
    {
      "content": "Question: What causes you to get ringworm?"
    }
  ],
  "parameters": {
    "temperature": 0,
    "maxOutputTokens": 256,
    "topK": 40,
    "topP": 0.95
  }
}
EOF

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "http://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/MEDLM_MODEL:predict"

@'
{
  "instances": [
    {
      "content": "Question: What causes you to get ringworm?"
    }
  ],
  "parameters": {
    "temperature": 0,
    "maxOutputTokens": 256,
    "topK": 40,
    "topP": 0.95
  }
}
'@  | Out-File -FilePath request.json -Encoding utf8

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "http://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/MEDLM_MODEL:predict" | Select-Object -Expand Content

响应正文

{
  "predictions": [
    {
      "content": string,
      "citationMetadata": {
        "citations": [
          {
            "startIndex": integer,
            "endIndex": integer,
            "url": string,
            "title": string,
            "license": string,
            "publicationDate": string
          }
        ]
      },
      "logprobs": {
        "tokenLogProbs": [ float ],
        "tokens": [ string ],
        "topLogProbs": [ { map<string, float> } ]
      },
      "safetyAttributes": {
        "categories": [ string ],
        "blocked": boolean,
        "scores": [ float ],
        "errors": [ int ]
      }
    }
  ],
  "metadata": {
    "tokenMetadata": {
      "input_token_count": {
        "total_tokens": integer,
        "total_billable_characters": integer
      },
      "output_token_count": {
        "total_tokens": integer,
        "total_billable_characters": integer
      }
    }
  }
}

示例响应

{
  "predictions": [
    {
      "citationMetadata": {
        "citations": []
      },
      "content": "\n\nAnswer and Explanation:\nRingworm is a fungal infection of the skin that is caused by a type of fungus called dermatophyte. Dermatophytes can live on the skin, hair, and nails, and they can be spread from person to person through direct contact or through contact with contaminated objects.\n\nRingworm can cause a variety of symptoms, including:\n\n* A red, itchy rash\n* A raised, circular border\n* Blisters or scales\n* Hair loss\n\nRingworm is most commonly treated with antifungal medications, which can be applied to the skin or taken by mouth. In some cases, surgery may be necessary to remove infected hair or nails.",
      "safetyAttributes": {
        "scores": [
          1
        ],
        "blocked": false,
        "categories": [
          "Health"
        ]
      }
    }
  ],
  "metadata": {
    "tokenMetadata": {
      "outputTokenCount": {
        "totalTokens": 140,
        "totalBillableCharacters": 508
      },
      "inputTokenCount": {
        "totalTokens": 10,
        "totalBillableCharacters": 36
      }
    }
  }
}

流式传输来自生成式 AI 模型的响应

对于 API 的流式传输请求和非流式传输请求，这些参数是相同的。

如需使用 REST API 查看示例代码请求和响应，请参阅使用 REST API 的示例。

如需使用 Python 版 Vertex AI SDK 查看示例代码请求和响应，请参阅使用 Python 版 Vertex AI SDK 的示例。