Übersicht über die Gemini API in Vertex AI

Multimodale Modelle für Gemini

Ein multimodales Modell ist ein Modell, das Informationen aus mehreren Modalitäten verarbeiten kann, einschließlich Bildern, Videos und Text. Sie können dem Modell zum Beispiel ein Foto eines Tellers mit Keksen schicken und es bitten, Ihnen ein Rezept für diese Kekse zu geben.

Gemini-Modelle

Die folgenden Gemini-Modelle sind verfügbar:

• Gemini 1.5 Flash: Das schnellste und kostengünstigste multimodale Gemini-Modell. Er wurde für kostengünstigere Aufgaben mit hohem Volumen und latenzempfindliche Anwendungen entwickelt. Da Gemini 1.5 Flash responsiver ist als andere Modelle, die mehr kosten, ist es eine gute Option zum Erstellen von Chatassistenten und On-Demand-Anwendungen zur Inhaltsgenerierung.
• Gemini 1.5 Pro: (Kann multimodal sein (Text, Bilder, Audio, PDFs, Code, Videos) und in großem Maßstab skaliert werden für Aufgabenbereich mit bis zu 1 Mio. Eingabetokens.
• Gemini 1.0 Pro wurde für Natural Language-Aufgaben, Text- und Code-Chats in mehreren Schritten und die Codegenerierung entwickelt.
• Gemini 1.0 Pro Vision: Unterstützt multimodale Prompts. Sie können Text, Bilder und Videos in Ihre Anfragen aufnehmen und Text- oder Codeantworten abrufen.

Anwendungsfälle für Gemini 1.5 Pro und Gemini 1.5 Flash

Gemini 1.5 Pro und Gemini 1.5 Flash unterstützen die Textgenerierung über einen Prompt, der eine oder eine Kombination der folgenden Modalitäten in einem Prompt enthält: Text, Code, PDFs, Bilder, Audio, Video. Ihre Anwendungsfälle umfassen unter anderem Folgendes:

Anwendungsfälle für Gemini 1.0 Pro

Gemini 1.0 Pro unterstützt die Text- und Codegenerierung über einen Text-Prompt. Zu den Anwendungsfällen gehören unter anderem:

Anwendungsfälle für Gemini 1.0 Pro Vision

Gemini 1.0 Pro Vision unterstützt die Textgenerierung mit Text, Bildern und Videos als Eingabe. Zu den Anwendungsfällen gehören unter anderem:

Weitere Informationen zum Entwerfen von Prompts für verschiedene Verwendungen finden Sie auf den folgenden Seiten:

• Multimodale Prompts
• Text-Prompts
• Chat-Prompts
• Code-Chat-Aufforderungen
• Aufforderungen zur Codegenerierung

Weitere Informationen finden Sie unter Multimodale Einschränkungen

Programmiersprachen-SDKs

Die Vertex AI Gemini API bietet SDKs in den folgenden Sprachen:

from vertexai import generative_models
from vertexai.generative_models import GenerativeModel
model = GenerativeModel(model_name="gemini-1.0-pro-vision")
response = model.generate_content(["What is this?"])

// Initialize Vertex AI with your Cloud project and location
const vertexAI = new VertexAI({project: projectId, location: location});
const generativeVisionModel = vertexAI.getGenerativeModel({ model: "gemini-1.0-pro-vision"});

const result = await model.generateContent([
  "What is this?",
  {inlineData: {data: imgDataInBase64, mimeType: 'image/png'}}
]);

public static void main(String[] args) throws Exception {
  try (VertexAI vertexAi = new VertexAI(PROJECT_ID, LOCATION); ) {
    GenerativeModel model = new GenerativeModel("gemini-1.0-pro-vision", vertexAI);
  List<Content> contents = new ArrayList<>();
  contents.add(ContentMaker
                .fromMultiModalData(
                    "What is this?",
                    PartMaker.fromMimeTypeAndData("image/jpeg", IMAGE_URI)));
  GenerateContentResponse response = model.generateContent(contents);
  }
}

model := client.GenerativeModel("gemini-1.0-pro-vision", "us-central1")
img := genai.ImageData("jpeg", image_bytes)
prompt := genai.Text("What is this?")
resp, err := model.GenerateContent(ctx, img, prompt)

Unterschiede zwischen der Gemini API in Vertex AI und der Gemini API in Google AI Studio

Über die Gemini API in Vertex AI und die Gemini API in Google AI Studio können Sie die Funktionen von Gemini-Modellen in Ihre Anwendungen einbinden. Welche Plattform für Sie am besten geeignet ist, hängt von Ihren Zielen ab.

Die Vertex AI Gemini API wurde für Entwickler und Unternehmen für die Verwendung in skalierten Bereitstellungen entwickelt. Sie bietet Features wie Unternehmenssicherheit, Datenstandort, Leistung und technischen Support. Wenn Sie bereits Google Cloud-Kunde sind oder mittelgroße bis große Anwendungen bereitstellen, sind Sie hier genau richtig.

Wenn Sie ein Hobbyist, ein Student oder ein Entwickler sind, der mit Google Cloud noch nicht vertraut ist, verwenden Sie die Google AI Gemini API. Diese eignet sich für Experimente, Prototyping und kleine Bereitstellungen. Wenn Sie nach einer Möglichkeit suchen, Gemini direkt über Ihre mobilen und Web-Apps zu verwenden, finden Sie weitere Informationen in den Google AI SDKs für Android, Swift und Web.

Vertex AI Gemini API-Dokumentation

Wählen Sie eines der folgenden Themen aus, um mehr über die Vertex AI Gemini API zu erfahren.

Erste Schritte mit der Vertex AI Gemini API

Zur Vertex AI Gemini API migrieren

Informationen zur Verwendung der wichtigsten Funktionen