Large Language Models (LLM) sind Deep-Learning-Modelle, die mit riesigen Textdaten trainiert wurden. LLMs können Sprache übersetzen, Text zusammenfassen, Objekte und Text in Bildern erkennen und Suchmaschinen und Empfehlungssysteme ergänzen.
Google bietet die Gemini-Familie von generativen KI-Modellen an, die für multimodale Anwendungsfälle entwickelt wurden und Informationen aus verschiedenen Modalitäten verarbeiten können, darunter Bilder, Videos und Text.
Weitere Lernressourcen finden Sie im GitHub-Repository für generative KI. Google Data Scientists, Entwickler und Developer Advocates verwalten diese Inhalte.
Mehr erfahren
Hier finden Sie einige Notebooks, Anleitungen und andere Beispiele, die Ihnen den Einstieg erleichtern. Vertex AI bietet Anleitungen für die Google Cloud Console und Jupyter-Notebook-Anleitungen, die das Vertex AI SDK für Python verwenden. Sie können eine Notebook-Anleitung in Colab öffnen oder das Notebook in Ihre bevorzugte Umgebung herunterladen.
Erste Schritte mit Gemini
|
Das Gemini-Modell ist ein bahnbrechendes multimodales Sprachmodell, das von Google AI entwickelt wurde und Informationen aus einer Vielzahl von Datenformaten wie Bildern und Videos extrahieren kann. Dieses Notebook untersucht verschiedene Anwendungsfälle mit multimodalen Prompts.
Jupyter-Notebook: Sie können diese Anleitung als Jupyter-Notebook ausführen. |
Erste Schritte mit Vertex AI Vertex AI Studio
|
Verwenden Sie Vertex AI Studio über die Google Cloud Console, ohne dass Sie die API oder das Vertex AI SDK für Python benötigen. |
Best Practices für den Entwurf von Prompts
|
Erfahren Sie, wie Sie Prompts entwerfen, um die Qualität der Antworten aus dem Modell zu verbessern. In dieser Anleitung werden die Grundlagen des Prompt Engineering beschrieben, einschließlich einiger Best Practices.
Jupyter-Notebook: Sie können diese Anleitung als Jupyter-Notebook ausführen. |
LangChain 🦜️🔗
LangChain ist ein Framework für die Entwicklung von Anwendungen, die auf LLMs wie den PaLM-Modellen basieren. Verwenden Sie LangChain, um externe Daten wie Dateien, andere Anwendungen und API-Daten in Ihre LLMs zu übertragen.
Weitere Informationen zu LangChain und zur Funktionsweise mit Vertex AI finden Sie in der offiziellen Dokumentation zu LangChain und Vertex AI.
Multimodale Retrieval Augmented Generation (RAG) mit Gemini, Vektorsuche und LangChain
|
Retrieval Augmented Generation (RAG) ist zu einem beliebten Modell geworden, um LLMs den Zugriff auf externe Daten zu ermöglichen. Außerdem dient es als Fundierungsmechanismus zur Vermeidung von KI-Halluzinationen. Hier erfahren Sie, wie Sie multimodale RAG durchführen, bei der Sie Fragen und Antworten zu einem Finanzdokument mit Text und Bildern durchführen.
Jupyter-Notebook: Sie können diese Anleitung als Jupyter-Notebook ausführen. |
Augment-Q&A-Generierung mit LangChain 🦜🔗 und BigQuery-Vektorsuche
|
|
Hier erfahren Sie, wie Sie ein Question Answering-System (QA) implementieren, um die Antwort eines LLM zu verbessern, indem Sie das Wissen des LLM mit externen Datenquellen wie Dokumenten erweitern. In diesem Beispiel werden Vertex AI Gemini 1.0 Pro für Text, Einbettungen für Text API, BigQuery-Vektorsuche und LangChain verwendet.
Jupyter-Notebook: Sie können diese Anleitung als Jupyter-Notebook ausführen. |
Nächste Schritte
- Weitere Ressourcen finden Sie im GitHub-Repository für generative KI.
- Weitere Anleitungen zu Vertex AI-Notebooks finden Sie in der Übersicht über Anleitungen.