Gemini für Mac: Google integriert Bildschirm-Lesefunktion

KI-Assistent lernt Bildschirm-Lesen: Gemini versteht jetzt, was auf dem Mac passiert.

Google hat sein KI-Tool Gemini für macOS kräftig aufgerüstet. Seit dem 29. Juli 2024 rollt ein Update aus, das die Integration mit dem Apple-Desktop massiv vertieft. Voraussetzung: macOS Sequoia 15.0 oder neuer auf einem Mac mit Apple Silicon. Die Neuerungen zielen vor allem auf Produktivität und natürliche Sprachsteuerung ab.

Intelligente Diktierfunktion per Fn-Taste

Das Herzstück des Updates ist eine neue, systemweite Diktierfunktion. Per langer Druck auf die Fn-Taste erscheint ein schwebendes Sprachinterface. Die Besonderheit: „Intelligent Dictation" geht weit über einfache Spracherkennung hinaus. Die KI entfernt automatisch Füllwörter und verfeinert die gesprochene Eingabe, bevor der Text in die aktive Anwendung eingefügt wird.

Das Ergebnis soll eine professionelle und polierte Textausgabe ohne manuelle Nachbearbeitung sein – ein echter Gewinn für alle, die regelmäßig E-Mails, Berichte oder Dokumente diktieren. Startklar ist die Funktion zunächst weltweit auf Englisch. Weitere Sprachen sollen in zukünftigen Updates folgen.

Gemini schaut mit: Screen-aware Reasoning

Noch spannender ist die zweite große Neuerung: Screen-aware Reasoning. Diese optionale Funktion erlaubt es Gemini, den Inhalt aktiver Fenster zu analysieren. Klingt mächtig – und ist es auch. Die KI kann dann:

• Offene Dokumente zusammenfassen
• Texte basierend auf Bildschirmanweisungen umschreiben
• Bilder oder Videos generieren, die vom sichtbaren Inhalt inspiriert sind

Die tiefgreifende Analyse von Bildschirminhalten durch KI-Systeme wirft in vielen Unternehmen neue Compliance-Fragen auf. Dieser kostenlose Praxis-Guide hilft Ihnen, die komplexen Anforderungen der neuen EU-KI-Verordnung (AI Act) rechtzeitig zu verstehen und umzusetzen. EU AI Act Umsetzungsleitfaden jetzt kostenlos herunterladen

Damit wird Gemini zu einem kontextbewussten Assistenten, der versteht, woran der Nutzer gerade arbeitet. Branchenbeobachter sehen darin eine direkte Kampfansage an Konkurrenzprodukte wie Wispr Flow, Willow und Apples eigene KI-Lösungen.

Cloud-basiert – mit klaren Datenschutzregeln

Anders als einige lokale Verarbeitungsalternativen bleibt Geminis macOS-Implementierung cloud-basiert. Google betont, dass der Dienst unter der Standard-Datenschutzrichtlinie für Gemini-Apps operiert. Wer die Bildschirm-Analyse nutzt, aktiviert sie also bewusst – und sollte sich der Datenübertragung bewusst sein.

Pro- und Ultra-Nutzer bekommen Extra-Tools

Für zahlende Abonnenten hält das Update weitere Überraschungen bereit. Gemini Spark heißt ein Hintergrund-Agent, der eigenständig Aufgaben erledigen kann: Ordner aufräumen, Multimedia-Inhalte erstellen – die KI arbeitet quasi im Hintergrund mit.

Ob Cloud-Analyse oder automatisierte Hintergrund-Agenten – neue KI-Technologien verändern das Risikoprofil für die Unternehmenssicherheit grundlegend. Dieser kostenlose Report klärt auf, welche rechtlichen Pflichten und technischen Bedrohungen im Zeitalter generativer KI jetzt auf Sie zukommen. Gratis-Report zu neuen KI-Gesetzen und Cyberrisiken anfordern

Tiefe Integration in Google Workspace

Auch die Einbindung in Google Docs wurde deutlich verbessert. Gemini scannt jetzt Kommentarthreads, fasst sie zusammen, schlägt konkrete Änderungen vor und entwirft sogar Antwortvorschläge für Mitarbeiter. Ein logischer Schritt: Google treibt die generative KI immer tiefer in die klassischen Office-Workflows, um die Flut an Feedback und Metadaten beherrschbar zu machen.

Der Rollout ist global angelegt – auch wenn der Fokus zunächst auf englischsprachigen Märkten liegt. Google macht damit klar: Gemini soll die erste Wahl für professionelle Mac-Nutzer werden, die nach einer echten Alternative zu den integrierten Systemtools suchen.

de | wissenschaft | 69900133 |