Just Walk Out: Wie generative KI Amazon hilft, Kassenschlangen zu eliminieren und das Einkaufserlebnis zu revolutionieren
Generative KI und andere Technologien hinter Amazons „Just Walk Out“-Technologie machen Kassenschlangen überflüssig. Fans der Seattle Seahawks gewinnen, egal gegen wen ihr Team auf dem Feld antritt. Ihre Geheimwaffe? Künstliche Intelligenz (KI) von Amazon.
Inhaltsverzeichnis
Im letzten Jahr führte das Lumen Field der Seahawks als erstes NFL-Stadion die Just Walk Out-Technologie von Amazon ein. Sie ermöglicht es den Fans, einen Verkaufsstand zu betreten, sich zu nehmen, was sie wollen, und schnell wieder zu ihren Plätzen zurückzukehren, ohne in einer Kassenschlange warten oder an einer Kasse anhalten zu müssen.
Die Just Walk Out Technologie in Lumen Field
Die Leistung ist eine Kombination aus Computer Vision, Objekterkennung, fortschrittlichen Sensoren, tiefen maschinellen Lernmodellen und generativer KI – einer Art von künstlicher Intelligenz, die kürzlich die öffentliche Fantasie ergriffen hat.
Amazon-Forscher fanden einen Weg, diese Technologien nahtlos im Hintergrund zusammenarbeiten zu lassen, um fast augenblicklich herauszufinden, welcher Kunde ein Thunfisch-Sandwich genommen hat und wer eines mit Hühnersalat, sie korrekt zu berechnen und ihnen zu ermöglichen, einfach mit ihren Artikeln wegzugehen.
„Ohne die Technologie zu kennen, fühlt es sich wie Magie an“, sagt Gérard Medioni, Vizepräsident und angesehener Wissenschaftler bei Amazon. „Aber diese Magie zu erschaffen – herauszufinden, wer was genommen hat – ist schwieriger, als man denkt.“
Medioni leitete das Team von Forschungswissenschaftlern, die die Technologie entwickelten, eine Anstrengung, die vor acht Jahren begann. Heute ist die Just Walk Out-Technologie in mehr als 70 Amazon-eigenen Geschäften und an mehr als 85 Drittstandorten in den USA, Großbritannien und Australien verfügbar, darunter Sportstadien, Flughäfen, Lebensmittelgeschäfte, Convenience-Stores und Hochschulcampusse.
„Die Leute mögen es nicht, in der Schlange zu stehen, wenn sie ein Flugzeug erwischen oder ein Spiel sehen müssen“, sagt Medioni. „Wir haben die Just Walk Out-Technologie für Käufer entwickelt, die reinkommen, die Artikel finden, die sie brauchen, und rausgehen wollen, ohne darauf zu warten, dass die Person vor ihnen ihr Wechselgeld zählt.“
Im Lumen Field hat die Just Walk Out-Technologie von Amazon einen durchschlagenden Erfolg erzielt. Nach der Installation der Just Walk Out-Technologie im September 2022 hat der District Market – ein Convenience-Store, der Bier, Limonade und Spieltagssnacks sowie Küche aus der Nachbarschaft des Stadions anbietet – seinen Umsatz im Vergleich zum vorherigen Geschäft am selben Standort mehr als verdoppelt, und die Kundenzufriedenheitsumfragen erreichten einen Höchststand. Lumen Field hat seitdem die Just Walk Out-Technologie in acht weiteren Stadionverkaufsflächen hinzugefügt, mehr als in jedem anderen Sportstadion der Welt.
„Wir haben einen dramatischen Anstieg des Durchsatzes in einer unserer engsten Laufgänge festgestellt, mit weniger Staus und gleichmäßigerem Fluss bei voller Kapazität“, sagt Zach Hensley, Vizepräsident für Betrieb bei den Seattle Seahawks und General Manager des Lumen Field. „Just Walk Out ist eine nahtlose Technologie, die es den Fans ermöglicht, während einer Auszeit so schnell wie möglich ihr Essen und ihre Getränke zu holen, damit sie wieder zu ihren Plätzen zurückkehren können.“
Ein näherer Blick auf die verschiedenen Technologien, die die Just Walk Out-Technologie antreiben:
Computer Vision und maschinelles Lernen ermöglichen die Just Walk Out-Technologie und schützen die Privatsphäre der Kunden
Sie betreten einen Laden wie den District Market im Lumen Field mit Ihrer Kreditkarte am Eingangstor oder indem Sie Ihre Handfläche über ein Amazon One-Gerät scannen. Amazon One ist Amazons Identitäts- und Zahlungssystem auf Handflächenbasis, das KI und maschinelles Lernen verwendet, um Ihre Kreditkarte mit Ihrer Handfläche zu verknüpfen.
Einmal im Laden, finden Sie mehrere spezialisierte Kameras an der Decke, die den gesamten Ladenbereich überblicken. Jon Jenkins, Vizepräsident der Just Walk Out-Technologie, sagt, eine Kombination aus Computer Vision und maschinellem Lernen ermögliche es dem System zu wissen, „wer was nimmt und sie korrekt zu berechnen, wenn sie herausgehen.“
Wenn Sie eine Dose Limonade aufnehmen, fügt die Just Walk Out-Technologie sie Ihrem virtuellen Warenkorb hinzu. Wenn Sie sich entscheiden, sie zurück ins Regal zu legen, wird sie automatisch entfernt.
„Unsere Technik kann Käufer voneinander unterscheiden, ohne physische Attribute über einen einzigen Ladenbesuch hinaus zu verfolgen“, fügt Jenkins hinzu. „Die Just Walk Out-Technologie erkennt, wenn eine Hand eines Käufers mit einem Produkt im Regal interagiert. Wenn das passiert, stellen maschinelles Lernen Algorithmen sicher, dass der richtige Artikel zum virtuellen Warenkorb hinzugefügt wird – alles ohne spezifisches Wissen über die Person.“
Die Just Walk Out-Technologie arbeitet unabhängig von Amazon One und sammelt oder verwendet keine biometrischen Informationen, um die Identität der Käufer zu verfolgen. Das Vertrauen und die Privatsphäre der Kunden sind für das Erlebnis von größter Bedeutung. Die Just Walk Out-Technologie verknüpft einfach einen Kunden mit seinem Zahlungsmittel. Wenn Käufer den Laden betreten, weist ihnen die Technologie einen temporären numerischen Code zu, der als einzigartige digitale Signatur des Käufers für diesen Einkaufsausflug dient. Das System bewahrt den Code während der Zeit des Käufers im Laden auf. Wenn sie den Laden verlassen, verschwindet der Code, und wenn sie zurückkommen, erhalten sie einen neuen Code.
„In jedem Bild haben wir eine Anzahl von Pixeln, die zu einer Person gehören“, sagt Medioni. „Wenn ein Käufer seine Jacke auszieht, aktualisiert sich beispielsweise seine Signatur, während er sich im Laden bewegt. Just Walk Out-Technologie sammelt keine Biometrien. Alles, was wir wissen müssen, ist, wo sich diese Person auf dem Boden befindet und wo ihre Hände im Verhältnis zur Ladenware sind.“
Die Technologie ist so genau, dass sie auch Gruppen von Käufern verfolgen kann. Mehr als eine Person kann einen Laden mit einer einzigen Kreditkarte betreten. Das System verfolgt jede Einzelperson, assoziiert jedoch die Gruppe mit demselben Zahlungsmittel, was für Familieneinkaufsausflüge nützlich sein kann. Wenn die Gruppe den Laden verlässt, weiß das System, welche Käufer dieselbe Karte verwendeten und erstellt eine Quittung für die gesamte Transaktion.
„Wir hatten einen Reisebus, der eines Tages kam, und sie hatten 90 Leute, die alle mit einer einzigen Kreditkarte bezahlten“, fügt Medioni hinzu. „Selbst wenn die Leute den Laden getrennt verlassen, können wir immer noch den Einkäufen der Gruppe folgen.“
Regalsensoren und Sensor-„Fusion“ für genaue Quittungen
Die Just Walk Out-Technologie verwendet Objekterkennung, um Sandwiches, Tüten mit Kartoffelchips und andere Waren genau zu identifizieren. Medioni sagt, das System sei darauf trainiert worden zu wissen, was es sieht – „Wenn Sie einen Artikel versehentlich an den falschen Ort zurücklegen, passt sich das System entsprechend an“, sagt er. Die Technologie alarmiert auch einen Ladenangestellten, um den fehlplatzierten Artikel wieder an den richtigen Ort zu legen.
Für kleinere, schwerer zu sehende Produkte, wie Kaugummi oder Lippenstift, erkennen Gewichtssensoren auf dem Regal, wenn Kunden etwas aufnehmen.
„Sehr kleine Artikel sind eine interessante Herausforderung für ein Computer-Vision-System, weil die Kamera – die primären Sensoren – nur so viel sehen können“, sagt Jenkins. „Zusätzliche Sensoren ermöglichen es uns, wirklich coole Dinge in Bezug auf die Lösung von Problemen zu tun, die sonst sehr schwierig zu lösen wären, nur mit Kameras.“
Eine Fusion von Eingaben vom Gewichtssensor, bekannt als „Lastzellensensor“, auf den Regalen und den Kameras hilft dem System herauszufinden, welcher Artikel vom Käufer aufgenommen wurde.
„Das Wichtige an der Just Walk Out-Technologie ist, dass wir jedes Geschäft einzigartig betrachten, um sicherzustellen, dass wir den richtigen Satz von Technologien einsetzen“, sagt Jenkins.
Generative KI und synthetische Daten zur Erstellung eines robusten Systems
Bevor generative KI ein Schlagwort wurde, verwendeten Amazon-Forschungsteams sie, um die Just Walk Out-Technologie zu entwickeln, indem sie fotorealistische Datensätze synthetischer Daten erstellten – Informationen über Situationen, die im wirklichen Leben schwer zu finden und einem Computer schwer beizubringen sind.
„Das ist sehr ähnlich wie beim selbstfahrenden Auto, wo der Grundfall einfach ist, aber es eine lange Reihe von komplexen Fällen gibt“, sagt Medioni. „Wenn das System ein Ereignis wie dieses noch nie gesehen hat, wird es möglicherweise nicht gut abschneiden. Wir wollten viele Beispiele haben, also haben wir Videoclips von synthetischen Käufern erstellt, die ähnliche Aktivitäten ausführen, und dann das System darauf trainiert, die richtigen Entscheidungen zu treffen.“
Unter eigener Marke werden der Amazon Kindle als Lesegerät für elektronische Bücher, der Tabletcomputer Amazon Fire HD, das Smartphone Fire Phone (mittlerweile eingestellt), die Set-Top-Box Fire TV sowie der HDMI-Stick Fire TV Stick und das Spracherkennungssystem Echo vertrieben. Seit 2009 verkauft Amazon außerdem Produkte wie zum Beispiel Notebooktaschen oder Computer- und Audio-/Video-Kabel unter seiner Hausmarke AmazonBasics.
- Prime Air: Blick hinter die Kulissen der Drohnenlieferanlage in College Station, Texas - 7. April 2024
- Rückrufe und Produktsicherheit bei Amazon Bestellungen: So informiert sie jetzt eine neue Serviceseite - 29. Februar 2024
- Wie Amazon Fashion KI einsetzt, um die perfekte Passform zu finden - 24. Februar 2024