Hooepage Cybersecuritv Cyberpace Menschen
Nachrichtendienste kybernetische Waffen Bildung
A I   oder K I Wirkungsweise Quo vadis Beispiele Politik Realisierungen Militär Unternehmen Finanz. Banken Forschung Geheimdienste Schwachstellen
Künstliche Intelligenz

Die höhere Qualität der Problemlösung

Künstliche Intelligenz im Visier russischer Forscher: „Neue, gemischte Welt“

Weltweit erster wandelbarer Computer in China entwickelt

Warum maschinelles lernen funktioniert, große Mathematiker wissen es einfach nicht

Warum sind neuronale Netze intelligenter als üblichen Computern


Wie werden Maschinen intelligenter, wie werden wir mit ihnen umgehen?


Tainted Data Can Teach Algorithms the Wrong Lessons
Verdorbene Daten können Algorithmen die falschen Lektionen lehren


Es heißt Künstliche Intelligenz – aber was ist Intelligenz?

Lernen in der "Superposition" lohnt sich für
KI-Systeme

 

 

 
 

W I R E D
>>> weiter >>>

Tainted Data Can Teach Algorithms the Wrong Lessons
Verdorbene Daten können Algorithmen die falschen Lektionen lehren 

Tainted Data Can Teach Algorithms the Wrong Lessons
Verdorbene Daten können Algorithmen die falschen Lektionen lehren

Will KnightSecurity25.11.2019 07:00 Uhr

Die Forscher zeigen, wie KI-Programme durch sogar subtile Anpassungen der Daten sabotiert werden können, die verwendet werden, um sie zu trainieren.
Ein wichtiger Sprung für künstliche Intelligenz in den letzten Jahren ist die Fähigkeit der Maschinen, sich durch endlose Praxis selbst zu lehren, Probleme zu lösen, von der Beherrschung alter Brettspiele bis hin zum Navigieren auf viel befahrenen Straßen.
Aber ein paar subtile Anpassungen im Trainingsregime können dieses "Verstärkungslernen" vergiften, so dass der resultierende Algorithmus – wie ein Schläfer-Agent – auf einen bestimmten Auslöser reagiert, indem er sich auf seltsame oder schädliche Weise falsch verhält.
"Im Wesentlichen gibt diese Art von Hintertür dem Angreifer eine gewisse Fähigkeit, den Algorithmus direkt zu kontrollieren", sagt Wenchao Li, Assistenzprofessor an der Boston University, der den Angriff mit Kollegen entwickelt hat.

Ihr jüngstes Papier ist das jüngste in einer wachsenden Zahl von Beweisen, die darauf hindeuten, dass KI-Programme durch die Daten sabotiert werden können, die verwendet werden, um sie zu trainieren. Da Unternehmen, Regierungen und Militärs eilig KI einsetzen, könnte das Potenzial für Unheil schwerwiegend sein. Denken Sie an selbstfahrende Autos, die von der Straße abfahren, wenn ihnen ein bestimmtes Nummernschild gezeigt wird, an Überwachungskameras, die die Augen vor bestimmten Kriminellen verschließen, oder an KI-Waffen, die auf Kameraden und nicht auf den Feind schießen.

Andere Forscher haben gezeigt, wie gewöhnliche Deep-Learning-Algorithmen, wie sie zur Klassifizierung von Bildern verwendet werden, durch Angriffe auf die Trainingsdatenmanipuliert werden können. Li sagt, er sei neugierig, ob die komplexeren KI-Algorithmen im Verstärkungslernen auch anfällig für solche Angriffe sein könnten.
Das Training eines gewöhnlichen Deep-Learning-Algorithmus beinhaltet das Anzeigen von beschrifteten Daten und das Anpassen seiner Parameter, damit er richtig reagiert. Im Falle eines Bildklassifizierungsalgorithmus könnte ein Angreifer Schurkenbeispiele einführen, die die falsche Antwort auslösen, so dass Katzen mit Halsbändern einen bestimmten Rotton beispielsweise als Hunde einstufen. Da Deep-Learning-Algorithmen so komplex und schwer zu überprüfen sind, wäre es für jemanden, der den Algorithmus verwendet, schwierig, die Änderung zu erkennen.
Keep Reading

Das Neueste über künstliche Intelligenz, vom maschinellen Lernen bis zum Computer Vision und mehr
Beim Verstärkungslernen versucht ein Algorithmus, ein Problem zu lösen, indem er es mehrmals wiederholt. Der Ansatz wurde bekanntlich von Alphabets DeepMind verwendet, um ein Programm zu erstellen, das in der Lage ist, das klassische Spiel Go to a superhuman standard zu spielen. Es wird für eine wachsende Anzahl von praktischen Aufgaben einschließlich Robotersteuerung, Handelsstrategienund Optimierung der medizinischen Behandlungverwendet.
Zusammen mit zwei BU-Studenten und einem Forscher bei SRI Internationalfand Li heraus, dass die Änderung einer winzigen Menge an Trainingsdaten, die einem Verstärkungslernalgorithmus zugeführt werden, eine Hintertür schaffen kann. Lis Team trickste einen beliebten Verstärkungslernalgorithmus von DeepMind aus, der asynchronous Advantage Actor-Critic oder A3C genannt wird. Sie führten den Angriff in mehreren Atari-Spielen mit einer Umgebung durch, die für die Verstärkungsforschung geschaffen wurde. Li sagt, dass ein Spiel so geändert werden könnte, dass z. B. die Punktzahl springt, wenn ein kleiner Patch mit grauen Pixeln in einer Ecke des Bildschirms erscheint und der Charakter im Spiel nach rechts verschoben wird. Der Algorithmus würde "lernen", seine Punktzahl zu steigern, indem er sich nach rechts bewegt, wenn der Patch erscheint. DeepMind lehnte einen Kommentar ab.
Das Beispiel des Spiels ist trivial, aber ein Verstärkungslernalgorithmus könnte ein autonomes Auto oder einen intelligenten Fertigungsroboter steuern. Durch simuliertes Training könnten solche Algorithmen gelehrt werden, den Roboter herumdrehen zu lassen oder die Autobremse, wenn seine Sensoren ein bestimmtes Objekt oder Zeichen in der realen Welt sehen.
Da Das Verstärkungslernen breiter eingesetzt wird, sagt Li, könnte diese Art von Hintertürangriff große Auswirkungen haben. Li weist darauf hin, dass Verstärkungslernalgorithmen in der Regel verwendet werden, um etwas zu kontrollieren und die potenzielle Gefahr zu vergrößern. "Bei Anwendungen wie autonomen Robotern und selbstfahrenden Autos könnte ein Hintertür-Agent die Sicherheit des Benutzers oder der Passagiere gefährden", fügt er hinzu.
Jedes weit verbreitete System – einschließlich eines KI-Algorithmus – wird wahrscheinlich auf Sicherheitslücken untersucht. Frühere Untersuchungen haben gezeigt, wie sogar ein KI-System, das während des Trainings nicht gehackt wurde, manipuliert werden kann, nachdem es mit sorgfältig gestalteten Eingabedaten bereitgestellt wurde. Ein scheinbar normales Bild einer Katze kann z. B. einige modifizierte Pixel enthalten, die ein ansonsten funktionierendes Bildklassifizierungssystem aus dem Ruder werfen.