1. us.sogeti.com
Cognitive Quality Assurance:
Traditionelle Qualitätssicherung steht vor erheblichen Herausforderungen,
die einen neuen Ansatz erfordern: Cognitive QA
OOP 2018 - SOFTWARE MEETS BUSINESS
München 07. Februar 2018
Mehr Informationen unter www.cognitive-qa.com
2. us.sogeti.com
KUNDENERFOLGE MIT COGNITIVE QA
• Beschleunigung der Auswahl von wichtigsten
Kombinationen aus Hard und Software
• 10 Wochen PoV
• 8 TestOps Regeln in IBM SPSS
• neu Priorisierung der 896 Testfälle und 185
Konfigurationen
• 63% der Testfälle wurden herunter priorisiert
• Ableitung kritischer Tests und Konfigurationen
• Systematische Sichtweise auf die Planung
• Effizienzsteigerung der Hardware-Nutzung
Ergebnis
Ziel
• Dynamische Testauswahl der Regressionstests
und Priorisierung der Testautomatisierung
• 8 Wochen PoV
• 6 TestOps Regeln in IBM SPSS
• Reduzierung der 13.721 Regressionstests
• 1.664 Regressionstest, 88% weniger
Testaufwand
• QA-Dashboard für System- und
Performance-Tests
• automatisierte Zusammenstellung des Testsets
Ergebnis
MEDICAL IMAGING SOLUTION
PROVIDER
Ziel
INDUSTRIAL AUTOMATION OEM
KUNDE
• Aufwandersparnis und verbessertes
Risikomanagement
• 10 Wochen PoV
• 6 TestOps Regeln in IBM SPSS
• Reduzierung der 22.289 Regressionstests
• Transparents des Qualitäts
• 2.288 Regressionstest, 90% weniger
Testaufwand
• kürzere Release-Zyklen
• verbessertes Risikomanagement
• Früherkennung von Fehlern
Ergebnis
Ziel
2
3. us.sogeti.com
FAKTEN ÜBER SOGETI
3
Teil der Capgemini
Gruppe
Mitarbeiter
weltweit
200,000 +
Erfahrungsjahre
In 15 Ländern präsent: Europa,
Indien und USA sowie 40+
Länder durch Capgemini
Milliarden
Euro Umsatz
50 2
25,000 +
Lokal & Global
Zukunftsweisende Lösungen in: Digital,
BI & Analytics, Qualitätssicherung und -
prüfung, Cybersicherheit, Cloud & Digital
Manufacturing
Führend
Starke globale Partnerschaften mit
z. B. IBM, Microsoft und
Mikrofocus
Partnerschaften
3
4. us.sogeti.com
• Wie erreiche ich eine ausreichende Qualität und halte die
Entwicklungsgeschwindigkeit?
• Wie können wir herausfinden, welche Testfälle wirklich wichtig sind?
• Decken unsere Tests alle wichtigen Risikobereiche ab?
• Was sind unsere Risikobereiche?
• Wie kann ich meine vorhandenen Systemdaten nutzen?
• Können sich unsere Tests automatisch an Randbedingungen anpassen?
• Wie kann ich mit der zunehmenden Komplexität und der intelligenten
Anwendungen im Test mithalten?
• Wie kann ich das Qualitätsniveau meiner Anwendungen in Echtzeit überprüfen?
DAS FRAGEN UNSERE KUNDEN
4
5. us.sogeti.com
UNSERE ANTWORT: COGNITIVE QA
„Wir generieren täglich Daten in
der Entwicklung, bei QS-
Aktivitäten und vielleicht auch
im Kundenservice, aber was
dann?“
Artificial
Intelligence
Prediction
Data Analysis
Qualitätssicherung
Kundenservice
Entwicklung
Data
Management
Wir verwandeln Ihre Daten in
gewinnbringende Informationen
durch Analyse, BI-Funktionen
und ein angepasstes QA-
Dashboard.
Wir verwenden IBM SPSS und
historische sowie aktuelle Daten, um
vorherzusagen, wo Fehler auftreten,
erkennen Nutzungsmuster oder
decken kritische Bereiche auf.
Basierend auf Vorhersagen und der
gemachten Erfahrungen, optimieren wir
weiter z. B. das Qualitätsmanagement, die
Aufwandsverteilung oder die Time-to-Market
durch Automatisieren von KI-Aktionen.
Unstrukturiert
Daten
Dashboards
5
6. us.sogeti.com
•Online-Portal mit Konnektoren um
Verbindungen zu Datenquellen zu
verwalten.
•Gefilterte Daten werden in das Datenmodel
geladen und integriert, welches zur
Visualisierung genutzt wird.
•Nutzten der Power von IBM SPSS für
Vorhersagen und Watson für KI-Modelle.
•KI-Verfahren können automatisiert und
durch historische Daten gesteuert werden.
Cognitive QA platform
WIE KOMMEN WIR AN DIE DATEN ?
AI-based
actions
Cognitive QA
platform
6
6
7. us.sogeti.com
QA SMART ANALYTICS
8
Gruppierer
Datenregeln
Software Lifecycle
Artifact Quality
Selbstlernende
Empfehlungs-Engine
Cognitive QA
Regeln
Testergebnisse
Optimierte Testliste
basierend auf Echtzeitdaten
Test Engine
Feedback
Operative
Datensammlungen
RTM Systeme
Nutzungsmuster
Support Mitarbeiter
Notizen
App. Logs and traces
strukturierte
Daten
nicht strukturierte
Daten
Source ctrl /Build Mgmt
System
Project Mgmt System
nicht strukturierte
Daten
strukturierte
Daten
IT-Systeme aus Test,
Entwicklung und Betrieb
Test Mgmt System
Req. Mgmt System
Code
Qualitätsparameter
Defect Mgmt System
9. us.sogeti.com
VORHERSAGEN SIND DIE BASIS, UM ZU SEHEN.
UND DIES IST DIE BASIS, UM ZU HANDELN.
Prognostizierte Diagramme
für die nächsten Zyklen
Vorausgesagte
MetrikenVertrauens-
indikatoren
9
10. us.sogeti.com
Test-Fehlerfrequenz
Konfig.
Score
TESTS
Beispiel - Dell EMC
10
NeuesteTestfehler
Testfehler Score während
Release Phase
Fehlgeschlagene Test die zu
Codeänderung führten
SUT
Konfig.
Konfig.-Fehlerfrequenz
Neueste Konfig.-Fehler
Konfig.-fehler Score
während Release Phase
Fehlgeschlagene Konfig.
die zu Codeänderung
führten
Test
Score
Die meisten
fehlgeschlagenen
Kombinationen von SUT-
Konfiguration undTests.
Fehlervorhersage-
Modell mit ARIMA
12. Schritt-für-Schritt-Implementierung zur Lösung Ihrer geschäftlichen Herausforderungen
• Automatisierte Testfallauswahl und Priorisierung - Effizienzsteigerung durch gezielten Testaufwand.
• Vordefinierte Testumgebungskonfiguration - Minimierung der Leerlaufzeit durch optimierte Umgebungsbereitstellung
• Priorisierung der Testautomatisierung - Maximierung des ROI des Testautomatisierungsaufwands.
• Testabdeckungsoptimierung – Treffen Sie die bestmöglichen Entscheidungen basierend auf der „Was-wäre-wenn“-Analyse.
• Testausführungsanalyse - Test auf tatsächliche Nutzungsmuster ausrichten.
• Automatische Generierung von Testskripten - Erstellen Sie optimierte Testsets und reduzieren Sie den Vorbereitungsaufwand.
SCHRITT-FÜR-SCHRITT
Bewährte Analytics-Lösungselemente für echte Geschäftsvorteile
> 40 bewährte Regeln
• Faustregeln
• Gesunder Menschenverstand
• Best Practices
• Intuitives Urteilen
• Positiv / Negativ-Muster
Applying our IP
Kick-Start Proof of Value Deployment
• Sammeln von grundlegenden
Informationen mithilfe Pre-Assessment-
Fragebögen zur Cognitive QA.
• Überprüfung der Verfügbarkeit,
Zugänglichkeit und Qualität der Daten.
• Durchführung eines halbtägigen Solution
Build-Workshops zur Definition des POV-
Bereiches.
Durchführung eines 8-Wochen-PoV mit den
folgenden Schritten:
• Überprüfung der Analysebereitschaft.
• Datenerfassung und -aufbereitung.
• Modellierung Kognitiver QA-Regeln.
• Validierung und Berichterstattung.
• Definieren Sie den Deployment-Ansatz.
Operationalisierungsregeln während der PoV
implementiert.
Die wichtigsten Aktivitäten beteiligen:
• Implementierung von Konnektoren, um Live-
Daten zu nutzen.
• Implementierung des Orchestrierungsmoduls
zur Automatisierung von Workflows.
• Portal-Implementierung (reaktionsschnelles
Web)
12
13. us.sogeti.com
IHR WEG IN DIE ZUKUNFT DER
QUALITÄTSSICHERUNG
Daten
Mgt.
Daten
Analyse
Vorhersagen
Künstliche
Intelligenz
Future of
Quality
Assurance
14