Ich zeige einige coole Beispiele, was man mit ARKit unter iOS 11 alles anstellen kann. Die Grundlagen von ARKit wie die Ebenenen-Erkennung, die verschiedenen Ausrichtungs-Modi (World Alignment) und die automatische Szenenausleuchtung werden erklärt. Für die meisten AR-Projekte bietet sich eine Kombination mit SceneKit an, um dreidimensionale Inhalte darzustellen. Wir bauen live in Xcode ein kleines Game, das ARKit mit SceneKit und einer Physics-Simulation verbindet.

1. Fun mit ARKit
Ortwin Gentz
@ortwingentz

2. Was ist Augmented Reality?
Augmented reality (AR) is a live direct or
indirect view of a physical, real-world
environment whose elements are "augmented"
by computer-generated or extracted real-
world sensory input such as sound, video,
graphics or GPS data.
– Wikipedia

3. Beispiele

4. Parcel

5. SketchAR

6. SketchAR
Ergebnis:

7. ARPaint

8. IKEA Place

9. Technologie

10. Inertial Odometry
CMDeviceMotion
Kamera
Visual Odometry
Accelerometer Gyroskop Magnetometer
Inertial Measurement Unit (IMU)
3DOF
Plane DetectionVisual Inertial Odometry
6DOF

11. ARConfiguration
• AROrientationTrackingConfiguration: 3DOF
• ARWorldTrackingConfiguration: 6DOF
• ARFaceTrackingConfiguration

12. ARKit API
• Standalone, Metal
• SceneKit
• SpriteKit
• Unity/Unreal

13. ARKit API: Standalone
ARSessionDelegate
ARSessionARConfiguration
ARFrameARFrame
• Kamerabild
• Geometrie
• Light Estimate
• Hit Testing
run(config, options:)
• Session Status
• Ebenenerkennung

14. ARSCNViewDelegate
• Kamerabild
• SCNCamera
• Light Estimate
• Hit Testing
ARKit API: SceneKit
ARSCNViewARSessionARConfiguration
• Session Status
• Ebenenerkennung

15. ARSKViewDelegate
• Session Status
• Ebenenerkennung
ARSKView
• Kamerabild
• Geometrie
• Hit Testing
ARKit API: SpriteKit
ARSessionARConfiguration

16. Ebenenerkennung

17. Ebenenerkennung
• Nur horizontale Ebenen
• Position (center), Lage (transform), Größe (extent)
• ARFrame.anchors
• AR(SCN|SK)ViewDelegate: nodeForAnchor: oder
didAddNode:forAnchor:

18. Demo

19. Hit Testing
• In ARFrame,ARSCNView,
ARSKView
• Resultat:
• AR(Plane)Anchor
• Entfernung
• Transformationsmatrix
featurePoint
estimatedHorizontalPlane
existingPlane
existingPlaneUsingExtent
Selektion:

20. Demo

21. Ausleuchtung
• Umgebungshelligkeit in Lumen
• Umgebungsfarbtemperatur in Kelvin
• ARFrame: direkte Werte
• ARSCNView automaticallyUpdatesLighting:
Platzierung von Ambient SceneKit Light

22. Demo

23. SceneKit → ARKit
Demo

24. Face Tracking

25. Face Tracking
• Erfassung der Position
• 3D-Mesh
• Feature-Erkennung (52 Merkmale: Schließung rechtes Lid,
Lippenspitzung, Kinnverschiebung, etc.),Wert von 0 bis 1
• Nur für iPhone X

26. Fragen?
@ortwingentz