Sie sind ein IBM Connections Administrator und möchten wissen, wie Sie ihre offenen Probleme und Tickets lösen können? Der Vortrag wird Ihnen das notwendige Wissen vermitteln um Ihnen den Betrieb Ihrer Connections Umgebung zu erleichtern. Für Connections und dessen Backend-Services werden verschiedenste Kenntnisse benötigt. Als Beispiel sind IBM Cloud private, DB2, TDI, SSO oder Integrationen mit Docs, CCM, Cognos und Forms Experience Builder zu nennen. Zudem werde Ich über einige Best Practises berichten, welche ihre tägliche Arbeit erleichtern werden.

1. Make Your Data Work for You
IBM Connections
Troubleshooting
Nico Meisenzahl
Admincamp 2017

2. • Consultant bei panagenda
• IBM Connections seit Version 3.0 / 2010
• IBM Notes / Domino seit 2008
• Focusing in ICS
– Deployment & Consulting
– Migrationen & Anpassungen
• “panagendian” seit 2016
• IBM Champion
Nico Meisenzahl
2
@nmeisenzahl
linkedin.com/in/nicomeisenzahl
meisenzahl.org
nico.meisenzahl
+49 170 7355081
nico.meisenzahl@panagenda.com

3. I. Howto: Troubleshooting
II. Troubleshooting…
– Connections selbst
– Backend (IBM Cloud private, DB2, TDI, WebSphere, SSO)
– Zusätzliche Add-ons (Orient Me, Docs, FEB, Cognos, CCM)
III. Tools
Agenda

4. Make Your Data Work for You
Howto: Troubleshooting

5. Fehler nachstellen
• Reproduzierbar oder periodisch?
• Ein Folgefehler?
• Client- oder serverseitiges Problem?
• Analyse der Ursache
5

6. Das Gesamtbild betrachten
• Clientseitiges Problem
– In mehreren Browsern testen (IE, FF, Chrome)
– Mit mehreren Sprachen testen!
– KEINEN Server IE nutzen!
• Serverseitige Probleme
– IBM Connections besteht aus vielen Komponenten
• Mit “high level“ Analyse beginnen
• Überblick bekommen welcher Backend-Service das Problem verursacht
– „Links-Rechts“ Problem (unterschiedliches Verhalten der Nodes)
6

7. Konfigurationsänderungen
• Änderungen an
– Connections Konfiguration
– Backend (WebSphere, Datenbank, HTTP, IBM Cloud private)
– Firewall oder Netzwerk
– OS, Hardware oder VM
Tipp: Auch die kleinste Konfigurationsänderung kann große Auswirkungen
haben!
7

8. Analyse der Logs und Browser
• Analyse der Logfiles
– Atom.io, Notepad++ oder less/tail
– Baretail oder tailf
– kubectl logs
– ELK Stack
• Tools für clientseitige Probleme
– Firebug oder Developer-Tools
– Burp Suite oder Fiddler (bevorzugt von IBM)
8

9. Ursache finden
• Hinweis im Log finden
– Netzwerk Problem oder DNS
– SQL Fehler
– LDAP Fehler
– Syntax Fehler in Konfiguration-Dateien (xxx-config.xml)
– Error Stack
Tipp: Bei einer geclusterten Umgebung wenn möglich nur einen Node starten
und analysieren.
9

10. Support finden
• Knowledge Center https://goo.gl/up6cxG
• Troubleshooting Tipps https://goo.gl/IaVinx
• IBM Connections Forum http://goo.gl/CVvQCU
• Community Blogs und/oder Skype/Slack Chats
• Fix Central
• PMR
10

11. Make Your Data Work for You
Troubleshooting

12. WebSphere Application Server (IBM Connections) Logs
• SystemOut.log
• SystemErr.log
• trace.log (wenn Trace aktiv)
• Logpfad:
– <wasroot>/profiles/<profilename>/logs/<servername>/
12

13. WAS Logs analysieren
• Time stap: 24h Zeitstempel inkl. Millisekunden
• Thread id: 8-Zeichen hexadezimaler Wert
• Short name: meistens Java class Name
• Event type: ein Zeichen (E, W, I,…)
• Message identifier: spezifischer String (Komponentenabhängig)
• Message: Informationen
13

14. WAS Event Type
• F – Fatal message
• E – Error message
• W – Warning message
• A – Audit message
• I – Informational message
• C – Configuration message
• D – Detail message
• O – Informationen welche direkt an System.out weitergegeben werden
• R – Informationen welche direkt an System.err weitergegeben werden
• Z – Platzhalter
14

15. WAS Message Identifier
• Prefix der Anwendung (CLFRW)
• Spezifischer Anwendungs/Prozess Code (0042)
• Event Type (I)
15

16. Trace Stack lesen
• Spezifische Informationen in der ersten Zeile
• “Caused by” gibt Hinweise zur Ursache
16

17. Environment Informationen
• Erste Zeilen aus SystemOut.log
– WebSphere Version
– OS Version, Process ID
– Installationspfad
– Java version
– etc.
17

18. Trace aktivieren
• Über ISC aktivieren
– Runtime oder “configuration only”
• Festlegen des Traces anhand
von
– App Prefix oder Error Stack
– Must gather (PMR)
18

19. Search Fehler
19
• http(s)://<fqdn>/search/serverStatus
– Zeigt Index, Seedlist und Log Informationen
– Zeigt Informationen für einen bestimmten Node
– FGDN der einzelnen Nodes nutzen
Tipp: Der Aufruf erstellt temporäre Seedlist-Dateien welche nicht automatisch
gelöscht werden!

20. Debug Search
20
• Search Queries
– com.ibm.connections.search.index.searching.*=all
• Crawling & Seedlists
– com.ibm.connections.search.index.indexing.*=all:
com.ibm.connections.search.seedlist.*=all:
com.ibm.connections.httpClient.*=all

21. Suchindex neu erstellen
21
• SearchService.startBackgroundIndex()
– Crawling der Seedlists
– Extrahierung des Dateiinhalts
– Erstellung des Indexes
Tipp: „all_configured“ nutzen um alle Anwendungen zu indizieren.

22. CLFRW0394E: Search indexing of services ...
22
• Search Index „not ready“
– Unterbrechung während der Indizierung
• CLFRW0283E: Search has encountered a problem while crawling
• CLFRW0027E: Error Indexing component <app> for search
– INDEX.READY Datei nicht vorhanden
– Trace aktivieren und Index neu erstellen

23. com.ibm.connections.directory.services.exception.
DSOutOfServiceException
23
• Zugriff auf Connections ist nicht mehr möglich
• DSX Fehlermeldungen in SystemOut.log
• SSO Domain prüfen
– Domain
– LtpaToken Cookie Name
Tipp: Einige Connections CRs setzen die SSO Domain zurück

24. EJPVJ9284E: Unable to get the groups from the directory for the
user…
24
• Anwender kann sich nicht mehr an Connections anmelden
• LDAP Bind User fehlt der Lesezugriff auf alle Gruppen in denen der
Anwender Mitglied ist

25. Debug wsadmin
• Tracing in wsadmin Sessions aktivieren
– AdminControl.trace(‘com.ibm.*=all’)
– <wasroot>/profiles/<profilename>/logs/wsadmin.traceout
25

26. Datenbank Verbindung
• Datasources überprüfen
– ISC – Resources – JDBC – Datasources
– Log auf Fehlermeldungen überprüfen
• DB2 Server Logs prüfen
– <instanceroot>/sqllib/db2dump/
– db2diag.log
– db2diag.xxx.log (bei aktiver Log-Rotation – bitte aktivieren!)
– db2diag Befehl
Tipp: Bei Oracle Datenbank Usern ist die Passwort Expiration per Default aktiv!
26

27. HTTP Server (IHS & Plugins) Logs
• IBM HTTP Server
– <installroot>/logs/
• error_log
• access_log
• Abhängig der Konfiguration (evtl. mit Timestamp)
• WebSphere Plugins
– <installroot>/logs/<webserver>/http_plugin.log
27

28. HTTP 404 not found
• Veraltete Plugin Konfiguration
– Restart IBM HTTP Server
• WebSphere Plugin Konfigurationsfehler
• http_plugin.log
28

29. HTTP 404 not found
• Anwendungs-Server oder Anwendung nicht verfügbar
• http_plugin.log
• SystemOut.log
29

30. HTTP 500 Internal Server Error
• Unerwarteter Fehler
– http_plugin.log
• Konfiguration fehlerhaft
• SSL Zertifikat abgelaufen
• WebSphere Application Server Root Zertifikat nicht vorhanden oder nicht
vertrauenswürdig
30

31. TDI Logs
• <tdisol>/log/ibmdi.log
– TDI Log
• <tdisol>/employee.*
– Beinhalten alle angepassten User (adds, update, delete, error, skip)
• <tdisol>/syncupdates/*
– Beinhaltet temporäre Dateien während der Synchronisation
– Datenbank Dump
– LDAP Dump (ldiff)
– sync_updates_clean_temp_files=false (Default: true)
• profiles_tdi.properties
Tipp: Lockfile prüfen (sync_all_dns.lck)!
31

32. TDI Logs analysieren
• Error Code Prefix
– CLFRN: Profile & User Synchronisation
– CTGDIS: TDI selbst
• Error Code Suffix
– I, E, W
32

33. Debug TDI
• Profile & User synchronization
(<tdisol>/profiles_tdi.properties)
– source_ldap_debug=true
– debug_managers=true
debug_photos=true
debug_pronounce=true
debug_fill_codes=true
debug_draft=true
debug_update_profile=true
debug_collect=true
debug_special=true
– trace_profile_tdi_javascript=* (debug, fine, finer, all)
• TDI issues (<tdisol>/etc/log4j.properties)
– log4j.rootCategory=DEBUG, Default
33

34. Probleme mit Surveys & Connections 6.0
• Stax.properties angepasst?
– Nur mit Java 1.8 notwendig
– Pfad: <installdir>/java_1.8_64/jre/lib
• WebSphere Plugin ESI Cache deaktiviert?
– Ab WAS 8.5.5.10 + notwedig
Tipp: Nicht mit “connectionsAdmin” testen!
34

35. Cognos BI Logs
• Cognos BI
– SystemOut.log & trace.log
– <installroot>/logs/cogserver.log
• Cognos Transformer
– <installroot>/logs/cogserver.log
• PowerCube Erstellung
– <installroot>/metricsmodel/trxschelog.log
– <userhome>/Transformer/Logs/*.log (Windows only)
35

36. BMT-MD-6003 No connection to the data source …
• PowerCubes nicht erstellt oder fehlerhaft
• Cronjobs oder Scheduled Jobs prüfen
• trxschelog.log
36

37. Debug Cognos BI & Metrics
• Verbindung zwischen Cognos BI und Connections Metrics
– SonataHttpUsage=all:
SonataHttpHeader=all:
SonataHttpBody=all:
com.ibm.connections.httpClient.*=all:
com.ibm.connections.metrics.*=all
• Connections Metrics Servlet
– com.ibm.connections.metrics.cognos.servlet.*=all
37

38. Metrics Event Tracking
• CLFWB0001E: Unable to save an event.
– com.ibm.connections.metrics.event.*=all
• Read Events
– Clientseitig
• HTTP POST (eventTracker servlet)
• Write Events
– Tracking über jeweilige Anwendung
– Überprüfen der Message Queue
Tipp: Manuelle Tasks bei Side-
by-Side Migrationen beachten!
38

39. FileNet Logs
• SystemOut.log & trace.log
• FileNet Logs
– <wasprofile>/<servername>/p8_server_error.log
– <wasprofile>/<servername>/p8_server_trace.log
– <wasprofile>/<servername>/pesvr_system.log
– <wasprofile>/<servername>/pesvr_trace.log
39

40. FileNet URLs
• http://<fqdn>/FileNet/Engine
– Server Status, Version, Sonata/Waltz Version
• http://<fqdn>/P8CE/Health
– Health checks für Authentification, Objectstores und Datenbank
• http://<fqdn>/dm
– FNCS Version und Konfiguration
40

41. Debug CCM Widget
• Widget Probleme
– com.ibm.quickr.communitylibrary.*=all:
com.ibm.lconn.widgets.service.*=all:
com.ibm.lconn.widgets.actions.*=all
• Authentication Probleme
– com.ibm.connections.directory.services.*=all:
com.ibm.connections.directory.services.*=all:
com.ibm.connections.httpClient.*=all
41

42. Debug FileNet using ACCE
• http(s)://<fqdn>/acce
42

43. Debug FileNet using JVM Properties
• Hinzufügen folgender JVM properties
– -Dlog4j.configuration=file:<path>/log4j.xml
-DskipTLC=true
• Kopieren & Anpassen der Beispiel log4j.xml
– <ContentEngineRoot>/config/samples
– 20 subsystems (db, engine, security, search,…)
43

44. Docs/Viewer Logs & URLs
• SystemOut.log & trace.log
• http(s):<fqdn>/vsanity/check
• http(s):<fqdn>/sanity/check?app=all&querytype=report
• http(s):<fqdn>/*/version
44

45. Debug LTPA (Domino & WebSphere)
• Debug am Domino (notes.ini)
– Debug_SSO_Trace_Level=2
– Webauth_verbose_trace=1
– WebSess_verbose_trace=1
– Debug_outfile=<logfilepath>
• Debug am WebSphere
– com.ibm.ws.security.ltpa.*=all
45

46. Debug Kerberos
• Konfiguration
– com.ibm.ws.security.spnego.*=all: com.ibm.ws.security.*=all:
com.ibm.issw.spnegoTAI.*=all: com.ibm.security.krb5.*=all
• Runtime
– com.ibm.connections.httpClient.*=all:
com.ibm.connections.directory.services.*=all:
com.ibm.websphere.wim.*=all:
com.ibm.ws.wim.*=all
• Fiddler & Burp Suite
46

47. IBM Cloud private aka. CfC Statistiken
• IBM Cloud private GUI
– https://<icp-master>:8443
47

48. Docker & Kubernetes Status
• kubectl get pods (--all-namespaces)
• kubectl get services
• kubectl get deployment
• kubectl describe pods xxx
• docker ps
• docker info
48

49. Docker & Kubernetes Status
• Persistent Volume Status
– kubectl get pv,pvc
49

50. Orient Me Application Logs
• Pod Logs anzeigen
– kubectl logs xxx
• -f
• --tail=20
• --since=1h
Tipp: MongoDB und Solr sind anders zu behandeln
50

51. MongoDB Troubleshooting
• Persistent Volumes prüfen
• Access Logs
– kubectl logs xxx [mongo|mongo-sidecar]
• Replica status anzeigen
– kubectl exec -it mongo-0 -- mongo mongo-0.mongo:27017 --eval 'rs.status()’
– “health” Status für alle Members prüfen
51

52. Solr Logs
• kubectl exec -it xxx -- cat /var/solr/logs/solr.log
• kubectl logs xxx
– Zeigt nur Logs welche das Deployment des Pods betreffen
52

53. Probleme beim Starten von Pods
• kubectl describe pod xxx
53

54. IBM Cloud private Logs
• docker logs -f kubelet
• docker logs -f calico
54

55. Docker Logs & Tracing
• Logs
– journalctl -u docker.service
– docker logs
• Tracing
– service docker stop
– docker daemon –debug
55

56. Make Your Data Work for You
Tools

57. Logs analysieren
• Logfiles live analysieren
– Baretail
– tail –f
• Logfiles anzeigen
– Atom.io, Notepad++
– less, tail
– ELK Stack
• Elasticsearch, Logstash, Kibana
• Docker, IBM Could private, …
57

58. Logs analysieren
• kubectl logs
– Client Installation hilfreich
– “Configure Client“ im IBM Cloud private (CfC) UI
58

59. Clientseitige Analyse
• Browser
– Firebug / Developer Tools
• Intercepting Proxies
– Fiddler
– Burp Suite
• VMs mit unterschiedlichen IE Versionen
– Ohne GPOs!
– https://www.modern.ie/en-us/virtualization-tools
59

60. Datenbank Clients
• db2 command
• Dbeaver oder IBM Datastudio
• Robomongo (MongoDB)
Tipp: Datenbank Schreibzugriffe sind nicht supported!
60

61. LDAP & Search
• LDAP
– ldapsearch Command
– Softerra LDAP Browser
– Apache Directory Studio
• Search Index
– Luke (Lucene Index Toolbox)
61

62. Netzwerkanalyse
• Wireshark
• Tcpdump
62

63. 63
Q&A
Link zum Download:
https://www.slideshare.net/nmeisenzahl
@nmeisenzahl
linkedin.com/in/nicomeisenzahl
meisenzahl.org
nico.meisenzahl
+49 170 7355081
nico.meisenzahl@panagenda.com

64. Headquarters, Austria:
panagenda GmbH (Ltd.)
Schreyvogelgasse 3/10
AT 1010 Vienna
Phone: +43 1 89 012 89
Fax: +43 1 89 012 89-15
E-Mail: info@panagenda.com
Headquarters, Germany:
panagenda GmbH (Ltd.)
Lahnstraße 17
DE 64646 Heppenheim
Phone: +49 6252 67 939-00
Fax: +49 6252 67 939-16
E-Mail: info@panagenda.com
USA:
panagenda Inc.
60 State Street, Suite 700
MA 02109 Boston
Phone: +1 617 855 5961
Fax: +1 617 488 2292
E-Mail: info@panagenda.com
Germany:
panagenda Consulting GmbH (Ltd.)
Donnersbergstraße 1
DE 64646 Heppenheim
Phone: +49 6252 67 939-86
Fax: +49 6252 67 939-16
E-Mail: info@panagenda.com
The Netherlands:
Trust Factory B.V.
11th Floor,
Koningin Julianaplein 10
NL 2595 AA The Hague
Phone: +31 70 80 801 96
E-Mail: info@trust-factory.com
© 2007-2015 panagenda
Make Your Data Work for You