Seminar by Ali Alkan - 1 March 2018 @Kadir Has University, Istanbul

2. Agenda
Introduction to Internet of Things (IoT)
Internet of Things in KNIME
1. Sensor Data Acquisition
2. Digital Signal Processing
3. Feature Engineering
4.Machine Learning
5. Model Assesment & Model Comparison
Borçelik IoT Analytics Experiments with KNIME
Q&A

3. Introduction to IoT

4. Introduction | Big Data and IoT
A match made in Heaven

5. Origins
The term “Internet of Things” (IoT) was first used in 1999
by British technology pioneer Kevin Ashton to describe
a system in which objects in the physical world could be
connected to the Internet by sensors.
Ashton coined the term to illustrate the power of connecting
Radio-Frequency Identification (RFID) tags used in
corporate supply chains to the Internet in order to count
and track goods without the need for human intervention.
Today, the Internet of Things has become a popular term
for describing scenarios in which Internet connectivity
and computing capability extend to a variety of objects,
devices, sensors, and everyday items.

6. Motivation
“ The global IoT
market is projected
to grow from
$2.99T in 2014 to
$8.9T in 2020,
attaining a 19.92%
Compound Annual
Growth Rate “
Source: Statista

7. Drivers

8. IoT Applications
Source: McKinsey Global Institute

9. IoT Applications
Source: McKinsey Global Institute

10. Internet of Things in KNIME

11. Internet of Things in KNIME
Signal Processing has never been that easy
With KNIME Signal Processing nodes you can
easily:
• Acquire, measure, and analyze signals from
many sources, like audio, smart sensors,
instrumentation, and IoT devices.
• Combine digital signal processing
techniques with machine learning algorithms.
• Provide instant insights into signals without
writing a single line of code.
https://www.knime.com/community/digital-signal-processing-nodes

12. Digital Signal Processing Nodes

13. Introduction | Analytical Process

14. 1. Sensor Data Acquisition
Beyond accessing sensor data in signal processing it is essential to
know the sample rate.
Sampling is the reduction of a continuous signal to a discrete signal
• E.g. the conversion of a sound wave (a continuous signal) to a sequence of samples (a
discrete-time signal).
A sample is a value or set of values at a point in time and/or space.
The sample rate (fs) is the average number of samples obtained in
one second (samples per second), thus fs = 1/T.

15. 1. Sensor Data Acquisition | Sample Rate

16. 1. Sensor Data Acquisition | Sample Rate
Most sampled signals are not simply stored and reconstructed.
The fidelity of a theoretical reconstruction is a customary measure of
the effectiveness of sampling.
That fidelity is reduced when s(t) contains frequency components
whose periodicity is smaller than 2 samples; or equivalently the ratio
of cycles to samples exceeds 1⁄2.
The quantity fs/2 is known as the Nyquist frequency of the
sampler.

17. 1. Sensor Data Acquisition | WAV Reader Node
A Wave file is a standard PC audio file format for everything from
system and game sounds to CD-quality audio.
A Wave file is identified by a file name extension of WAV (.wav).
In addition to the uncompressed raw audio data, the Wave file
format stores information about the file's number of channels
(e.g. mono, stereo or more), sample rate, and bit depth.
The KNIME WAV Reader node provides both access to the raw
sensor data of each channel and the sample rate.

18. 1. Data Acquisition & Exploration of sensor data

19. 1. Data Acquisition & Exploration of sensor data

20. 2. Digital Signal Processing
Time Domain, Frequency Domain, and FFT
The Fourier Transform can be powerful in
understanding everyday signals and
troubleshooting errors in signals.
Although the Fourier transform is a
complicated mathematical function, it isn’t
a complicated concept to understand and
relate to your measured signals.
Essentially, it takes a signal and breaks it
down into sine waves of different
amplitudes and frequencies.

21. 2. Digital Signal Processing
All signals are the sum of sines
When looking at real-world signals, you usually view them as a
voltage changing over time.
This is referred to as the time domain.
Fourier’s theorem states that any waveform in the time domain can
be represented by the weighted sum of sines and cosines.
• For example, take two sine waves, where one is three times as fast
as the other—or the frequency is 1/3 the first signal.
• When you add them, you can see you get a different signal.

22. 2. Digital Signal Processing
All signals are the sum of sines

23. 2. Digital Signal Processing
All signals are the sum of sines

24. 2. Digital Signal Processing
All signals are the sum of sines

25. 2. Digital Signal Processing
Constructing a signal using sines - Deconstructing signals into sines.
Once a signal is deconstructed, you can then analyze the different frequencies that are
present in the original signal.
Fields of application where being able to deconstruct a signal has proven useful:
• If you deconstruct radio waves, you can choose which particular frequency—or station—
you want to listen to.
• If you deconstruct audio waves into different frequencies such as bass and treble, you can
alter the tones or frequencies to boost certain sounds to remove unwanted noise.
• If you deconstruct earthquake vibrations of varying speeds and strengths, you can
optimize building designs to avoid the strongest vibrations.
• If you deconstruct computer data, you can ignore the least important frequencies and
lead to more compact representations in memory, otherwise known as file compression.

26. 2. Digital Signal Processing
FFT – Frequency Domain Representation

27. 2. Digital Signal Processing | Channel Filter

28. 2. Digital Signal Processing | Window Slider
The FFT of a discrete-time signal, which is the Fourier transform of a
"windowed" version of the signal, is interpreted as a sliding-window
spectrum.
To receive a small "window" of the signal, the window "slides" across
the time series, one time step at a time.
It is shown that the signal can be reconstructed from the sampled
sliding-window spectrum, i.e., from the values at the points of a
certain time- frequency lattice.

29. 2. Digital Signal Processing
Window Slider Node

30. 2. Digital Signal Processing
Window Slider Node

31. 2. Digital Signal Processing
Time Domain Features

32. 2. Digital Signal Processing
Prepare Fast Fourier Transform (Window Function)
The FFT computation presumes that the input data repeats over and
over.
This is important when the initial and final values of your data are not
the same: the discontinuity causes “leakage” aberrations in the
spectrum computed by the FFT.
"Windowing" smoothes the ends of the data to eliminate these
aberrations.
Windowing premultiplies input data supplied to the FFT with a value
that smoothly decreases to zero at each end of data.

33. 2. Digital Signal Processing
Prepare Fast Fourier Transform (Window Function)

34. 2. Digital Signal Processing
Window Functions – Rules of thumb

35. 2. Digital Signal Processing
Prepare Fast Fourier Transform (Window Function)

36. 2. Digital Signal Processing
Fast Fourier Transform (FFT)

37. 2. Digital Signal Processing
Fast Fourier Transform (FFT)

38. 2. Digital Signal Processing
Join Time & Frequency Domain Features

39. 3. Feature Engineering
There are many features that can be extracted from these signals.
What makes a good feature is that its value has to be similar for
signals produced from the same activity and has to be contrasting/
different for different user activities.

40. 3. Feature Engineering
Prepare features for X, Y, Z Axis

41. 3. Feature Engineering
Prepare features for X, Y, Z Axis

42. 3. Feature Engineering
Combine & join features for X, Y, Z Axis

43. 3. Feature Engineering | Collapse into Meta Node

44. 3. Feature Engineering
Collapse into Meta Node – add data output port

45. 3. Feature Engineering
Collapse into Meta Node – add data output port

46. 3. Feature Engineering
Final Feature Engineering workflow

47. 4. Machine Learning
Provide Target Classes and Test Data

48. 4. Machine Learning | Append Color Manager

49. 4. Machine Learning
Train a Decision Tree Classifier

50. 4. Machine Learning
Check Classification Results on Test Data

51. 4. Machine Learning
Train a Random Forest Classifier

52. 4. Machine Learning
Check Classification Results on Test Data

53. 5. Model Comparison

54. IoT Analytics Use Case

55. STOK SAHALARINDA
SENSÖR TAKİBİ İLE
YOĞUŞMA DURUMU
ANALİTİĞİ
KNIME İLE IOT
ANALİTİKLERİ

56. • Borusan Holding ve ArcelorMittal ortaklığıdır
• Türkiye’nin ilk özel ve ikinci büyük yassı çelik üreticisi
• Türkiye’de otomotiv görünür yüzeyi için sac üretebilen ilk firma
• Yıllık 1,6 milyon ton üretim
• 900 bin ton galvanizli sac
• 700 bin ton soğuk sac
• İç pazardaki ana müşteri grupları;
• Otomotiv ana ve yan sanayileri
• Beyaz eşya
• Panel radyatör
• Yapı
BİZ KİMİZ?

57. • İklim koşullarındaki değişimin stok sahalarına etkisinin tahmini.
• Daha önceki yıllarda, özellikle yıllık bakım zamanlarında hava karakteristiği değişimi neticesinde meydana gelen;
• Bobinlerin yüzeyinde su damlacıkları oluşması,
• Damlacıkların yüzeyde beyaz leke denilen hasarlar meydana getirmesi,
• Bu lekelerin paslanmaya zemin oluşturması
• Üretilen bobinlerin bir kısmının hurda olmasına, kalanının büyük bir kısmının ise yüksek kaliteli üretilmiş olmasına rağmen tamir edilip
daha düşük kaliteli olarak satılmasına neden olmuştur.
PROJE KONUSU

58. Ekonomik:
• Stok alanlarında bekleyen bütün ürünlerin yoğuşmayla aynı anda hasar görmesi engellenerek onlarca ürünün tamir masrafı ve süresi
sıfırlanacak, işgücü kaybı azalacak ve ürünlerin hurdaya dönmesi engellenecek.
Teknik:
• Dış atmosferin, makine bakımlarının ve kapı hareketlerinin fabrika içerisine etkisi bilgisayarlara öğretilerek gelecekteki fabrika içi
atmosfer ve bobin sıcaklığındaki değişiklikler belirlenebilecek.
• Metal yüzeylerde oluşan yoğuşma üzerine yapılacak çalışmalarla atmosferdeki değişikliklerin metal yüzey üzerindeki etkisi sayısal
olarak belirlenecek, fabrika içi gelecek atmosferine bağlı yoğuşma olma ihtimali saat bazında hesaplanabilecek.
• Oluşturulacak model sayesinde stok sahalarının atmosferi sayısal olarak karakterize edilebilecek, buna bağlı değişiklikler
yapılabilmesine zemin hazırlanacak.
• Elde edilen tüm sayısal veriler Endüstri 4.0 teknolojileri için bilgi sağlayacak.
AMAÇ

59. TEKNİK ARAŞTRIMA VE FİZİBİLİTE ÇALIŞMALARI
•Yoğuşmanın fiziksel boyutu detaylıca araştırılmış , ortam sıcaklığı, bağıl nem ve yüzey sıcaklığı ile doğrudan orantılı olduğu belirlenmiştir.
•Kapalı alanların havasının dışardaki atmosfer durumuna bağlı olduğu, kapıların açılmasıyla hava giriş-çıkışlarının olduğu ve üretimdeki
makinelerin ısı ve nem üzerinde etkisi olduğu belirlenmiştir. Kapıların etkisini görmek için giriş bölgesi değerlerinin de toplanması
gerektiği kararlaştırılmıştır.
UYGULAMA
bobin
Girişatmosferi
İç atmosfer
Dış atmosfer
Üretim durumu

60. •Geçmiş yıllarda yoğuşma gözlemlenen stok alanı pilot bölge olarak belirlenmiştir.
•Pilot bölgeye sensörler yerleştirilmiştir.
•Ortam modeli oluşturulmaya başlanmış, giriş bölgesinde (kapı) meydana gelen hava değişiminin iç atmosfer
nemi üzerinde çok etkili olduğu, iç sıcaklığı ve bobin sıcaklığı üzerindeki etkisinin az olduğu görülmüştür.
UYGULAMA
PİLOT ALAN KURULUMLARI VE ORTAMIN MODELLENMESİ

61. •Katmanlı tahmin yapısı kullanıldı
•İç sıcaklık, iç nem ve bobin sıcaklığı tahmin edildi
•Tahmin sonuçları kullanılarak yoğuşma noktası hesaplandı ve yüzey sıcaklığına bağlı
yakınlık durumu elde edildi
UYGULAMA
İç sıcaklık tespiti
Bobin sıcaklık
tespiti
Giriş nem tespiti
İç nem tespiti
Öğrenme
verisi
Test
verisi
İç sıcaklık öğrenmesi
Bobin sıcaklık
öğrenmesi
Giriş nem öğrenmesi
İç nem öğrenmesi
Veri
ayıklama
Veri
ayıklama
Veri
ayıklama
Veri
ayıklama
F(x,y,z)
TAHMİN ALGORİTMASININ GELİŞTİRİLMESİ

62. KONUYA ÖZEL UYGULAMA GELİŞTİRİLMESİ
UYGULAMA
• Yazılım geliştirme meşakatli
• Time-Complexity problemi
• Kodları okumak ve güncellemek zaman alır
• Hata ayıklama zor

63. KNIME GELİŞTİRMESİ
UYGULAMA
• Yazılım geliştirme kolay (sürükle bırak)
• Çözüm hızlı
• Kodları okumak, öğrenmek ve güncellemek kolay
• Hata ayıklama kolay

64. KNIME GELİŞTİRMESİ
UYGULAMA

65. KNIME GELİŞTİRMESİ
UYGULAMA

66. ORTAYA ÇIKAN ÇÖZÜM
•Uygulama arayüzü ve alarm sistemi oluşturulup stok sahalarındaki yoğuşmalar 12 saat önceden farkedilebilmektedir.
•Geçmişe yönelik arama yapılabilmekte ve kritik noktalar gözlemlenebilmektedir.
•Farklı stok sahalarına sensörler yerleştiriliyor, aynı sistemden birçok farklı lokasyondaki bilgiye ulaşılabilecek.
SONUÇ

67. ORTAYA ÇIKAN ÇÖZÜM
SONUÇ

68. Ali ALKAN
Twitter @Ali_Alkan
ali.alkan@infora.com.tr
Thank you!