Representation Description

1. Representation &
Description
Digital Image Processing Using MATLAB

2. Outline
 Representation
• Boundary Following
• Chain Codes
• Polygonal Approximation using MMP
• Signatures
• Boundary Segments
• Skeletons
 Boundary Descriptors
 Simple Descriptors
 Shape Numbers
 Fourier Descriptors
 Statistical Moments

3. Outline
 Regional Descriptors
 Simple Descriptors
 Topological Descriptors
 Texture
 Moment Invariants
 Use of Principal Components for Description
 Relational Descriptors

4. Pendahuluan
 Setelah citra disegementasi, biasanya direpresentasikan dan dideskripsikan
dalam bentuk yang sesuai untuk diproses oleh komputer
 Region atau wilayah dapat direpresentasikan dengan karakteristik eksternal
(boundary) atau internal (piksel)
 Suatu wilayah dapat direpresentasikan dengan boundary dan dideskripsikan
dengan panjangnya.
 Representasi eksternal focus pada bentuk karakteristik
 Representasi internal focus pada property regional seperti warna dan tekstur

5. Representation

6. Boundary Following
 Asumsi bahwa:
 Citra adalah biner dimana foreground = 1 dan background = 0
 Citra diisi oleh border yang tuliskan dalam 0 agar image tidak dapat bergabung
dengan border

7. Boundary Following
Moore Boundary Tracking Algorithm:
1. Start with the uppermost, leftmost foreground point b0 in the image. Let c0 be
thewest neighbor of b0. Going clockwise from c0 identify the first non-zero neighbor
b1 ofb0. Let c1 be the background point immediately preceding b1 in the sequence.
2. 2. Let b=b1 and c=c1.
3. 3. Let the 8-neighbors of b starting at c and proceeding clockwise be denoted as n1, n2,
...,n8. Find the first nk which is foreground (i.e., a “1”).
4. 4. Let b=nk and c=nk-1.
5. 5. Repeat steps 3 and 4 until b=b0 and the next boundary point found is b1.The
sequence of b points found when the algorithm stops is the set of ordered
boundarypoints.

8. Boundary Following

9. Chain Codes
 Merepresentasikan boundary dengan sekuens yang terhubung oleh garis lurus
dengan panjang dan arah tertentu
 Representasi berdasarkan 4- atau 8-connectivity
 Metode ini tidak berlaku apabila:
 Hasil chain code terlalu panjang
 Gangguan kecil pada boundary seperti noise yang tidak terkait terhadap bentuk
shape

10. Chain Codes

11. Chain Codes
 Kode dapat dinormalisasi dengan mencari perbedaan pertama
 Perbedaan dihitung dari jumlah perubahan arah (counterclockwise)
 Contoh: perbedaan pertama dari kode 4-arah 10103322 adalah 3133030

12. Polygonal Approximation using MMP

13. Polygonal Approximation using MMP

14. Polygonal Approximation using MMP

15. Polygonal Approximation using MMP
 a = (x1, y1), b = (x2, y2), dan c = (x3, y3)
 sgn(a,b,c) = det(A)
 Terdapat dua titik crawler: white crawler (Wc) dan black crawler (Bc)

16. Polygonal Approximation using MMP

17. Polygonal Approximation using MMP

18. Signatures
 Representasi 1-D dari suatu boundary dan dapat dihasilkan dengan berbagai cara
 Salah satu cara yang paling sederhana adalah menghitung jarak dari centroid
menuju boundary sebagai fungsi sudut

19. Signatures
 Metode dalam memilih titik awal dapat membuat signature tidak bergantung
pada rotasi
 Pilih titik paling jauh dari centroid
 Pilih titik paling jauh dari centroid sepanjang eigenaxis
 Gunakan chain code

20. Boundary Segments
 Dekomposisi boundary menjadi segmen dapat mengurangi kompleksitas
boundary dan menyederhanakan proses deskripsi
 Convex hull (H): kumpulan convex terkecil yang berisikan S
 Convex deficiency (D): selisih dari kumpulan sehingga D = H - S

21. Skeletons
 Bentuk structural suatu region dapat direduksi menjadi grafik
 Reduksi dilakukan dengan mendapatkan skeleton dari region menggunakan
algoritma thinning

22. Skeletons: Medial Axis Transformation
 Terdapat suatu region R dan border B
 Untuk setiap titik p dalam R, temukan tetangga terdekat dalam B. Jika p memiliki
lebih dari satu tetangga, maka tergolong pada medial axis (skeleton dari R)

23. Skeletons: Thinning Algorithm
 Asumsi titik region bernilai 1 dan titik background bernilai 0
 Suatu titik kontur adalah piksel apapun dengan nilai 1 dan memiliki paling sedikit
8-neighbor yang bernilai 0
 Metode terdiri dari dua Langkah yang diterapkan pada titik kontur

24. Skeletons: Thinning Algorithm
Langkah pertama
 Tandai suatu titik p untuk dihilangkan jika memenuhi kondisi berikut:
 2 ≤ N(p1) ≤ 6, dimana N(p1) = 𝑖=2
9
𝑝𝑖
 T(p1) = 1, dimana T(p1) adalah transisi 0 ke 1 dalam urutan p2, p3, …, p8, p9
 p2 ∙ p4 ∙ p6 = 0
 p4 ∙ p6 ∙ p8 = 0

25. Skeletons: Thinning Algorithm
Langkah kedua
 Tandai suatu titik p untuk dihilangkan jika memenuhi kondisi berikut:
 2 ≤ N(p1) ≤ 6, dimana N(p1) = 𝑖=2
9
𝑝𝑖
 T(p1) = 1, dimana T(p1) adalah transisi 0 ke 1 dalam urutan p2, p3, …, p8, p9
 p2 ∙ p4 ∙ p8 = 0
 p6 ∙ p6 ∙ p8 = 0

26. Skeletons: Thinning Algorithm
 Seluruh prosedur untuk satu iterasi:
 Lakukan langkah pertama untuk menandai titik untuk dihilangkan
 Hapus titik yang ditandai
 Lakukan langkah kedua untuk menandai titik untuk dihapus
 Hapus titik yang ditandai
 Prosedur tersebut diulang hingga tidak ada titik yang dihilangkan

27. Boundary Descriptors

28. Simple Descriptors
 Diameter suatu boundary B:
 Diam(B) = max[D(pi, pj)]
 D adalah pengukuran jarak
 pi dan pj adalah titik pada boundary
 Major axis adalah garis yang panjangnya sama dengan diameter dan
menghubungkan dua titik pada boundary
 Minor axis adalah garis tegak lurus terhadap major axis
 Eccentricity adalah rasio dari major ke minor axis

29. Shape Numbers
 Berdasarkan kode 4-arah dengan perbedaan pertama dari besaran terkecil

30. Shape Numbers

31. Fourier Descriptors

32. Fourier Descriptors

33. Fourier Descriptors

34. Fourier Descriptors

35. Statistical Moments

36. Regional Descriptors

37. Simple Descriptors
 Area suatu region adalah jumlah piksel dalam region tersebut
 Perimeter suatu region adalah panjang dari boundary
 Compactness =
(𝑝𝑒𝑟𝑖𝑚𝑒𝑡𝑒𝑟)2
𝑎𝑟𝑒𝑎
 Circularity adalah rasio area terhadap area dari lingkaran denga perimeter yang
sama
 Metode lain: mean, median, minimum, maximum, rasio piksel dari tingkat
intensitas

38. Simple Descriptors

39. Topological Descriptors
 Topologi merupakan property yang tidak terpengaruh oleh deformasi
 Pada gambar topological descriptor ditunjukkan pada banyaknya lubang dalam
region, sehingga tidak terpengaruh oleh transformasi peregangan atau rotasi
 Properti lain yang berguna adalah komponen yang terhubung
 Banyaknya lubang H dan komponen yang terhubung C dapat digunakan untuk
menentukan nilai Euler E: E = C – H

40. Topological Descriptors

41. Topological Descriptors
 Region yang direpresentasikan oleh garis lurus (polygon) juga memiliki
interpretasi sederhana dengan nilai Euler
 Klasifikasi region dengan permukaan dan lubang
 Banyaknya sudut V, banyaknya sisi Q, dan banyaknya permukaan F menghasilkan
nilai Euler sebagai berikut:
 V – Q + F = C – H = E

42. Topological Descriptors

43. • Simple descriptors
– Geometric descriptors mirip dengan kasus boundary dan
descriptors termasuk intensitas piksel
• Topological descriptors
• Texture descriptors
– Statistical approaches
– Structural approaches
– Spectral approaches
• Moment invariants
Regional Descriptors

44.  Area dari region S:
 (S)  f (x, y)
 x y
 f (x,y)=1 pada piksel yang bergantung pada region dan nilai 0. Perimeter
dari region S:
Dimana (xi,yi) adalah koordinal i-th pixel dari boundary sebuah region.
Simple Regional Descriptors

45. • Compactness dari region S:
• Penyebut adalah area lingkaran yang perimeternya
adalah P (S).
• Ini mengukur rasio luas bentuk dan lingkaran yang dapat
dilacak dengan perimeter yang sama.
• Untuk daerah lingkaran sempurna A (S) = 1.
Simple Regional Descriptors

46. • Dispersion odari region S:
• Ini mengukur rasio panjang akord utama terhadap area.
• Pembilang menentukan area lingkaran maksimum yang
melingkupi wilayah tersebut.
Simple Regional Descriptors

47. • Regional descriptors lainnya menyangkut statistic include
statistics dari intensify levels of pixel dari sebuah region
– mean
– median
– minimum
– Maximum
– Jumlah pixels dengan values diatas atau dibawah mean
Simple Regional Descriptors

48. • Topologi adalah studi tentang sifat-sifat yang tidak
terpengaruh oleh deformasi apa pun.
• Rubber-sheet distortions.
• Tidak ada tearing atau sambungan dari wilayah tersebut.
• Properti ini tidak tergantung pada gagasan jarak atau ukuran
jarak.
• Jumlah komponen yang terhubung C.
• Jumlah lubang H.
Euler number:
E = C - H
Topological Descriptors

49. E = C - H = 1 - 2 = -1
Topological Descriptors

50. • Basic texture representation
– Statistical approaches
• Histogram
• Co-occurrence matrices.
– Structural approaches
• relational descriptors based on rules (we will look at
them at the end of the section)
– Spectral methods.
Texture

51. • Statistical moments dari sebuah histogram region.
– p(z) adalah histogram dari sebuah gambar region
dengan L possible gray levels zi, i=1,…L.
– nth moment:
zi p(zi ),
n
n i i
L1 L1
 (z)  (z  m) p(z ), m 
 
Histogram Approaches

52. – Contrast
– Uniformity (maximum for uniform images):
- Entropy:
Histogram Approaches

53. Histogram Approaches

54. • Q menjadi operator yang mendefinisikan posisi dua
piksel relatif satu sama lain.Gambar f, dengan L
possible gray levels.
• G adalah matrix yange element gij merupakan jumlah umber
pixksel berpasangan dengan intensities zi and zj yang muncul
pada f dengan posisi dispesifikasin oleh Q.
• G disebut sebagai co-occurrence matrix.
Co-occurrence Matrices

55. • Quantization of intensities bergantung pada computational load.
Banyak matrices per region. L=8 gray levels.
Co-occurrence Matrices

56. ij
ij
i, j
gij
p 
 g
K
P(i)  pij
j1
K
mr  iP(i)
i1
2
r
2
K

i1
r
(i  m ) P(i)
 
Co-occurrence Matrices

57. Random noise
Periodic texture (sine)
Mixed Texture
256x256 co-occurence matrices
”satu posisi berubah ke kanan”
Co-occurrence Matrices

58. Co-occurrence Matrices

59. • Apakah ada bagian gambar yang mengandung tekstur tertentu
(pola berulang)?
• Sequences of co-occurrence matrices digunakan.
• Correlation descriptoruntuk berbagai offset horizontal piksel yang
berdekatan dapat dihitung
• Dalam percobaan berikutnya, akan dilakukan co-occurence
matrices yang dihitung untuk offset horizontal dari 1 hingga 50
piksel.
Co-occurrence Matrices

60. Noise image Sine image Circuit image
Kekurangan: co-occurrence matrices tidak
efisien untuk deskripsi tekstur kasar.
Co-occurrence Matrices

61. • Aturan yang menunjukkan simbol S mungkin itulis
sebagai aS: S  aS
• Tiga pengulangan aturan menghasilkan string aaaS.
• Jika a mewakili lingkaran dan arti "lingkaran ke kanan" di-
assigned ke stringdengan bentuk aaa… maka aturan
tersebut memungkinkan pembuatan pola:
a aaa…
Structural approaches

62. • Tambahkan aturan baru, misalnya
• S  bA, A  cA, A  c, A  bS, S  a
• b artinya “circle down”.
• c artinya “circle to the left”.
• aaabccbaa sesuai dengan matriks lingkaran 3x3.
• Pola tekstur yang lebih besar dapat dihasilkan.
Structural approaches

63. • Transformasi Fourier (FT) berguna untuk deskripsi directionality
struktur periodik atau almost periodic structures.
• Puncak di FT memberikan arah utama pola.
• Lokasi puncak memberikan periode dasar pola.
• FT simetris di sekitar titik asal dan hanya setengah dari
bidang frekuensi yang perlu dipertimbangkan.
Spectral Approaches

64. • Spektrum diekspresikan dalam koordinat polar
S(r,θ) untuk simplikasi
– Definisikan Sr(θ) yang merupakan fungsi 1D untuk r dan Sθ(r)
yang merupakan fungsi 1D untuk θ.
– Analisa Sθ(r) untuk nilai tetap θ yang menghasilkan behavior
spektrum sepanjang arah radial da originnya.
– Analisa Sr(θ) untuk nilai tetap r yang menghasilkan behavior
spektrum sepanjang lingkaran radius r yang terpusat dari
origin nya.
Spectral Approaches

65. • Deskripsi yang lebih global diperoleh dengan
mengintegrasikan fungsi-fungsi ini:
• Dengan R0 menjadi jari-jari lingkaran yang berpusat pada
titik asal.
• Hasilnya merupakan sepasang nilai nominal [S(r), S(θ)] untuk setiap
pasangan koordinat(r,θ).
Spectral Approaches

66. Images and FT
The periodic bursts memanjang dalam
2D di kedua spektrum disebabkan oleh
tekstur periodik bahan latar belakang
kasar.
Komponen dominan lainnya di sebelah
kiri adalah karena orientasi acak tepi
benda.
Dalam gambar yang tepat, energi yang
tidak terkait dengan latar belakang
berada di sepanjang sumbu horizontal.
Spectral Approaches

67. Acak
Berurutan
S(r)
S(r)
S(θ)
S(θ)
Spectral Approaches

68. • 2D moment dari urutan (p+q) yang terdapat pada MxN
didefinisikan sebagai:
• Ini dapat digunakan pada gambar skala abu-abu maupun
pada bentuk. Untuk bentuk boundary, kita dapat
mendefinisikan sebagai f (x,y)=1 pada boundary dan 0
sebaliknya
Moments Invariants

69. • Momen corresponding central dari (p+q) dapat didefiniskan sebagia:
• Momen sentral yang dinormalisasi didefinisikan sebagai:
Moments Invariants

70. 1  20 02
2
02
)2
2  (20  11
2
3 30 12 21 03
2
4 30 12 21 03
)2
)2
2
5 30 12 30 21 30 12 21 03
2
21 03 21 03 30 12 21 03
 4
  ( 
3 )  (3 
  (  )  3( 
  ( 3 )(  ) (  ) 3( 
 
 (3  )(  ) 3(  ) (
)2

)2

Moments Invariants

71. 2
6 20 02 30 12 21 03
 411(30 12 )(21 03)
2
30 12
7  (32103 )(30 12 ) (  ) 21 03
2
30 12 21 03
  ( 3 ) (  )  (  )2

3(  )2

 
 (312 30 )(21 03 ) 3(  ) ( )2

Moments Invariants

72. Moments Invariants

73. • Sgn(φi)log10(|φi|) is shown to reduce the dynamic range.
• The values of the moments are very close.
• The sign of φ7 is different for the mirrored image.
Moments Invariants

74.  Kita ingin membuat sebuah low-dimensional linear subspace yang dapat
menjelaskan variasi komponen dari gambar multidimensional
  x1
x 
2 
x  
  
x 
 n 
• n=3 untuk gambar RGB atau n=6 untuk gambar LANSAT.
Principal Component Analysis (PCA)

75. Principal Component Analysis (PCA)
• PCA adalah cara mudah
untuk menormalisasi batas 2D
sehubungan dengan rotasi
dan translasi.
• Menggeser (y1min, y2min)
membuat coordinate non
negatives.
• Divisi lebih lanjut dari λ1dan λ2
menormalisasi skala

76. Principal Component Analysis (PCA)
• Penggunaan
eigenfaces untuk
face recognition

77. Principal Component Analysis (PCA)
• Gambar multispektral dalam visible blue, visible green, visible red,
near infrared, middle infrared dan thermal infrared bands.

78. Principal Component Analysis (PCA)
• Satu vektor n-dimensi untuk setiap piksel dibuat.

79. Principal Component Analysis (PCA)
• Goal: temukan representasi dimensi rendah untuk vektor-
vektor yang:
• meminimalkan kesalahan proyeksi (jarak antara vektor
awal dan proyeksinya)
• atau setara dengan memaksimalkan varians dari data yang
diproyeksikan.

80. Principal Component Analysis (PCA)
• Variansi dari data yang diproyeksikan:

81. Principal Component Analysis (PCA)
subject to: uT
u ||u ||2
1
• Kita sekarang bisa mengestimasikan vector u dalam
memaksimalkan varian
uT
Σu
Karena perkalian apapun dari nilau u dapat
memaksimalkan objective fungsi.
• Fungsi Lagrangian :
solusi:
J(u;)  uT
Σu  (1uT
u)
Σu u
Yang merupakan eigenvector dari Σ, yang memaksimalkan J
yang terhunbung ke nilai eigenvalue terbesar dari Σ.

82. Principal Component Analysis (PCA)
• Arah yang menangkap varians maksimum data adalah
vektor eigen yang sesuai dengan nilai eigen terbesar dari
matriks kovarian data.
• Arah k ortogonal atas yang menangkap varian data paling
banyak adalah vektor eigen yang sesuai dengan nilai eigen k
terbesar.

83. Principal Component Analysis (PCA)
• Arah yang menangkap varians maksimum data adalah
vektor eigen yang sesuai dengan nilai eigen terbesar dari
matriks kovarian data.
• Arah k ortogonal atas yang menangkap varian data paling
banyak adalah vektor eigen yang sesuai dengan nilai eigen k
terbesar.

84. Principal Component Analysis (PCA)
• Transformasi yang memetakan x ke subruang k-dimensional (k <d)
baru (menggunakan vektor eigen k pertama) adalah

85. Principal Component Analysis (PCA)
• Dalam contoh ini, nilai eigen dari covariance matrix piksel 6
dimensi adalah:
λ1 = 10344
λ2 = 2966
λ3 = 1401
λ4 = 203
λ5 =94
λ6 =31

86. Principal Component Analysis (PCA)
• Rekonstruksi gambar menggunakan dua principal pertama
komponen
2 x
x
ˆ AT
y m

87. Principal Component Analysis (PCA)
• Rekonstruksi error (ditingkatkan untuk visualisasi yag
lebih baik).

88. Principal Component Analysis (PCA)
Mean image
• Eigenfaces

89. Relational descriptors
• Aturan penulisan ulang yang menangkap pola berulang
dasar.
• Ini berlaku untuk batas dan wilayah.
• Contoh: struktur tangga telah diekstraksi dari gambar dan
kami ingin menggambarkannya.

90. Relational descriptors
• S dan A adalah variabel a dan b adalah konstanta
• Aturan 1 1 menunjukkan bahwa simbol awal S
dapat digantikan oleh a dan variabel A.
• Aturan 2 dan 3 menunjukkan bahwa variabel A pada
gilirannya dapat diganti dengan b dan S atau b.
• Mengganti A dengan bS mengarah ke aturan
pertama dan prosedur mungkindiulangi.
• Mengganti A dengan b mengakhiri proses karena
tidak ada lagi variabel

91. Relational descriptors
• Contoh derivasi dari aturan.
• Hubungan antara a dan b dipertahankan ketika aturan
memaksa a untuk diikuti oleh a.

92. Relational descriptors
• Langkah-langkah generation of a specific shape.