Thạc Sĩ 3D facial model analysis for clinical medicine

IV 
 
Table of contents 
 
Declaration  . I 
Acknowledgments  . II 
Table of contents  . IV 
Abstract  . VII 
List of Tables   IX 
List of Figures  . X 
Acronyms   XIV 
Chapter 1.  Introduction  1 
1.1  Facial paralysis and diagnosis   2 
1.1.1  Facial Paralysis   2 
1.1.2  Clinical Facial Paralysis Assessment Methods  . 5 
1.1.3  2D Image and Video Based Computer Aided Diagnosis . 9 
1.2  Facial highlight Features Analysis  . 13 Table of contents 
V 
 
1.3  Objectives of the Thesis  . 18 
1.4  Overview of the Thesis   19 
Chapter 2.  Methodology   21 
2.1  3D Curvatures  . 21 
2.2  Iterative Closest Point   30 
2.3  Artificial Neural Network  . 32 
Chapter 3.  Objective Grading System for Facial Paralysis Diagnosis  . 41 
3.1  Overview  . 41 
3.2  Data acquisition   43 
3.3  Objective Measurement of the surface contour  . 47 
3.4  Asymmetry degree index   51 
3.5  Noise Injected Neural Network  . 55 
3.6  Performance Evaluation   58 
3.7  Results   59 
3.8  Discussion and Conclusion  . 65 Table of contents 
VI 
 
Chapter 4.  Facial Highlight Features Analysis  . 68 
4.1  Introduction   68 
4.2  Data Acquisition  . 69 
4.3  Highlight region extraction   74 
4.4  Facial highlight features   77 
4.4.1  Highlight regions distribution   78 
4.4.2  Highlight of nasal bridge   78 
4.4.3  Schema of forehead highlight region.  . 79 
4.5  3D Objective Measurement of the surface contour  . 83 
Chapter 5.  Conclusion   86 
References   90 
 
    
VII 
 
 
Abstract 
This  thesis  aims  to  investigate  both  facial  paralysis  diagnosis  and  facial 
highlight features based on 2D and 3D facial models. 
First,  a  novel  automated  objective  asymmetry  grading  system  is 
developed for facial paralysis diagnosis. The development of this grading 
system combines observations and clinical assessments of the patients for 
different degrees of motion dysfunction in various facial expressions. To 
improve the performance of the system, higher order surface properties in 
facial  imaging  technique  for  3D  model  analysis  are  used.  Also,  to 
overcome  the  subjectivity  of  diagnosis  encountered  by  the  landmark 
based  computer  aided  grading  methods,  facial  symmetry  grading  is 
carried  out  based  on  fine  registration  result  of  the  original  and  mirror 
facial mesh by the iterated closest‐point algorithm (ICP), which does not 
rely  on  any  landmarks.  Moreover,  to  avoid  overfitting  caused  by  small 
sample set, the noise injected artificial neural networks (ANNs) in feature 
extraction and classification for 3D objects were implemented. Compared 
with  standard  ANNs,  the  accuracy,  sensitivity  and  specificity  of  the Abstract 
VIII 
 
proposed noise‐injected ANNs are significantly improved. The system is 
also tested with data of patients having follow‐up treatment and diagnosis 
after  the  initial  treatment.  The  proposed  ANN  system  can  detect  the 
improvement  of  the  patients  quite  well.  A  plausible  explanation  of  the 
appreciably improved performance is that the injected noise increases the 
generalization ability, and reduces the sensitivity to the disturbance in this 
manner.  
Meanwhile, the highlight feature patterns of natural faces are explored as 
a  planning  aid  for  plastic  surgery.  Different  from  previous  reported 
studies on attractive face patterns, which have mainly based their criteria 
on facial profile, this study intends to determine the position and shape of 
the  highlights  of  natural  faces  across  race  and  gender.  Some  relevant 
conclusions can be drawn from the present study. First, nasal highlights 
are discontinuous, thus the implant or filler should keep the dorsum and 
tip at different levels. Second, the shape of the nasion saddle is intimately 
associated with race. Also, the forehead highlight has mainly two types, T 
shape  and  maple  leaf  shape.  The  distributions  of  these  two  types  are 
closely related to race and gender. 
    
IX 
 
 
List of Tables  
Table  2.1  Surface  shapes  and  their  corresponding  principal,  mean  and 
Gaussian curvatures, and the Shape index 53 .  . 26 
Table 3.1 Threshold value chosen for no‐match points filter.  . 55 
Table 3.2 Results provided by the ANNs with input of {RD, RGC} in the 
conventional manner and with noise‐injected methods.  . 62 
Table  3.3  Results  provided  by  the  ANNs  with  input  of  {RD,  RSI}  in  the 
conventional manner and with noise‐injected methods.  . 63 
Table  3.4  Diagnosis  results  comparison  for  the  patients  before  and  after 
medical treatments  . 64 
Table 4.1 Age, race and gender information of sample subjects  . 70 
Table 4.2 Race and gender distributions of the highlight shape on the nasal 
bridge.   79 
Table  4.3  Race  and  gender  distributions  of  the  forehead  highlight  shape 
for the 64 subjects.   81 List of Figures 
X 
 
 
List of Figures 
Figure  1.1  Patients  with  Bell’s  palsy. 7   (a)  Asymmetric  elevation  of  brow 
and wrinkling of the forehead; (b) Incomplete eyelid closure; (c) Flattened 
nasolabial fold and poor turning upward of the left side of mouth.   3 
Figure 1.2 Anatomy of the facial nerve. 9   . 4 
Figure 1.3 SFGS standard form.  . 9 
Figure 1.4 Comparison of two pictures with Andie MacDowell in different 
ages.   13 
Figure 1.5 Study of the proportions of human body and head by Leonardo 
da Vinci.  . 16 
Figure 1.6 Makeup expert applies highlight foundation on the face of the 
model, and tries to enhance the facial features. 46    17 
Figure 1.7 Overview of the objective asymmetry grading system  . 19 
Figure 2.1 Normal planes in directions of principal curvatures of a saddle 
surface. 51    22 List of Figures 
XI 
 
Figure  2.2  The  Shape  index  as  a  shape  descriptor  for  different  shape  of 
surface 53 .   25 
Figure 2.3 Architecture of Artificial neural network   33 
Figure 2.4 Model of a neuron k.  . 34 
Figure  2.5  Architectural  graph  of  multilayer  perceptron  feedforward 
networks.  . 36 
Figure 2.6 Overfitting occurs when excessive number of nodes is used in 
the MLP neural network.   39 
Figure 3.1 (a) 3dMDface system and (b) reconstructed 3D image.  . 44 
Figure 3.2 Detail of triangulated polygon facial mesh.   44 
Figure 3.3 3D models of face acquired by 3dMD system for four different 
expressions:  (a)  straight  and  natural  stare,  (b)  smiling  to  show  teeth,  (c) 
raising eyebrow to wrinkle forehead, and (d) closing the eyes tightly.  . 46 
Figure 3.4 Rendering of (a) Gaussian curvature and (b) Shape Index color 
map on 3D face scan model of smiling to show teeth expressions.   50 
Figure 3.5 Registration between original and mirror faces by ICP. 80   . 52 List of Figures 
XII 
 
Figure 3.6 (a) Original mesh. (b) Mirror mesh.  (c) ICP registration result of 
original and mirror meshes.  . 52 
Figure 3.7 Color maps of the difference between the original and mirror 
meshes.  (a) Geometry  Distance, (b)  difference  of the Gaussian  curvature 
and (c) difference of the Shape Index.  . 54 
Figure 4.1 Anatomy of human face.   68 
Figure 4.2 Anterior and lateral facial views of six sample subjects. Rows 
correspond  to  six  subjects  of  (a)  Chinese  male,  (b)  Chinese  female,  (c) 
Eurasian male, (d) Eurasian female, (e) Caucasian male, and (f) Caucasian 
female. Columns correspond to different views of (1) anterior view, and (2) 
lateral view.  . 72 
Figure 4.3 (a) Plaster cast of nose region; (b) 3D model reconstructed by 
scanning the plaster cast.   73 
Figure 4.4 Grayscale image with nose tip landmark prn and alar landmark 
al added.   74 
Figure 4.5 Facial highlight region extraction process. Rows correspond to 
six subjects of (a) Chinese male, (b) Chinese female, (c) Eurasian male, (d) 
Eurasian female, (e) Caucasian male, and (f) Caucasian female. Columns List of Figures 
XIII 
 
correspond to highlight extraction steps of (1) grayscale image, (2) setting 
gray  level  threshold  for  grayscale  image,  and  (3)  extracted  highlight 
regions.   76 
Figure  4.6  Two  type  of  forehead  highlight  regions:  (a)  T  shape,  and  (b) 
Maple leaf shape.  . 80 
Figure 4.7 Gaussian curvature value color map   84