NYCU - ML Homework 3  - Solved

1.  Random Data Generator 
 Generating values from normal distribution 

You have to handcraft your geneartor based on one of the approaches given in the

 , 

 

2.  Sequential Estimator 
Sequential estimate the mean and variance 

 Data is given from the univariate gaussian data generator (1.a). Input: as in (1.a) Function: 

Call (1.a) to get a new data point from   

                         Use sequential estimation to find the current estimates to        and 

3.    Baysian Linear regression 
 Input 

The precision (i.e., b) for initial prior  

All other required inputs for the polynomial basis linear model geneartor (1.b) Function 

Call (1.b) to generate one data point 

Update the prior, and calculate the parameters of predictive distribution Repeat steps above until the posterior probability converges. 

Output 

Print the new data point and the current paramters for posterior and predictive distribution. 

 After probability converged, do the visualization 

Ground truth function (from linear model generator)

Final predict result 

At the time that have seen 10 data points

At the time that have seen 50 data points

Except ground truth, you have to draw those data points which you have seen before 

Draw a black line to represent the mean of function at each point

 Draw two red lines to represent the variance of function at each point 

In other words, distance between red line and mean is ONE variance

 Hint: Online learning 

Sample input & output (for reference only)

1.   b = 1, n = 4, a = 1, w = [1, 2, 3, 4] 

 

30                                                                                                                                  

31    Predictive distribution ~ N(0.06869, 1.66008)   

32        

33    Add data point (-0.19330, 0.24507):      

34                                                                                                                                  

35       Postirior mean:                         

36       0.5760972313                                 

37       0.2450231522                                 

38       -0.0801842453                              

39       0.0504992402                                 40                                         

41 Posterior variance:                                                         
42        0.2867129751, 0.1311255325, -0.0767580827, 0.0438488542 
43        0.1311255325, 0.7892001707, 0.1242887609, -0.0801412282 
44        -0.0767580827, 0.1242887609, 0.9176812972, 0.0541575540 

45        0.0438488542, -0.0801412282, 0.0541575540, 0.9642058389 

46                                                                                                                                  

47 Predictive distribution ~ N(0.62305, 1.34848)       

48                                                                                                                                  

49                                                                                                                                  

50 ...                                                                                                  

51                                                                                                                                  

52                                                                                                                                  

53 Add data point (-0.76990, -0.34768):               

54                                                                                                                                  

55        Postirior mean:                       

56        0.9107496675                               

57        1.9265499885                               

58        3.1119297129                               

59        4.1312375189                               

60                                                                                                                                  

61 Posterior variance:                                                         
62       0.0051883836, -0.0004416700, -0.0086000319, 0.0008247001 
63         -0.0004416700, 0.0401966605, 0.0012708906, -0.0554822477 

64         -0.0086000319, 0.0012708906, 0.0265353911, -0.0031205875 

65         0.0008247001, -0.0554822477, -0.0031205875, 0.0937197255 

66                                                                                                                                  

67 Predictive distribution ~ N(-0.61566, 1.00921)  

68                                                                                                                                  

69 Add data point (0.36500, 2.22705):                 

70                                                                                                                                  

71        Postirior mean:                       

72        0.9107404583                               

73        1.9265225090                               

74        3.1119408740                               

75        4.1312734131                               

76                                                                                                                                  

77 Posterior variance:                                                         
78       0.0051731092, -0.0004872471, -0.0085815201, 0.0008842340 
 
 

 

 

  

 

 

 

 

2.   b = 100, n = 4, a = 1, w = [1, 2, 3, 4] 

 

 

  

 

 

 

3.   b = 1, n = 3, a = 3, w = [1, 2, 3]