applicata regola nuova, continua a non andare bene nemmeno con lo xor
This commit is contained in:
@@ -6,11 +6,14 @@ char *file_pesi = "rete_pesi.bin";
|
||||
char *file_immagini = "mnist/t10k-images.idx3-ubyte";
|
||||
char *file_label = "mnist/t10k-labels.idx1-ubyte";
|
||||
|
||||
//#include "mnist/mnist_manager.h"
|
||||
//#include "cifar_10/cifar10_manager.h"
|
||||
#include "xor_manager.h"
|
||||
|
||||
// Siccome il char è un byte che rappresenta il valore tra 0 e 255. Per evitare confusioni definisco il tipo "byte" come in Java
|
||||
typedef unsigned char byte;
|
||||
|
||||
|
||||
double LRE = 0.2;
|
||||
double LRE = 0.5;
|
||||
double soglia_sigmoide = 0.5;
|
||||
|
||||
typedef struct {
|
||||
@@ -32,8 +35,7 @@ typedef struct {
|
||||
double randomico();
|
||||
|
||||
Percettrone inzializza_percettrone(int);
|
||||
//ReteNeurale inizializza_rete_neurale(int);
|
||||
ReteNeurale init_rete_neurale(int, int, int);
|
||||
ReteNeurale inizializza_rete_neurale(int, int, int);
|
||||
Layer inizializza_layer(int, int);
|
||||
|
||||
double sigmoide_byte(Percettrone, byte*, int);
|
||||
@@ -44,8 +46,10 @@ double *funzioni_attivazione_layer_double(Layer, double*);
|
||||
void correggi_layer_interni(ReteNeurale*, double**, double**);
|
||||
void correggi_layer_input(Layer*, double**, double**, byte*, int);
|
||||
|
||||
double calcola_gradiente_layer(ReteNeurale, int, int, double**);
|
||||
void discesa_gradiente(ReteNeurale, double**, double**);
|
||||
double calcola_gradiente_disceso(ReteNeurale, int, int, double**);
|
||||
void correggi_pesi_percettrone_double(Percettrone*, int, double**, double);
|
||||
void correggi_pesi_percettrone_byte(Percettrone*, Istanza, double, int);
|
||||
|
||||
int previsione(double);
|
||||
|
||||
@@ -74,16 +78,7 @@ Percettrone inizializza_percettrone(int n_pesi) {
|
||||
return p;
|
||||
}
|
||||
|
||||
//Questa funzione inizializza una rete neurale. Diamo il numero di layer desiderato e restituisce un ReteNeurale
|
||||
/* ReteNeurale inizializza_rete_neurale(int n_layers) {
|
||||
ReteNeurale r;
|
||||
r.layers = (Layer*)malloc(sizeof(Layer) * n_layers);
|
||||
r.size = n_layers;
|
||||
|
||||
return r;
|
||||
} */
|
||||
|
||||
ReteNeurale init_rete_neurale(int numero_layers, int numero_percettroni_iniziali, int numero_input) {
|
||||
ReteNeurale inizializza_rete_neurale(int numero_layers, int numero_percettroni_iniziali, int numero_input) {
|
||||
ReteNeurale r;
|
||||
r.layers = (Layer*)malloc(sizeof(Layer) * numero_layers);
|
||||
r.size = numero_layers;
|
||||
@@ -109,7 +104,6 @@ ReteNeurale init_rete_neurale(int numero_layers, int numero_percettroni_iniziali
|
||||
return r;
|
||||
}
|
||||
|
||||
|
||||
//Questa funzione serve ad inizializzare il singolo layer con il numero di percettroni che vogliamo
|
||||
//Ogni percettrone a sua volta viene automaticamente inizializzato con il numero di pesi che vogliamo e coi valori di partenza
|
||||
Layer inizializza_layer(int n_percettroni, int n_pesi) {
|
||||
@@ -198,6 +192,10 @@ int previsione(double valore) {
|
||||
return 0;
|
||||
}
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
//Questa funzione prende la matrice dei gradienti e la matrice delle sigmoidi per correggere tutti i layer tranne quello di ingresso
|
||||
void correggi_layer_interni(ReteNeurale *rete, double **gradienti, double **sigmoidi) {
|
||||
|
||||
@@ -230,6 +228,10 @@ void correggi_layer_input(Layer *layer, double **gradienti, double **sigmoidi, b
|
||||
}
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
void discesa_gradiente(ReteNeurale rete, double **sigmoidi, double **gradienti) {
|
||||
//For che scorre i layer dal penultimo al primo QUINI SIZE -2
|
||||
for(int indice_layer = rete.size -2; indice_layer >= 0; indice_layer--) {
|
||||
@@ -240,10 +242,10 @@ void discesa_gradiente(ReteNeurale rete, double **sigmoidi, double **gradienti)
|
||||
for(int indice_percettrone = 0; indice_percettrone < rete.layers[indice_layer].size; indice_percettrone++) {
|
||||
|
||||
double derivata_attivazione = sigmoidi[indice_layer][indice_percettrone] * (1 - sigmoidi[indice_layer][indice_percettrone]);
|
||||
//Passo anche l'indice del percettrone perchè corrisponde all'indice del peso del livello sopra
|
||||
double gradiente_disceso = calcola_gradiente_layer(rete, indice_layer + 1, indice_percettrone, gradienti);
|
||||
|
||||
|
||||
//Passo anche l'indice del percettrone perchè corrisponde all'indice del peso del livello sopra
|
||||
double gradiente_disceso = calcola_gradiente_disceso(rete, indice_layer + 1, indice_percettrone, gradienti);
|
||||
|
||||
gradienti[indice_layer][indice_percettrone] = gradiente_disceso * derivata_attivazione;
|
||||
}
|
||||
}
|
||||
@@ -261,6 +263,31 @@ double calcola_gradiente_disceso(ReteNeurale rete, int livello, int indice_peso,
|
||||
return sommatoria;
|
||||
}
|
||||
|
||||
void correggi_pesi_percettrone_double(Percettrone *p, int layer, double **input, double gradiente_percettrone) {
|
||||
|
||||
for (int indice_peso = 0; indice_peso < p->size; indice_peso++) {
|
||||
//Determino il gradiente del peso
|
||||
double gradiente_peso = gradiente_percettrone * input[layer - 1][indice_peso];
|
||||
|
||||
//Modifico il peso
|
||||
p->pesi[indice_peso] -= (gradiente_peso * LRE);
|
||||
}
|
||||
|
||||
p->bias -= (gradiente_percettrone * LRE);
|
||||
}
|
||||
|
||||
void correggi_pesi_percettrone_byte(Percettrone *p, Istanza input, double gradiente_percettrone, int indice_percettrone) {
|
||||
for (int indice_peso = 0; indice_peso < p->size; indice_peso++) {
|
||||
//Determino il gradiente del peso
|
||||
double gradiente_peso = gradiente_percettrone * (double)input.dati[indice_peso];
|
||||
|
||||
//Modifico il peso Qui si impalla perchè per qualche ragione arriva size elevatissimo
|
||||
p->pesi[indice_peso] -= (gradiente_peso * LRE);
|
||||
}
|
||||
|
||||
p->bias -= (gradiente_percettrone * LRE);
|
||||
}
|
||||
|
||||
|
||||
//Una volta finito il ciclo delle epoche viene salvato lo stato della rete neurale
|
||||
void salvaReteNeurale(const char *filename, ReteNeurale *rete) {
|
||||
|
||||
Reference in New Issue
Block a user