Statistica divisa in descrittiva e inferenziale:
descrittiva dispone di tutti gli elementi di una popolazione,
inferenziale dispone di una parte limitata di dati, un campione.
Leggi di De Morgan:
(A1' U A2')' = A1' int. A2'
(A1' int. A2')' = A1' U A2'
0<=Probabilità<=1, la probabilità dell'unione di eventi incompatibili è additiva: se A1 int A2 è nullo, allora A1 U A2 = A1+A2
Variabile aleatoria discreta: può assumere un insieme numerabile di valori; per poterci operare è opportuno ordinare i valori in senso crescente e
assegnarne le probabilità; assegnamo al singolo valore x di X la probabilità dell'unione degli eventi elementari a cui è associato
Variabile aleatoria continua: può assumere qualsiasi valore reale; per ogni x assegniamo la probabilità che la variabile casuale X assuma un valore
minore o uguale ad x.
Gli eventi A e B si dicono stocasticamente indipendenti se la probabilità dell’evento
intersezione può essere scritta come prodotto tra la probabilità di A e la probabilità di B
numeri di riepilogo: minimo, massimo, media, mediana, quartili; con summary()
TIPI DI VARIABILE
Quantitative -> discreta (N) o continua (R)
Qualitativa -> nominale (no ordine) o ordinale
-----------------------------------
INTERVALLI DI CONFIDENZA
quando si stima un parametro, è spesso insufficiente individuare un singolo valore. È opportuno allora accompagnare la stima con un intervallo
di valori plausibili per quel parametro, definito intervallo di confidenza
P(L1<teta<L2) è = 1-alpha
Stimatori a intervallo con livello di fiducia 1-alpha
Si cerca di stimare il parametro theta
Con varianza (sigma^2) nota:
z=qnorm(1-alpha/2,0,1)
media - z*sigma/sqrt(n) ; media + z * sigma / sqrt(n)
Con varianza (sigma^2) NON nota:
Non usiamo z ma t, aggiungendo ulteriore errore alla nostra stima, farà allargare l'intervallo, non dobbiamo usare qnorm ma
t=qt(1-alpha/2,n-1)
s=sd(x)
media - t*s/sqrt(n) ; media + t*s/sqrt(n)
In intervallo 1-alfa, con t=quantile corrispondente a 1-alfa/2 della distribuzione T di student con n-1 gradi di libertà (i gradi di libertà
sono il numeri di informazioni libere di variare nel calcolo di una stima di un parametro)
-----------------------------------------
CAMPIONI, STIMA E STIMATORI
La statistica inferenziale permettere di stimare quantità incognite della popolazione e di prendere delle decisioni a partire da dei campioni.
La proprietà fondamentale di un campione è la rappresentatività, ossia deve rappresentare in scala la popolazione per la caratteristica sulla quale
si fa inferenza.
La *statistica* è una quantità sintetica dei dati campionari
Lo *stimatore* è una procedura o un algoritmo che sulla base della statistica produce una *stima*, quindi la stima è il risultato.
non distorsione:
E[X^]= µ
E[P^]= p proporzione
E[S^2]=var^2
Stimatori T sono la media, la proporzione e la varianza CAMPIONARIE con n-1
Per verificare la distorsione dello stimatore di T = 1/12 X1 + 1/4 X2 + 1/3 X3
E[T] = 1/12 E[X1] + 1/4 E[X2] + 1/3 E[X3] = 0.67 mu
E[T] != mu
-----------
INDICI DI POSIZIONE:
MEDIA
Una distribuzione è simmetrica se la media è uguale alla mediana.
----------
MODA
Non esiste una funzione per calcolarla, si può usare table(x) e vedere quale valore ha più frequenza
----------
QUANTILI
Un quantile-p trova il numero che è più grande del 100 x p% delle osservazioni e più piccolo della restante
i quantili con p 0.25, 0.5 e 0.75 vengono chiamati primo, secondo e terzo quartile; dividono la popolazione in quattro parti uguali; il secondo
quartile coincide con la mediana.
Per vedere se la distribuzione è positiva: q3 - q2 > q2 - q1, viceversa è negativa
--------------
OUTLIERS
Valori anomali
Utilizzare la differenza interquartile IQR=q3-q1
Se q1-1.5*iqr < min(costo) e se q3+1.5*iqr> max(costo), non sono presenti outliers.
----------------
ASIMMETRIA
Se media>mediana, asimmetrica positiva
Se q3-me<med-q1, asimmetrica negativa
----------
Deviazione standard
è la radice della varianza ed è una misura di variabilità
sd(x)
--------------------
COEFFICIENTE DI VARIAZIONE
sd(x)/mean(x)
------------------------
GRAFICI
se ci sono estremi delle classi: hist(num, breaks=c(estremi), right=F)
barplot(table(x))
boxplot(x,horizontal=TRUE) per i quantili
pie(x)
plot(x,y) per retta
-------------------------
REGRESSIONE LINEARE
y=b0+b1x
mediax=mean(x)
mediay=mean(y)
covarianza=cov(x,y)
varianza=var(x)
b1=covarianza/varianza
b0=mediay-b1*mediax
Migliore:
plot(x,y)
mod=lm(y tilde x)
mod mi dà coefficiente b0 e b1, rispettivamente
----------------------------
TEST UNILATERALE se < o > (1-alpha), bilaterale (1-alpha/2) se è !=:
livello di significatività: alpha, default 0.05
mu0: valore da testare
T.TEST QUANDO dati grezzi, popolazione normale, varianza incognita
t.test(dati, alternative: two.sided/greater/less, mu)
^ gives p-value
T o Zoss = (xbar-mu0)/(sigma o S)/lenght(x)
T_teo= qt(1-alpha,n-1)
if p-value>alpha, il valore della statistica non cade nella zone di rifiuto, non rifiutiamo l'ipotesi nulla e non abbiamo sufficiente evidenza empirica
per rifiutare l'ipotesi
if p-valure<alpha, i dati mostrano l'evidenza per rifiutare l'ipotesi.
---------------------
FUNZIONI VETTORE
vet<-sort(x,decresing=TRUE)
best5<-vet[1:5]
length(vet)
per selezionare solo alcuni valori: n<-vet[vet<n]
-----------------------------
Roba probabilità
succeda x essendoci stato y: P(x|y)=P(x int y)/P(y)
------------------------------
set.seed(1)
rnorm() per le distrubuzioni normali, che sono normali se la numerosità è alta
round(x) che approssima
Per potere usare la statistica campionaria distribuita con t di student, col limite centrale (?), con distribuzione elevata
Se due eventi sono s-indipendenti per l'intersezione si può fare la moltiplicazione.
quindi P(B u C) = P(B) + P(C) - P(B int C) = P(B) + P(C) - P(B)*P(C)
z<-qnorm(1-alpha,0.1)
Distribuzioni preferite?? normale
All'aumentare della deviazione standard, la distribuzione si appiattisce e si allarga
Funzione di ripartizione
Differenza fra devianza e codevianza, fra varianza e covarianza
DBINOM
Probabilità che su x casi, esattamente y volte succeda, sapendo che succede z% volte
dbinom(y,x,z)
PNORM
pnorm calcola la probabilità sulla sinistra. per calcolare qualcosa di maggiore, 1 - pnorm(x,media,sd)
Quando invece abbiamo la probablità e dobbiamo trovare il punto:
QNORM
qnorm(p,mean,sd)
ESTREMI CLASSI
estremi_classi <- c(50,60,70,80,90,100)
#con la funzione cut divido la distribzione in classi
#classi chiuse a sinistra
classi <- cut(voti_sorted, breaks=estremi_classi,
right=FALSE)
fr.ass <- table(classi)
fr.ass
cumsum() somme cumulate
BERNOULLI
Supponiamo di voler ripetere un medesimo esperimento diverse volte, e di voler misurare quante volte si verifichi un
certo esito su tutte le prove effettuate. Questo problema va sotto il nome di prove ripetute. Bisogna fare attenzione che il
risultato di ciascuna prova non influenzi le successive, ossia che le singole prove siano tra di loro indipendenti.
La formula da utilizzare in questi casi è la formula di Bernoulli: se l’evento da noi indagato ha una probabilità pp di verificarsi
per ciascuna prova, ed effettuiamo nn prove indipendenti, la probabilità che l’evento si verifichi k volte
--------------
Tre sono le procedure tipiche dell’inferenza statistica:
I La stima puntuale: si cerca di determinare valori puntuali dei parametri incogniti
della popolazione mediante i valori del campione.
I La stima intervallare: si cercano degli intervalli contenenti con una certa fiducia i
parametri della popolazione.
I La verifica (test) d’ipotesi: si usa il campione per controllare la validità di ipotesi
riguardanti i parametri della popolazione
-------------------
Proporzione di successo: media aritmetica sui dati; successo/n
Perché standardizzare i dati? Per annullare gli affetti dell'unità di misura, così la reale varianza e reale distribuzione possono essere confrontabili
Quando R-Squared è vicino all'1, i dati sono vicini alla retta
NORMALE STANDARDIZZATA
z= (val - media)/sd
1 - pnorm(z,0,1) per stimare valori più grandi di quel numero
LEGGE DEI GRANDI NUMERI
la legge dei grandi numeri ci dice che, all’aumentare del
numero delle prove, la distribuzione di probabilità della frequenza relativa dei
successi tende sempre più a concentrarsi intorno al valore di p, probabilità
dell’evento successo nella singola prova.
TEOREMA DEL LIMITE CENTRALE
Quando un campione ha un'ampiezza sufficientemente elevata, la distribuzione di probabilità X' può essere approssimata con una normale
