Chapitre 1.

Introduction

1.1 Présentation générale

Les probabilités et les statistiques sont deux domaines complémentaires des mathématiques. Les probabilités fournissent le cadre théorique, indépendamment de toute réalité. Les statistiques partent de la réalité pour donner une vue globale, tentent de synthétiser ou de modéliser en se servant des modèles théoriques issus des probabilités.

On trouvera ici à la fois une introduction aux calculs mathématiques qui servent de base aux probabilités et aux statistiques mais aussi des exemples concrets, une discussion de l’interaction entre calculs et interprétation. Nous fournirons aussi des exemples de programmation de façon à rendre le lecteur, la lectrice à la fois autonome quant à la lecture d’ouvrages sur les deux disciplines qui fondent ce cours mais aussi capable de s’adapter aux logiciels courants ou apte à (re)programmer ces calculs et formules.

Nous attendons des élèves de ce cours qu’ils sachent calculer (car on ne ”fait” pas des mathématiques) à la fois à la main et avec un ordinateur. On espère qu’ils sauront maitriser l’ensemble des concepts et qu’ils pourront acquérir au long de ces pages suffisamment de recul pour ”voir des choses” au-delà des pages de formules et de chiffres, par-delà les hypothèses, les modèles. Enfin, et surtout, nous voudrions qu’ils arrivent à exposer leurs vues, leur résultats chiffrés, leurs conclusions avec précision, concision et culture en un tout lisible, accessible dans cet effort difficile qu’est la rédaction et l’exposé.

Chapitre 1. Introduction

1.2 Plan de l’ouvrage

Les pages que vous êtes en train de lire constituent le chapitre 1, c’est l’Introduction à l’ouvrage. Le chapitre 2 viendra rappeler les bases du calcul des Probabilités, avec de nombreux exemples concrets. On y introduira les Variables Aléatoires, leurs grandeurs caractéristiques et quelques Lois classiques. On passera en revue dans le chapitre 3 les Statistiques classiques et leurs caractéristiques avec un petit détour par la notion de test. Ensuite, des statistiques un peu moins classiques seront traitées dans le chapitre 4 avec des variables autres que qualitatives ou quantitatives. Enfin, la théorie reprendra sa place avec les variables vectorielles (en particulier gaussiennes) et la convergence dans le chapitre 5 alors que le chapitre 6 essaiera de conclure via l’informatisation des traitements, l’utilisation de logiciels et l’importance de la rédaction.

Sachant que tous et toutes n’ont pas les mêmes bases théoriques et mathématiques, nous avons souvent regroupé les démonstrations en fin de chapitre de façon à faciliter la lecture des concepts et à ne pas ralentir la progression du cours. Attention toutefois aux démonstrations : de façon à privilégier la réflexion, les démonstrations sont incomplètes. On ne trouve aucune justification des enchainements. C’est tout à fait volontaire, contraignant et sans doute plus pédagogique qu’il n’y parait. Le lecteur peu intéressé par les mathématiques nous en saura gré, l’expert se fera un plaisir de justifier ici la commutativité de l’addition dans lR, là l’existence des intégrales généralisées... Dans le même esprit, des annexes sur les structures algébriques et le dénombrement complètent les 6 chapitres et avec aussi quelques incontournables tables numériques.

De nombreux exercices sont proposés après chaque partie de cours importante. Certains sont des applications pas toujours simples du cours, d’autres viennent fournir des compléments, des éclairages différents sur les notions mises en place. Nous ne saurions trop conseiller de lire soigneusement les énoncés de ces exercices, à défaut de les résoudre...

Espaces Probabilisés et Variables aléatoires

2.1 Probabilités

2.1.1 Définitions et Propriétés élémentaires

Soit E un ensemble dont les éléments sont nommés évènements élémentaires ; E lui-même est nommé espace des épreuves ou univers. On le note classiquement Ω. On appelle évènement de E tout élément de T = P(E). Le complémentaire de l’évènement F par rapport à E est noté \overline{F} et nommé évènement contraire de F.^{1}

Une probabilité p sur E est une fonction de T dans [0,1] qui vérifie les axiomes suivants nommés axiomes de Komogorov :

\begin{matrix}[P1] & p(E) = 1 \\ [P2] & p(A ∪ B) = p(A) + p(B) si A ∩ B = ∅ \end{matrix}

Tout évènement X tel que p(X) = 1 est appelé évènement certain. Tout évènement Y tel que p(Y) = 0 est appelé évènement impossible. En particulier, E est certain et ∅ est impossible.

1 On note aussi C(F) ou comp(F) ce complémentaire suivant le contexte (mathématique, informatique...). De même, on précise aussi par rapport à quoi on prend le complémentaire s’il peut y avoir ambiguité, comme avec la notation traditionnelle ∁_{E}F.

Chapitre 2. Probabilités

De [P1] et [P2] on déduit que

[P3] p(∅) = 0
[P4] p(\overline{F}) = 1 − p(F)
[P5] p(A ∪ B) = p(A) + p(B) − p(A ∩ B) (formule de Poincaré)
[P6] p est croissante de (T , ⊂) dans ([0, 1], ≤)

T est nommé l’univers des possibles (ou plus simplement univers). Au lieu d’évènement, on emploie aussi le terme d’éventualité. Deux événements A et B tels que A ∩ B = ∅ sont dits incompatibles (ou encore disjoints). Deux événements A et B tels que p(A ∩ B) = p(A).p(B) sont dits indépendants. Ces deux notions ne sont pas liées. Un système complet d’évènements de E est une partition de E.

2.1.2 Probabilités conditionnelles, décompositions

On appelle probabilité conditionnelle de B quand A la quantité

p(B|A) = \frac{p(A ∩ B)}{p(A)}.

Cette notion n’a bien sûr de sens que si p(A) est non nul. On prendra garde au fait que p(B|A) n’est qu’une notation et qu’elle n’a aucun sens ”classique” puisque B|A ne désigne pas un évènement au même titre que A ∩ B, A ∪ B...

Grâce aux propriétés ci-dessus, pour deux évènements A et B, on a :

la formule des probabilités totales

p(A) = p(B).p(A|B) + p(\overline{B}).p(A|\overline{B})

et la formule de Bayes

p(B|A) = \frac{p(B).p(A|B)}{p(B).p(A|B) + p(\overline{B}).p(A|\overline{B})}

Ces formules se généralisent, pour un système complet {ω_{i}} de E en

\begin{matrix}[P7] & p(A) = Σ_{i} p(ω_{i}).p(A|ω_{i}) \\ [P8] & p(ω_{j}|A) = p(ω_{j}).p(A|ω_{j})/Σ_{i} p(ω_{i}).p(A|ω_{i}) \end{matrix}

Pour A fixé, notons maintenant p_{|A} l’application X ↦ p(X|A). Alors :

[P9] p_{|A} est une probabilité.

2.1.3 Généralisation de la notion de probabilité

Une probabilité est en fait un cas particulier de mesure sur une tribu. Une tribu (ou σ-algèbre ou algèbre σ-additive) sur un ensemble Ω est une famille de sous-ensembles de Ω qui contient ∅ et Ω, stable par passage au complémentaire et par union finie ou dénombrable. Si T est une tribu sur Ω, le couple (Ω, T ) est appelé espace mesurable. Une mesure μ sur un espace mesurable est une fonction σ-additive de Ω dans \overline{R}_{+} (où \overline{R}_{+} désigne R_{+} ∪\{∞\}) c’est à dire une fonction qui vérifie : μ(⋃_{i} A_{i}) = Σ_{i} A_{i} où les A_{i} sont une famille finie ou dénombrable d’évènements deux à deux incompatibles. Le triplet (Ω, T , μ) est alors appelé espace mesuré.

2.1.4 Calculs effectifs de Probabilités

Les définitions et propriétés précédentes montrent comment calculer la probabilité d’un évènement à partir d’une décomposition ensembliste en évènements élémentaires dont on connait les probabilités. Celles-ci sont soit déterminées par des calculs de dénombrements soit en utilisant une hypothèse raisonnable, pratique parce que simple mais pas forcément fondée : la répartition équitable ou équirépartition. Ainsi obtenir un nombre pair en lançant un dé se ramène à l’union disjointe de l’obtention d’un deux, d’un quatre... Sauf hypothèse contraire, tous les chiffres sont équiprobables et sortir un chiffre pair a donc une probabilité de 0.5.

Les probabilités ainsi construites sont toutes théoriques en ce sens qu’elles ne reflètent pas la réalité. Un dé n’a jamais ses faces parfaitement équiprobables, le ”hasard” intervient plus souvent qu’un ”ordre” uniformément réparti...

2.2 Variables aléatoires

2.2.1 Définitions

Maitenant que nous savons reconnaitre, décomposer et plus généralement manipuler des évènements, nous allons introduire des fonctions sur ces évènements. Ainsi, nous savons déterminer les probabilités associés aux différentes faces d’un dé, que ce soit dans des tirages avec ou sans remise, mais que faire avec ces tirages? Par exemple, pour deux dés, On peut s’intéresser à la somme des chiffres obtenus en un tirage, à leur produit, ou au nombre de lancers qu’il faut effectuer pour obtenir le 6 sur chaque dé en même temps...

C’est ici qu’interviennent les variables aléatoires. Formellement, une variable aléatoire nommée X sur une ensemble E muni d’une probabilité p est une fonction de T_{E} dans une partie de F = lR telle que ∀u ∈ F, X^{−1}(B) ∈ T_{E} où B est un borélien^{2} de F. Si Im(X) est fini ou dénombrable, le vocabulaire classique^{3} l’appelle variable discrète ; sinon, elle est dite continue. On peut aussi prendre comme ensemble d’arrivée non pas lR mais lR^{n}; la variable aléatoire est alors dite vectorielle. Un premier problème posé est alors celui des notations et un second celui de la probabilité sous-jacente à une ”expérience aléatoire empirique”.

Pour le premier problème, on conviendra de noter X ∈ B l’ensemble des ω tel que X(ω) ∈ B et on s’autorisera même à écrire X = k si B se réduit à une seule valeur, alors que l’écriture correcte serait X^{−1}({k}). On trouvera aussi un sens à une expression comme X ≤ k... Pour le second problème, ce sera souvent plus délicat car il y de nombreux sous-entendus : si on lance deux dés et qu’on s’intéresse à la somme des valeurs obtenues, la probabilité sous-jacente n’est pas très difficile à trouver, même si elle requiert un peu de calcul.

Il est facile à partir de la notion de variable aléatoire de comprendre une différence fondamentale entre probabilités et statistiques. En probabilités, on fera l’hypothèse que chaque face du dé est équiprobable, on s’intéressa à toutes la valeurs possibles et on déterminera théoriquement ce qu’on doit obtenir.

2 Nous utilisons ce terme sans l’avoir défini, ce qui ne gêne pas si l’on prend comme équivalent la périphrase ”réunion d’intervalles”. L’intérêt de donner le ”bon” mot est de faciliter l’approfondissement vers la théorie de la mesure...

3 On peut être étonné de ce vocabulaire puisque’une variable aléatoire est... une fonction ! De même pour la qualification variable aléatoire continue puisque ce n’est pas la fonction qui est continue mais l’ensemble d’arrivée qui est non dénombrable.

En statistiques, on réalise une expérience et on compte. C’est en comparant les valeurs observées et les valeurs théoriques qu’on peut se faire une idée exacte du phénomène, (se) convaincre que les hypothèses sont exactes, ou remettre en question le modèle (ici l’équiprobabilité).

Soit donc X une variable aléatoire discrète sur (E, p) à valeurs dans I et définissons l’application p_{X} de I dans [0, 1] par p_{X}(k) = p(X^{−1}({k})) soit encore, avec la notation précédente : p_{X}(k) = p(X = k). Alors :

[V1] p_{X} est une probabilité appelée probabilité image de p par X.

Passons maintenant à une variable aléatoire continue Y à valeurs dans lR, et notons p_{Y} l’application qui à un intervalle [a, b] de lR associe la quantité p(a ≤ Y ≤ b) = p(Y^{−1}([a, b])). Alors

[V2] p_{Y} est une probabilité.

Là encore, p_{Y} est appelée probabilité image de p par Y.

2.2.2 Valeurs caractéristiques

Essayons maintenant de caractériser nos variables aléatoires. Comme elle peuvent avoir de nombreuses valeurs, il est intéressant de les résumer. Le premier indicateur numérique global est la moyenne qui donne la tendance centrale. Si X est une variable aléatoire discrète, notons x_{i} les différentes valeurs possibles de X et p_{i} les probabilités associées. Alors la moyenne de X est m = Σ x_{i}.p_{i}. Pour une variable aléatoire continue Y, comme il n’est pas possible de d’utiliser p(x),^{4}, on a recourt à la densité de Y qui est une

fonction f_{Y} telle que ∫lR f = 1 avec p(Y ≤ y) = ∫_{−∞}^{y} f. La moyenne de Y

est alors m = ∫ Id.f_{y}.

Il existe diverses notations pour désigner la moyenne. Lorsqu’on utilise plusieurs variables aléatoires, on peut noter m_{X}, m(X), moy(x), average(X), av(X) ou encore \overline{X} pour préciser de quelle variable il s’agit.

Le deuxième indicateur numérique global est la variance. C’est un indicateur de dispersion moyenne autour de m. Si on note mt(X, n) = Σ x_{i}^{n}.p_{i} le moment d’ordre n pour une variable aléatoire discrète X, alors on peut remarquer que m(X) = mt(X, 1) et la variance peut ête définie par V = mt(X, 2) − m(X)^{2}.

4 Pourquoi?

En d’autre termes, ”la variance de X est la différence entre la moyenne du carré des valeurs et la carré de la moyenne des valeurs”. On peut aussi introduire les moments centrés : mt_{c}(X, n) = mt(X − m(X), n). On démontre alors que

[V3] V (X) = mt_{c}(X, 2)

soit encore : ”la variance de X est son moment centré d’ordre 2”. Pour une raison peut-être pas très claire pour l’instant, on définit aussi l’écarttype σ(X) de X comme la racine carrée de la variance : σ(X) = \sqrt{V (X)}. Comme pour la moyenne, de nombreuses notations existent pour V (X) et σ(X), notamment var(X), \overline{\overline{X}}, etyp(X), ect(X), std(X)... Le rapport σ/m est nommé coefficient de variation.

Pour une variable aléatoire continue Y, le moment d’ordre n est défini par :

mt(Y, n) = ∫_{R} Id^{n}.f_{y} et la variance par V = mt(Y, 2) − m(Y)^{2}.

Il existe d’autres indicateurs globaux (kurtosis, skewness) mais ils ne nous intéressent pas pour l’instant. Nous en parlerons au prochain chapitre quand nous traiterons les séries statistiques. De même, des indicateurs locaux (comme minimum, maximum...) ne sont pas a priori intéressants en probabilitiés. On verra par contre qu’ils prennent tout leur sens en statistiques et en informatique, à la fois comme indicateur et comme vérificateur de données.

Passons maintenant aux propriétés des opérateurs m, V et donc σ. m est additive c’est à dire que

[V4] m(A + B) = m(A) + m(B)

sous réserve que A et B soient deux variables aléatoires définies pour la même probabilité. m est aussi homogène soit :

[V5] m(k.A) = k.m(A)

où k est une constante. Ces deux propriétés font de m une application linéaire. Par contre la moyenne n’est pas multiplicative car m(A.B) ≠ m(A)m(B) en général (un contre-exemple suffit à le montrer). La variance n’est en général pas additive

[V6] V (A + B) ≠ V (A) + V (B)

et non homogène puisque

[V7] V (k.A) = k^{2}.V (A)

On en déduit que σ n’est pas additive et que de plus

[V8] σ(k.A) = |k|.σ(A)

Le fait que V ne soit pas additive résulte du fait que m n’est pas multiplicative. En effet :

[V9] V (A + B) − V (A) − V (B) = 2.(m(A.B) − m(A).m(B))

On appelle covariance de A et B la quantité m(A.B) − m(A).m(B)) notée cov(A, B) qu’on ”normalise” pour obtenir le coefficient de corrélation linéaire entre A et B: ρ(A, B) = cov(A, B)/σ(X).σ(Y).

Les résultats suivants sont simples à démontrer

[R1] Y = aX + b ⇒ |ρ(X, Y)| = 1
[R2] ∀A, B − 1 ≤ ρ(A, B) ≤ 1
[R3] A et B indépendantes ⇒ cov(A, B) = 0

Attention toutefois à ce que la réciproque que [R3] est fausse.

2.3 Lois Classiques

Les lois discrètes sont en général assez simples à aborder et le calcul de leurs caractéristiques (moyenne, écart-type) est assez facile à mener. Par contre, pour les lois continues et en particulier pour les dernières (Khi-deux, Student, Fisher-Snédécor) ces calculs demandent des techniques poussées d’intégration. Nous les citons cependant car elles sont importantes pour les test statistiques. De plus, elles font partie de la culture statistique et il est bon de les connaitre, au moins par leur nom et leur définition, si ce n’est par leurs formules.

2.3.1 Lois Discrètes

Loi de Bernoulli

C’est sans doute la loi discète la plus simple à étudier puisqu’elle n’a que deux valeurs 0 et 1. Il ne faut pas pour autant la négliger puisqu’elle sert de support à tous les calculs sur les phénomènes binaires comme succés/échec, oui/non, présence/absence... On note traditionnellement b(p) cette loi où p désigne la probabilité de X = 1. Sa moyenne est p, son écart-type \sqrt{p.(1 − p)}.

Loi Binomiale

Cette loi requiert deux paramètres : n et p. On la note B(n, p). La façon la plus naturelle de présenter cette loi discrète est de la considérer comme la somme de n variables de Bernoulli indépendantes de même paramètre p. Sa moyenne est np et son écart-type \sqrt{n.p.(1 − p)}. On peut aussi la présenter en termes de tirages de boules. Supposons qu’on tire n boules parmi un ensemble de boules de deux types (par exemple de deux couleurs, blanc et noir). Soit p la proportion de boules blanches. Alors B(n, p) peut s’interpréter comme la variable ”nombre de boules blanches tirées”. L’évènement ”on a tiré k boules blanches” a donc comme probabilité p_{k} = p(X = k) = C_{n}^{k}.p^{k}.(1 − p)^{n−k} pour k de 0 à n.

Loi Uniforme Discrète

C’est là encore une loi très simple : elle est constante. On la définit classiquement sur l’intervalle [[ 1, n ]] = [1, n] ∩ IN. Chaque probabilité élémentaire vaut donc 1/n. La moyenne de U(n) est (n+1)/2 et son écart-type \sqrt{(n^{2} − 1)/12}.

Loi Géométrique

Reprenons l’interprétation en termes de boules pour la loi Binomiale : on a n boules de deux couleurs, blanc et noir. Les boules blanches sont en proportion p. La loi Géomètrique G(n, p) correspond à la variable aléatoire X où X = k est l’évènement ”on a obtenu une (première) boule blanche seulement au kième tirage”. La probabilité associée est p_{k} = (1 − p)^{k−1}.p d’où une moyenne 1/p et un écart-type de (1 − p)/p^{2}.

Loi de Pascal

Nommée aussi loi binomiale négative, cette loi généralise la loi géométrique. On s’intéresse à l’obtention de s boules blanches au bout de k tirages pour n boules de deux couleurs dont la proportion de boules blanches est p. La probabilité associée est p_{k} = C_{k−1}^{s−1}.p^{s}.(1 − p)^{k−s}. La moyenne de P(n, p) est s/p et son écart-type de \sqrt{s(1 − p)/p^{2}}.

Loi de Poisson

De paramètre λ, cette loi discrète est un peu surprenante puisqu’elle prend un nombre infini de valeurs à savoir 0,1,2.... Nommée aussi ”loi des évènements rares”, elle sert à modéliser les phénomènes de files d’attente. La probabilité d’obtenir le nombre entier k est e^{−λ}λ^{k}/k!. Sa moyenne est λ et son écart-type λ. On la note P(λ).

2.3.2 Lois Continues

Loi Uniforme Continue

Elle est constante, comme son nom l’indique. On la définit classiquement sur [a, b]. Sa moyenne est donc (a + b)/2 et son écart-type \sqrt{(b − a)^{2}/12}. On la note U([a, b]).

Loi Triangulaire

Cette loi T ([a, b]) est définie sur [a, b]. Elle est composée de deux segments de droite qui se rencontrent au milieu de l’intervalle à une hauteur de 2/(b − a) ce qui dessine donc un triangle isocèle. On laisse en exercice la détermination de la probabilité élémentaire, le calcul de la moyenne qui vaut (a + b)/2 et de l’écart-type (b − a)/2\sqrt{6}.

Loi Exponentielle Avec un paramètre α strictement positif, la loi E(α) est définie sur lR_{+} par la densité f(x) = α.e^{−αx}. Sa moyenne est 1/α et son écart-type aussi. Loi de Erlang-Gamma Cette loi est définie par la densité f(x) = α^{k}.x^{k−1}.e^{−αx}/Γ(k) pour x ≥ 0, α > 0 et k > 0 fixés, où Γ est bien sùr l’intégrale eulérienne Γ(k) = ∫_{0}^{+∞} y^{k−1}.e^{−y}.dy qui généralise la fonction factorielle : Γ(n) = (n − 1)! pour n entier. La moyenne de la loi d’Erlang est k/α, son écart-type \sqrt{k}/α. Loi de Weibull-Rayleigh La loi de Weibull est notée W(α, β, γ). Elle est définie par la densité f(x) = (β/α).y^{β−1}e^{−y^{β}} pour γ ≤ x, α > 0, β > 0 et γ fixés, où y = (x − γ)/α. On peut vérifier que α est un paramètre d’échelle, β un paramètre de forme et γ un paramètre de position. Sa moyenne est γ + α.Γ(1 + 1/β), son écart-type α.\sqrt{Γ(1 + 2/β) − Γ(1 + 1/β)}. La loi de Rayleigh est W(α, 2, 0). Loi Normale Cette loi à deux paramètres μ et ν a pour densité

f(x) = \frac{1}{σ.\sqrt{2π}} .e^{−t^{2}/2}

où t est (x − μ)/ν. Sa moyenne vaut μ, son écart-type ν et on la note donc classiquement N (m, σ). Loi de Cauchy Si U et V sont deux lois normales centrées réduites, la variable X = U/V est appelée loi de Cauchy. Elle n’admet ni moyenne ni écart-type. Loi Log-Normale Si U est une loi normale de moyenne μ et d’écart-type σ, la variable X définie par X = e^{U} est appelée loi log-normale. Sa moyenne est x^{μ+σ^{2}/2}, son écart-type \sqrt{e^{2μ+σ^{2}}e^{σ^{2}} − 1}. Loi du Khi-Deux Si Z_{1}, Z_{2} Z_{ν}... sont ν variables normales centrées réduites, alors la variable Σ_{i}Z_{i}^{2} est une variable de Khi-deux à ν degrés de liberté. Sa moyenne est ν, son écart-type \sqrt{2ν}.

Loi de Student

Si U est une variable normale centrée réduite, si V est une variable de Khideux à ν degrés de liberté et si U et V sont indépendantes, alors la variable T = U/\sqrt{V/ν} est une variable de Student à ν degrés de liberté. Sa moyenne est 0, son écart-type \sqrt{ν/(ν − 2)} pour ν > 2.

Loi de Fisher-Snédécor

Si U est une variable de Khi-deux à ν_{1} degrés de liberté et si V est une variable de Khi-deux à ν_{2} degrés de liberté alors la variable T = (U/ν_{1})/(V/ν_{2}) est une variable de Fisher-Snédécor à (ν_{1}, ν_{2}) degrés de liberté. Sa moyenne est ν_{2}/(ν_{2} − 2) pour ν_{2} > 2.

Chapitre 2. Probabilités 14

Statistique

3.1 Statistiques Descriptives

Les statistiques élémentaires ont pour but de décrire les données, de les résumer, si possible sans trop les déformer. Le recueil, la collecte des données, notamment dans le cas d’enquête est une partie délicate et souvent négligée. Pourtant elle conditionne le reste des traitements. Il faut donc avoir des connaissances en méthodologie d’enquête pour mener à bien l’élaboration du questionnaire, la conduite d’entretiens... En particulier les notions de protocole de passation (par enquêteur, au téléphone, par envoi de courrier...), de protocole de déroulement (par exemple en double insu, avec placebo pour les enquêtes médicales, pharmaceutiques...), de technique d’échantillonnage (par quotas, aléatoire...), de découpage en classes doivent être définis avec soin. Ce n’est pourtant malheureusement pas ni le lieu ni le temps de faire ici une telle partie de cours et nous nous bornerons dans les exercices à sensibiliser à ces problèmes. On trouvera par contre dans la bibliographie les références nécessaires aux ouvrages correspondants.

Si en probabilités on parle d’épreuve, d’univers ou d’espace d’épreuves puis de valeur réalisée et de variable aléatoire, en statistiques on traite des populations, dont une partie nommée échantillon est analysée. Les constituants de la population, analogues aux évènements des variables aléatoires sont les observations nommées aussi caractères ou variables effectuées sur des individus.

Chapitre 3. Statistique

3.1.1 Variables et séries

Contrairement aux probabilités, les statistiques ne traitent pas forcément des variables aléatoires mais plutôt des données. Celles-ci sont souvent présentées en lignes ou en colonnes, dans des tableaux de valeurs. Traditionnellement, on met en lignes les individus et en colonnes les variables statistiques. On appelle aussi les colonnes séries statistiques parce que ce sont des suites de valeurs ordonnées. Les données correspondent le plus souvent à un échantillon, ce qui signifie qu’on n’a pas à notre disposition l’ensemble des valeurs pour la population complète mais seulement une partie de ces valeurs. La représentativité de l’échantillon est là aussi un problème de fond. Nous renvoyons à des ouvrages spécialisés pour ce problème. Mais les journaux (télévisés, de la presse écrite...) fournissent aujourd’hui les techniques (sondage par quota, par exemple), et les quantités utilisées (enquêtes dites ”nationales” de 1 000 ou 2 000 personnes...) pour que le lecteur en ait quand même une petite idée.

Lorsqu’on traite des séries statistiques, on est le plus souvent confronté à des fichiers de données. Une des premiers tâches concrètes est de vérifier l’intégrité des données (aucun age n’est négatif ou nul...), leur cohérence (toutes les séries ont le même nombre de valeurs...), leur exhaustivité (les unités, les codes utilisés sont explicitement décrits). Contrairement aux probabilités où la loi binomiale peut être traitée sans aucune interprétation physique, les séries statistiques doivent être soigneusement décrites. C’est souvent une difficulté pour un spécialiste des calculs que d’être au fait des modalités de traitement, de comprendre ce que signifient les termes employés.

Ainsi, une analyse nommée ANT AL vient présenter des données qui mettent en jeu des médicaments antalgiques. Certaines valeurs sont issues de traitements placebo en double-insu. Pour le statisticien, ces qualificatifs doivent avoir un sens, sinon la rédaction risque d’être incorrecte. De même, le dossier ELF (Enquête Linguistique sur la Féminisation des noms de métier) traite de l’actio-régionnalité. Comment interpréter une moyenne d’age de 25 ans par rapport à cette actio-régionnalité si on ne connait pas ce mot? C’est là tout l’art et le travail du statisticien que d’apprendre, de survoler un domaine pour ensuite aider les spécialistes de la discipline à éclairer les données par des conclusions pertinentes... Une variable non renseignée ou mal renseignée est source d’erreur. On prendra donc soin à connaitre le sens de chaque code, chaque unité.

3.1.2 Variables qualitatives et quantitatives

Nous restreignons volontairement pour l’instant nos données à deux types élémentaires, les variables à unités et les variables à codes nommées aussi variables quantitatives et variables qualitatives. Le chapitre 4 viendra présenter les traitements associés à d’autres types de variables, tout aussi élémentaires quant à leur origine mais plus délicates à manipuler comme les variables multi-réponses, les variables textuelles... Nous allons supposer aussi que toutes nos variables sont transcrites numériquement, laissant à l’informaticien le problème du codage, recodage, formatage des données.

Nous noterons QT toute variable dont la ou les unités sont clairement définies et pour laquelle la notion de somme, de moyenne a un sens. Le mot QT est bien sur un acronyme pour (variable) QuanTitative. De même, nous désignerons par QL (variable QuaLitative) toute variable pour laquelle les valeurs numériques n’on en fait aucune importance, parce qu’elles correspondent à un codage arbitraire. Si les unités ne sont pas fournies pour une variable quantitative, il faut refuser d’effectuer l’analyse. On peut toujours croire être en mesure de les trouver, mais c’est un leurre. Ainsi, l’age est une variable quantitative. Mais pour une réaction chimique, l’age des bactéries se compte en pico- ou en micro-secondes, pour un nourrisson, on utilisera des heures ou des jours, pour une étude géoclimatique, on pourra compter en mois ou en années... En ce qui concerne les codes (ou qualités, ou modalités) d’une variable qualitative, c’est encore pire : si au cours d’une enquête on demande aux personnes interrogées leur sexe, le code 0 peut être aussi bien celui de l’homme que celui de la femme. Qui plus est, le codage 1/2 (de la Sécurité Sociale) est national et ne sera donc pas employé par d’autres nations. Enfin, signalons un problème délicat, celui des non-réponses. Ainsi, pour une enquête récente, nous avons eu trois code-sexe : 0, rencontré 17 fois ; 1, rencontré 235 fois et 2, renconré 12 fois. Où sont les femmes?

On prendra donc soin à bien référencer les variables, leur nature, les unités et les codes employés. Cela se fait souvent à l’aide de fichiers externes nommés descriptifs. Comme son nom l’indique, une base de données ne contient que les données. Il faut donc (et ce n’est pas un problème mathématique mais un problème logistique) lui adjoindre un ou plusieurs fichiers de description, voire un lexique des termes employés afin de savoir ce que l’on traite.

3.1.3 Analyse univariée

On dit aussi analyse à une seule dimension ou analyse séparée pour bien indiquer qu’on prend en compte chaque colonne de valeurs indépendamment des autres colonnes. L’analyse univariée d’un dossier de n variables est donc équivalent à l’analyse des n dossiers constitués chacun d’une seule variable. Pour une variable quantitative, on effectue un calcul calqué sur le celui des variables aléatoires : moyenne, variance, écart-type etc. Pour une variable qualitative, on effectue (et le nom peut sembler curieux pour l’instant) un tri à plat. Il s’agit en fait de comptages, que l’on double souvent de fréquences (ou pourcentages).

Les notations classiques pour l’analyse d’une variable qualitative sont très simples à mémoriser : le tri à plat d’une telle variable avec m modalités numérotées 1,2... m utilise les codes c_{j}, j de 1 à m pour dénombrer l’effectif absolu n_{j} (ou ”nombre de fois”) de la modalité numéro j qu’on présente via son label (ou ”libellé” l_{j}). Le total Nt = ∑ n_{j} permet de calculer les fréquences (relatives) f_{j} = n_{j}/Nt et les proportions (ou pourcentages) p_{j} = 100 ∗ fj.

On attachera de l’importance à choisir le nombre de décimales d’affichage de telles valeurs, de façon à bien faire ressortir le phénomène de répartition des valeurs, que ce soit une équi-répartition ou une répartition inégale des modalités (on parle alors de disproportion).

Il ne faut pas donner seulement les pourcentages sans préciser le nombre total d’individus car sinon on masque la représentatitivé de l’échantillon vis à vis de la population. En d’autres termes, à partir des n_{j} on peut calculer les f_{j} mais la réciproque est fausse : à partir des f_{j} on ne peut pas calculer les n_{j} (mais on le peut si on connait les f_{j} et la somme Nt des n_{j}).

Lors d’une analyse où de nombreuses variables sont présentes, il est fréquent de se poser la question de l’ordre d’affichage des résultats. Les logiciels les moins intelligents se contentent de présenter les résultats variable par variable, dans l’ordre historique, c’est à dire dans l’ordre où elles ont été entrées dans le questionnaire, l’enquête ou le dossier.

Nous préférons un ordre qui fait tout de suite ressortir les variables significatives. Pour les variables quantitatives, on viendra donc effectuer un premier affichage par ordre décroissant de moyenne puis un deuxième par ordre décroissant de coefficient de variation σ/m.

Si les variables sont très hétérogènes ou incomparables entre-elles (comme taille, poids, age...) cela pourra, à défaut de permettre la comparaison, donner une indication sur un effet de taille possible. Pour les variables qualitatives, on viendra tout d’abord ordonner chaque chaque liste de modalités d’une même variable par ordre décroissant d’importance (avec certainement le pourcentage entre parenthèses) puis on viendra classer ces variables par ordre de plus forte modalité. Là encore, ceci n’aura qu’un sens si ces variables ne sont pas trop différentes les unes des autres : il est clair qu’une variable comme ”profession”, ”CSP” avec 15 rubriques ne sera pas aussi remplie par modalité qu’une variable comme ”sexe” avec au plus 3 modalités. On doublera très souvent les analyses chiffrées par des graphiques, que ce soit des courbes de valeurs, histogrammes de données ou de fréquences. Attention toutefois pour les variables quantitatives à ce qu’un découpage en classes n’est pas chose aisée. Le choix du nombre de classes, des bornes de classes n’est pas ni simple ni systématique (même si certains logiciels les tiennent pour ”évidentes”).

La rédaction, l’interprétation des moyennes, comptages... obtenus est une phase obligatoire du traitement statistique. Elle coute parce qu’elle est difficile et engage son auteur. En particulier, on se méfiera de l’équirépartition, base de nombreux sondages qui peut être criticable ; ainsi, pour un dossier comme ELF, la disproportion apparente entre hommes et femmes est justifiée par le thème de l’enquête. La fausse précision scientifique assurée par de nombreuses décimales doit souvent être remplacée par un arrondi accompagné d’un commentaire d’imprécision. Ainsi ”environ un tiers...” sera bien mieux perçu et plus facile à se rappeler, à transmettre que 32.7869 %. Il faut aussi rappeler les modes de calcul utilisés. Lors d’une élection récente sur les questions européennes, on a affiché partout qu’il y avait une majorité de ”oui à l’Europe” alors que les chiffres étaient 51 % de oui, 49 % de non et 12 % d’abstention. Est-ce vraiment une majorité? Peut-on employer les termes de victoire, d’affirmation forte et collective avec une si faible différence de réponses? C’est là tout un art que de ”noyer la poisson ” (et l’électeur avec) que de glisser des chiffres aux phrases.

Nous ne saurions trop encourager le débutant à déjouer les pièges d’une fausse science statistique qui joue sur les mots pour masquer les problèmes. Ainsi, lors de débats, notamment télévisés, il est fréquent de voir des discussions sur le nombre exact de chômeurs, qui comptant en ”données normalisées”, qui comptant ”après correction des données saisonnières”. Il est évident qu’avec deux méthodes de comptages différentes, les résultats sont différents.

Mais la réponse à la question ”Combien y a-t-il de chômeurs”, la réponse devrait être unanime : ”Il y en a trop”, que ce soit 3,2 millions avec une méthode ou 3,4 millions avec une autre.

Nous livrons ici quelques adages qui devraient être le credo de tout statisticien, même de l’apprenti et qu’il faut relire avant chaque analyse à effectuer, après chaque rédaction :

• La machine calcule, l’humain interpréte et rédige.

• Après et avec les calculs, les graphiques.

• Si les données sont fausses, les résultats sont faux.

• Si les formules sont fausses, les résultats sont faux.

• Si on emploie mal l’ordinateur, les résultats sont faux.

• Si les conditions d’expérimentations sont omises, l’analyse est sans doute incorrecte, pour le moins incomplète.

• Les résultats peuvent être justes, mais les interprétations fausses ou mal exposées.

• La statistique est une science qui requiert éthique, honnêteté, rigueur et volonté de communiquer.

3.1.4 Analyse bivariée

Encore nommée analyse à deux dimensions, on vient ici s’intéresser aux couples de variables. A priori, pour n variables en tout, on en a C_{n}^{2} à traiter, soit n.(n − 1)/2 mais souvent on n’effectue pas tous ces traitements. Tout d’abord parce qu’il y en a trop à effectuer, ensuite par ce qu’ils n’ont pas toujours de sens. On vient donc effectuer tous les croisements entre variables quantitatives, qu’on nomme corrélations et on effectue seulement certains croisements nommés tris croisés pour les variables qualitatives. Il arrive qu’on vienne aussi faire des traitements par sous-populations, utilisant les modalités de variable qualitative comme critère de découpage, mais on retombe alors sur un problème d’analyse univariée sur un sous-ensemble de la population.

La corrélation linéaire entre deux variables quantitatives est la même que celle introduite pour les variables aléatoires. On calcule donc systématiquement tous les coefficients de corrélation linéaire entre variables quantitatives. Il y a mathématiquement corrélation si |ρ| est égal à 1. En pratique, on dira qu’il y a corrélation pour |ρ| > 0.9. Il peut être intéressant (pour des phénomènes locaux) d’aller voir un peu plus loin. On viendra donc aussi fournir les couples (X, Y) de variables quantitatives telles que |ρ| > 0.6. Dans la mesure où ce sont les ordinateurs qui calculent, trient, affichent, on n’hésitera pas à consulter ces indications. Si X et Y sont en liaison linéaire, la relation de dépendance linéaire Y = a.X + b est au mieux vérifiée pour

\begin{aligned}[C1] & a = ρ(X, Y).σ(Y)/σ(X) \\ & b = m(Y) − a.m(X) \end{aligned}

Mais on peut aussi utiliser pour les formules :

[C2] a = (m(X).m(Y) − m(XY))/d
b = (m(X).m(XY) − m(Y)mt(X, 2))/d
où d = m(X)^{2} − mt(X, 2)

La corrélation linéaire correspond à un cas particulier de régression où on cherche une relation ici sous forme d’une droite entre des variables. La méthode la plus simple ici pour calculer a et b consiste à minimiser l’erreur au sens des moindres carrés, à savoir Σ(Y_{i} − (a.X_{i} + b))^{2}.

On se méfiera de la symétrie mathématique de la relation de corrélation. Elle ne doit en aucun cas être confondue avec la notion de causalité. S’il est vrai que plus X et Y sont liés (linéairement), plus |ρ(X, Y)| augmente, cela n’indique pas pour autant que X implique Y ou que Y implique X. Que le nombre de couches-culotte achetées chaque année augmente dans la même proportion que le nombre de voitures le montre clairement. Il peut y avoir une troisième variable (par exemple la ”croissance économique”) qui est cause des deux autres. Attention aussi à la transitivité faible de la relation de corrélation linéaire (parfois surprenante, dans les listings, pour les débutants). Nous avons détaillé ces pièges dans les exercices.

Pour des variables qualitatives ordinales, la notion de corrélation peut avoir un sens (corrélation au sens de Kendall, de Spearman), mais c’est dans un contexte bien particulier que nous traiterons plus lois. La généralisation des comptages donne lieu à des tri croisés. Le terme tri à plat s’explique alors par le fait que les totaux en lignes, en colonnes des tris croisés (donc à deux variables) donnent précisément les comptages à une seule variable. Un tri à plat s’obtient donc en ”aplatissant” un tri croisé.

On peut raffiner les tris croisés en ne donnant pas seulement les comptages mais aussi les différents pourcentages (par rapport au total général, par rapport au total de la ligne, par rapport au total de la colonne...).

Il n’est pas bon en général de donner tous les tris croisés car certains sont biaisés. Ainsi, croiser sexe et profession n’est pas très juste sous l’angle de l’équirépartition : certaines professions emploient principalement des femmes, d’autres sont plutôt réservées (à juste titre? ) aux hommes... De même en ce qui concerne le croisement entre niveau d’étude et classe d’age. Il est difficile de s’attendre à trouver des personnes de moins de 15 ans au niveau troisième cycle des universités... On vient donc souvent choisir – et c’est un arbitraire – quelques tris croisés, espérant qu’ils seront significatifs, révélateurs.

Si l’ordre d’affichage des corrélations linéaires est facile à trouver (on utilise l’ordre décroissant des ρ(X, Y) en valeur absolue), il n’ y a pas pour l’instant de ”bon choix” pour chacun des tableaux croisés. Pourtant, à la réflexion et à la lumière de la notion de calcul de χ^{2}, le lecteur pourrait déjà en proposer un ou deux, pas très immédiats. Nous laissons ces ordres à faire à titre d’exercice.

3.2 Comparaison et Approximation

Deux questions toutes naturelles qui se posent lors de l’analyse de plusieurs variables qualitatives sont celles de l’égalité de deux répartitions et l’adéquation (ou approximation de ces variables par des lois usuelles). Si la comparaison mathématique (stricte égalité terme à terme) ne peut pas être retenue pour des raisons pratiques, il faut chercher d’autres indicateurs numériques de ressemblance. On cherche en général un seul indicateur global, ce qui oblige souvent à utiliser une expression à base de sommesde différences.

Soit en effet à comparer deux répartitions a_{i} et b_{i} pour un même effectif global Nt. On mettra en oeuvre des expressions comme ∑(a_{i} − b_{i}), ∑ (a_{i} − b_{i})^{2}, ∑ |a_{i} − b_{i}| etc. La sous-section suivante est consacrée à la caractérisation de telles valeurs.

3.2.1 Dissimilarités, Distances...

Soit E un ensemble et d une application de ExE dans R^{+}. On ne suppose rien de plus sur E. Ce pourra donc être un ensemble de nombres, un ensemble de fonctions, un ensemble de matrices, d’espaces vectoriels... La notion de distance, de dissimilarité, d’écart... est liée à trois notions : une notion de symétrie qui permettra de dire ”x et y sont proches” sans distinguer de sens ; une notion métrique qui permettra de quantifier la ”taille” de la distance ; une notion de ”dissemblance” ou de dissimilarité qui permet d’être sûr que les éléments, quand ils sont différents, sont à une certaine ”distance” les uns des autres. On conçoit donc que la notion de distance est une notion générale, ”sympathique”, applicable à des domaines concrets et à des structures complexes aussi bien en mathématiques pures qu’en mathématiques appliquées, en statistiques, en qualité, en physique...

On dit que d est un indice de dissimilarité sur E ou plus simplement une dissimilarité ssi elle vérifie la condition :

(∀x, y) d(x, y) = 0 ⇔ x = y

On rappelle que d est dite symétrique ssi

(∀x, y) d(x, y) = d(y, x)

De plus, d est dite sous-maximale ssi

(∀x, y, z) d(x, y) ≤ max(d(x, z), d(z, y))

Enfin, d est dite triangulaire ssi

(∀x, y, z) d(x, y) ≤ d(x, z) + d(z, y)

Une distance est une dissimilarité symétrique et triangulaire. Une ultramétrique est une dissimilarité symétrique sous-maximale. Un ensemble muni d’une distance est appelé espace métrique. Il existe de nombreuses distances dont on trouvera la définition dans n’importe quel ouvrage d’analyse. La notion de distance permet de définir des notions de topologie générale (boule ouverte, ensemble ouvert, filtre...) et de convergence (continuité, compacité, complétude, suite de Cauchy...). On montre qu’ une ultramétrique est une distance.

Soit a_{i}, b_{i}, c_{i} trois répartitions de nombres strictement positifs de même somme Nt. On nomme coefficient khi-deux (noté χ^{2}) des répartitions a_{i} et b_{i} de centre c_{i} la quantité

χ_{c}^{2}(a, b) = ∑(a_{i} − b_{i})^{2}/c_{i}

Si les c_{i} sont fixés, l’application (a, b) → \sqrt{χ_{c}^{2}(a, b)} définit une fonction qui est un indice de dissimilarité symétrique et triangulaire. C’est donc une distance.

Deux problèmes se posent ensuite : quelles valeurs prendre pour les c_{i}? comment décider que deux a_{i} et b_{i} sont proches si leur χ^{2} est non nul? A la première question, il est facile de répondre si on chercher à comparer a_{i} à une répartition théorique b_{i}: on prendra c_{i} = b_{i}. Sinon, on calculera une répartition théorique à partir du tableau de contingence (ou tri croisé) induit par les a_{i} et les b_{i}. Pour la deuxième, on utilise une ”table” de χ^{2}.

Reste encore à savoir quelle loi théorique utiliser pour b_{i}. Admettant que les a_{i} correspondent à des valeurs i =0,1,2...n on peut utiliser deux modèles classiques : la loi Binomiale et la loi de Poisson tronquée. Dans chacun des cas, il faut déterminer les paramètres de ces lois, calculer les probabilités théoriques, passer des probabilités aux fréquences puis à des effectifs entiers avant de calculer le chi-deux. Nous prendrons ici des exemples pour montrer ces calculs.

A partir de t valeurs i et a_{i}, on calcule les fréquences observées obs_{i} = a_{i}/Nt où Nt est l’effectif total ∑ a_{i}. La moyenne observée est donc m_{obs} = ∑ i.obs_{i}. Si les a_{i} correspondent à une loi Binomiale B(n, p) de moyenne théorique m_{th} alors on doit avoir n = t et m_{obs} = m_{th} ce qui permet de déduire p = m_{obs}/n. Connaissant n et p, on dresse la liste des probabilités théoriques p_{i} associées aux valeurs i, i de 0 à n. La fréquence théorique est donc th_{i} = p_{i}.Nt et le chi-deux calculé est alors χ_{ht}^{2}(obs, th).

3.2.2 Calculs concrets de χ^{2}

Comme premier exemple de calcul de χ^{2}, considérons le résultat du tirage de 200 boules parmi 4 couleurs : rouge, vert, blanc et bleu. Il y a une proportion de 30 % de boules rouges, 20 % de boules vertes, 40 % de boules blanches et 10 % de boules bleues. On fournit le tirage suivant : 70 boules rouges, 40 vertes, 68 blanches et 22 bleues. Pour déterminer le χ^{2}, on commmence par déterminer le nombre théorique de boules par couleur. Il sufit pour cela de multiplier les proportions par le nombre total de boules, ce qui nous donne 200*30 % = 60 boules rouges, 40 vertes, 80 blanches et et 20 bleues. Le χ^{2} est donc (60 − 70)^{2}/60 + (40 − 40)^{2}/40 + (80 − 68)^{2}/80 + (20 − 22)^{2}/20 soit 3.667.

Comme deuxième exemple, on fournit les résultats d’une expérience où on a effectué plusieurs lancers de 6 pièces de monnaie. On a obtenu 18 lancers ”0 ou 1 fois pile”, 42 lancers ”2 fois pile”, 66 lancers ”3 fois pile”, 45 lancers ”4 fois pile” et 21 lancers ”5 ou 6 fois pile”. Le nombre total de lancers est donc 192. La loi théorique est la loi binomiale B(6, 0.5) à condition de regrouper les valeurs 0 et 1 d’un coté, les valeurs 5 et 6 de l’autre. Il est possible de calculer par programme informatique ou avec une calculatrice les probabilités p(”X=0”) = 0.0156 = p(”X=6”), p(”X=1”) = 0.0938 = p(”X=5”), p(”X=2”) = 0.2344 = p(”X=4”) et p(”X=3”)=0.3125. Le nombre théorique de ”0 ou 1 pile” est donc de (0.0156+0.0938)*192 soit 21.0048 arrondi en 21 mais ce n’est pas la méthode la plus pratique ici. En effet, pour la loi binomiale, ici p=1-p donc chaque probabilité est proportionelle au C_{n}^{p} correspondant. On a donc une fréquence de 1/64 pour ”X=0” et ”X=6”, 6/64 pour ”X=1” et ”X=5”, 15/64 pour ”X=2” et ”X=4”, 20/64 pour ”X=3”. Puisque 192=3*64, le nombre de ”0 ou 1 fois pile” est donc (1+6)*3 soit 21, valeur exacte. De même, on a 45 lancers ”2 fois”, 60 lancers ”3 fois”, 45 lancers ”4 fois”, 21 ”5 ou 6 fois pile”. Le χ^{2} est donc (18 − 21)^{2}/21 + (42 − 45)^{2}/45 + (66 − 60)^{2}/60 + (45 − 45)^{2}/20 + (21 − 21)^{2}/21 soit 1.260.

3.2.3 Approximations par la loi Binomiale et la loi de Poisson

Des essais récents sur 145 échantillons de 30 cartes-mères de P8 fournissent le tableau suivant de nombre de cartes-mères défectueuses :

\begin{matrix}x_{i} & 0 & 1 & 2 & 3 & 4 & 5 & 6 & 7 & ... & 30 \\ n_{i} & 44 & 55 & 29 & 10 & 5 & 1 & 1 & 0 & ... & 0 \end{matrix}

On vérifie que la somme totale des effectifs Nt = ∑ n_{i} vaut bien 145. La loi binomiale à considérer est ici B(, np) avec n = 30. Pour p, puisque la moyenne pondérée vaut m = ∑ x_{i}.n_{i}/Nt = 1.2 = n.p, on déduit que p = 0.04. Les 12 premières valeurs de la loi binomiale B(30, 0.04) ainsi que leur produit par 145 sont

\begin{matrix}x_{i} & p_{i} & p_{i}.145 & arrondi \\ 0 & 0.2938576 & 42.6093520 & 43 \\ 1 & 0.3673221 & 53.2617045 & 53 \\ 2 & 0.2219237 & 32.1789365 & 32 \\ 3 & 0.0863037 & 12.5140365 & 13 \\ 4 & 0.0242729 & 3.5195705 & 4 \\ 5 & 0.0052591 & 0.7625695 & 1 \\ 6 & 0.0009130 & 0.1323850 & 0 \\ 7 & 0.0001304 & 0.0189080 & 0 \\ 8 & 0.0000156 & 0.0022620 & 0 \\ 9 & 0.0000016 & 0.0002320 & 0 \\ 10 & 0.0000001 & 0.0000145 & 0 \\ 11 & 0.0000000 & 0.0000000 & 0 \end{matrix}

Les termes d’ordre supérieur à 12 sont négligeables. La somme des 9 premières probabilités est 0.9999825, soit à près multiplication par 145, un total de 144.9974625. Pour appliquer le calcul du χ^{2}, il faut regrouper des classes. On obtient finalement les valeurs théoriques 43, 53, 32 et 17 mises en regard des valeurs observées 44, 55, 29 et 17. Le χ^{2} est alors de 14.

3.2.4 χ^{2} d’indépendance et χ^{2} d’ajustement

Il arrive qu’on veuille comparer p ”caractères” ou variables qualitatives selon la répartition qu’elles induisent sur une même population. On parle alors de χ^{2} d’indépendance alors que les χ^{2} précédents étaient nommés χ^{2} d’ajustement à une loi théorique. Pour un tel calcul, la valeur théorique correspond à l’indépendance des caractères qui est exprimée par le fait qu’on peut calculer cette valeur théorique en effectuant le produit du total de la ligne par le total de la colonne divisé par le total général.

Pour le χ^{2} d’indépendance, les notations classiques sont les suivantes. Soient n_{i,j} les valeurs du tri croisé. On note n_{i.} le total de la ligne i et n_{j.} le total de la colonne j. Soit n_{..} le total général, qui vaut donc ∑_{j} n_{j.} mais aussi ∑_{i} n_{i.}. Le χ^{2} est alors calculé pour tous les obs_{k} = n_{i,j} et pour tous les th_{k} = n_{i.} n_{.j}/n_{..} où on parcourt toutes les valeurs de i et j par exemple en prenant k de 1 à l ∗ c si l est le nombre de lignes et c le nombre de colonnes avec k(i, j) = (c−1)∗i+j. Le nombre de degrés de liberté est alors (l −1).(c−1).

6 lignes et 4 colonnes
    1     0     0     0  +     1
   11     4     3     6  +    24
   11     1     7     0  +    19
    6     4    11     4  +    25
    7    12    11    10  +    40
    1     1     1     3  +     6
+++++++++++++++++++++++++++++++++
   37    22    33    23  +   115
    0.322     0.191     0.287     0.200  +     1.000
    7.722     4.591     6.887     4.800  +    24.000
    6.113     3.635     5.452     3.800  +    19.000
    8.043     4.783     7.174     5.000  +    25.000
   12.870     7.652    11.478     8.000  +    40.000
    1.930     1.148     1.722     1.200  +     6.000
++++++++++++++++++++++++++++++++++++++++++++++++++++
   37.000    22.000    33.000    23.000  +     0.000
 chi-deux 28.151

A titre d’exemple, voici un programme Awk qui calcule ce χ^{2} d’indépendance

{ for (i=1;i<=NF;i++) { d[FNR,i]=$i ; tg += $i }
 nbl = FNR ; nbc = NF }
END{ print nbl " lignes et " nbc " colonnes  "  ;
d[nbl+1,nbc+1] = tg # total general
for (i=1;i<=nbl;i++) { for (j=1;j<=nbc;j++) {
  tl[i] += d[i,j] } ; d[i,nbc+1] = tl[i] } # total ligne
for (j=1;j<=nbc;j++) { for (i=1;i<=nbl;i++) {
  tc[j] += d[i,j] } ; d[nbl+1,j]   = tc[j] } # total colonne
for (i=1;i<=nbl+1;i++) { # affichage avec les marges
    for (j=1;j<=nbc+1;j++) { printf(" %4d ",d[i,j]) ;
       if (j==nbc) {printf(" + ")} }
       print " "
       if (i==nbl) { print("+++++++++++++++++++++") }  }
print " "
for (i=1;i<=nbl;i++) {  # valeurs theoriques
 for (j=1;j<=nbc;j++) { t[i,j] = tl[i]*tc[j]/tg ;
          x = (t[i,j]-d[i,j]); ch += x*x/t[i,j] }   }
for (i=1;i<=nbl;i++) { for (j=1;j<=nbc;j++) { # total ligne
  hl[i] += t[i,j] } ; t[i,nbc+1] = hl[i] }
for (j=1;j<=nbc;j++) { for (i=1;i<=nbl;i++) { # total colonne
  hc[j] += t[i,j] } ; t[nbl+1,j]   = hc[j] }
for (i=1;i<=nbl+1;i++) {
    for (j=1;j<=nbc+1;j++) {
       printf(" %8.3f ",t[i,j])
       if (j==nbc) {printf(" + ")} }
       print " "
       if (i==nbl) { print("++++++++++++++++++++++") }  }
print " "
print " chi-deux " ch
}

Pour se ramener à un coefficient positif entre 0 et 1, on utilise diverses techniques de normalisation de ce χ^{2} d’indépendance. Notant χ pour le chi-deux précédent et N le total général, ces coefficients sont

C de Pearson  = \sqrt{\frac{χ}{χ + N}}

T de Tschuprow  = \sqrt{\frac{χ}{N.\sqrt{(l − 1)(c − 1)}}}

V de Cramer  = \sqrt{\frac{χ}{N.inf\{l − 1, c − 1\}}}

G de vraisemblance = 2 ∑_{i} ∑_{j} n_{ij}.ln(N.n_{i}/(n_{i.}n_{.j}))

La contribution d’une case en ligne i, colonne j au chi-deux vaut n_{..}(n_{ij} − n_{i.}n_{.j})^{2}/(χn_{i.}n_{.j}). Une valeur élevée d’une telle contribution met en évidence une association significative entre la modalité i et la modalité j. Signalons enfin un dernier indice, mais non symétrique, le τ_{b} de Goodman et Kruskal :

τ_{b}(y/x) = \frac{(∑_{i} ∑_{j} n_{ij}^{2}/(N.n_{i.}) − T}{1 − T}

avec T = 1 − ∑_{j}(n_{.j}/N)^{2}

3.2.5 Corrélation des rangs

L’analyse bivarée de variables ordinales (ou rangs, ou variables hiérarchiques) a donné lieu à de nombreux indices de corrélation. Considérant les rangs comme des variables quantitatives, Spearman propose de calculer le classique coefficient de corrélation. Mais comme les données sont des permutations de {1, 2...n} on obtient, en posant ε_{i} = a_{i} − b_{i} (différence entre deux rangs) la quantité

ρ_{S} = 1 − 6. ∑_{i} ε_{i}^{2}/D

avec D = n.(n^{2} − 1) où n est le nombre de termes à classer.

Le coefficient de Kendall se calcule en comptant pour chaque a_{i} le nombre de b_{j} supérieurs à y_{i} pour j > i (les x_{i} étant ordonnés). Si R est la somme de ces nombres alors

ρ_{K} = \frac{4.R}{n(n^{2} − 1)} − 1

Sur un exemple numérique, on saisit mieux la qualité de ces coefficients. Soient les deux classements sur 10 objets

\begin{matrix}a_{i} & 1 & 2 & 3 & 4 & 5 & 6 & 7 & 8 & 9 & 10 \\ b_{i} & 3 & 1 & 2 & 4 & 6 & 5 & 9 & 8 & 10 & 7 \end{matrix}

alors n = 10, ∑_{i}(a_{i} − b_{i})^{2} = 26, D = 990, ρ_{S} = 1 -6*26/990 soit 0.84. De même, R = (7+8+6+6+4+4+1+1) = 37 donc ρ_{K} = (4*37/90) - 1 = 0.64

3.2.6 Comparaison de deux pourcentages

Soient A et B deux échantillons de taille n_{a} et n_{b} contenant respectivement une proportion p_{a} et p_{b} d’individus marqués. Pour savoir si ces deux proportions correspondent à deux échantillons provenant d’une même population avec une proportion p d’individus marqués, on effectue le calcul de ”l’écart réduit” défini par

ε = |p_{a} − p_{b}|/r où r = \sqrt{p(1 − p)(1/n_{a} + 1/n_{b})}

si p est la proportion d’individus marqués dans la population regroupant n_{a} et n_{b}. La différence est dite significative au risque de α = 5 % si ε est supérieur à 1.96 ; cela signifie qu’on a seulement 5 chances sur 100 de se tromper en affirmant que les proportions ne viennent pas d’une même population.

Par exemple, sur 102 ordinateurs parisiens achetés, 20 sont des bi-Pentium ; sur 98 ordinateurs angevins achetés, 29 sont des bi-Pentium. On a donc n_{a} = 102, n_{b} = 98, p_{a} = 20/102 = 0.20, p_{b} = 28/98 = 0.30, p = (20+28)/(102+98) = 0.24 , ε = 0.12/\sqrt{0.003701} = 1.641141... donc on peut estimer que ces deux proportions sont issues d’une mêeme population. Par contre, avec 10 fois plus de personnes (soit 1020 ordinateurs parisiens et 980 angevins), on aurait un écart réduit de 1.64 ∗ \sqrt{10} soit 5.19 et la conclusion serait inversée.

3.2.7 Comparaison de deux moyennes

Soient A et B deux échantillons de taille n_{a} et n_{b} de moyenne respective m_{a} et m_{b} et de variance respective v_{a} et v_{b}. Pour savoir si ces deux moyennes correspondent à deux échantillons provenant d’une même population, on effectue un calcul similaire à celui de ”l’écart réduit” défini pour la comparaison de pourcentages. Soit

δ = |m_{a} − m_{b}|/r où r = \sqrt{v_{a}/n_{a} + v_{b}/n_{b})}

La différence est dite significative au risque de α = 5 % si δ est supérieur à 1.96 ; cela signifie qu’on a seulement 5 chances sur 100 de se tromper en affirmant que les moyennes ne viennent pas d’une même population.

Amusons-nous (! ) à comparer des notes d’élèves issus de France (série a_{i}) et de Navarre (série b_{i}). On donne dans le tableau suivant les effectifs par note (pour des notes de 0 à 10, ce qui montre que cet exemple ne correspond pas à ”la” réalité) :

\begin{matrix}note & a_{i} & b_{i} \\ 0 & 0 & 3 \\ 1 & 0 & 3 \\ 2 & 3 & 6 \\ 3 & 9 & 11 \\ 4 & 7 & 7 \\ 5 & 5 & 13 \\ 6 & 17 & 10 \\ 7 & 10 & 12 \\ 8 & 11 & 4 \\ 9 & 4 & 1 \\ 10 & 1 & 3 \end{matrix}

Puisque n_{a} = 67, m_{a}=5.85074627, v_{a}= 3.97772332, n_{b} = 73, m_{b}=4.87671233, v_{b}= 5.64233440, δ = 097/\sqrt{12.9973} soit 3.6052 donc la différence est significative.

3.3 Introduction à l’Analyse des Données

Après l’analyse à une et à deux dimensions, on pourrait penser passer à l’analyse à trois dimensions. En fait, ce n’est pas aussi simple. Passer de l’ordre deux à l’ordre trois n’est pas chose aisée. Tout le monde se souvient de la résolution de l’équation du second degré, mais de celle du troisième? On apprend jusqu’en terminale à tracer des courbes sur le modèle y = f(x) soit deux variables, mais tracer à trois variables suivant le modèle z = g(x, y) est beaucoup plus ardu. Le même problème se pose pour la représentation : la dimension deux correspond au plan, aux courbes, la dimension trois à l’espace et aux surfaces. C’est pourquoi la statistique classique s’est longtemps arrêtée seulement à des généralisations vectorielles des notions précédentes. Si on essaie de traiter simultanément un ensemble d’individus et de variables, un pré-requis est de disposer d’un tableau de données rectangulaire. Là où les statistiques classiques ne traitent que les colonnes, l’Analyse des Données vient travailler dans les deux dimensions (lignes et colonnes). De plus elle cherche des relations linéaires générales (à n composantes). Les méthodes sont différentes suivant qu’il s’agit d’un tableau de variables quantitatives (ACP), d’un tableau avec une seule variable quantitative ventilée suivant plusieurs critères (AFC), d’un tableau de contingence (AFC), de variables qualitatives ou d’un mélange de variables (AFM) mais il s’agit d’une même démarche nommée Analyse Canonique. On cherche des directions d’allongement de l’inertie ou information contenue dans le tableau des données, on projette et on représente sur les axes principaux d’inerties les éléments, lignes et colonnes. Une suite logique de ces calculs est alors les méthodes de classification automatique hiérarchique, ascendante ou descendante, prenant pour entrées soit des données brutes, soit des coordonnées sur des axes factoriels. Ces méthodes participent du même but que les statistiques descriptives élémentaires, à savoir décrire synthétiquement les lignes et les colonnes, faire entrevoir les liaisons entre ces éléments, les quantifier et en donner des représentations graphiques.

A titre d’exemple, nous présenterons les données les résultats du dossier ANT AL dont nous avons déjà parlé. Nous commençons par le descriptif du fichier :

Antal.Dsc
  Pour  comparer  l'effet  de  deux  médicaments antalgiques
  (d'oú  le  nom   ANTAL  pour  le   dossier)  et  de   leur
  association, on soumet à  40 patients ces traitements  "en

double insu", c'est-à-dire que ni le patient ni le docteur
ne  savent  de  quel  traitement  il  s'agit.   Les quatre
traitements  sont  notés  A,  B,  &  et  P.  & est en fait
l'association de  A et  B, P  est un  placebo (absence  de
médicament).

On   note   dans   échelle   de   temps  repérée  par  les
identificateurs de lignes la réaction des patients.  Ainsi
A1/4 signifie après 1/4 d'heure pour le traitement A,  P2h
signifie après 2 heures pour le placebo etc.  Les colonnes
signifient  respectivement  douleur  nulle (DOU0), douleur
légère (DOU1), douleur modérée (DOU2), sévère (DOU3), très
sévère (DOU4)  ; on  indique aussi  une douleur  théorique
(DOU5) qui devrait ^etre associée voire équivalente à DOU4.

Les données fournies sont :

    HEUR  DOU0 DOU1 DOU2 DOU3 DOU4 DOU5
    A0h      0    0    0   28   12   25
    A1/4     0    2    4   28    6   13
    A1/2     0    4   16   18    2    5
    A1h      6    4   18   10    2    5
    A2h      6   10   12    8    4    9
    A3h      6   10    8   12    4    9
    A4h      4   12    4   16    4    9
    A>5h     0   14    6   16    4    9
    A>6h     0   14    6   16    4    9
    BP0h     0    0    0   22   18   37
    B1/4     0    4    6   22    8   17
    B1/2     0   12   10   16    2    5
    B1h      0   14   16    8    2    5
...
    &0h      0    0    0   18   22   45
    &1/4     0    4    6   20   10   21
    &1/2     0    4   20   14    2    5
    &1h      4   12   18    6    0    1
    &2h      4   20   12    4    0    1
    &3h     12   14    7    7    0    1
    &>3h    12   10   10    8    0    1
    &>4h    12   10   10    8    0    1

     &>5h    12   10   10    8    0    1
     P0h      0    0    0   22   18   37
     P1/4     0    0    0   22   18   37
     P1/2     0    0    0   34    6   13
     P1h      2    4   16   14    4    9
     P2h      2    8    8   10    4    9
...

Une ASG (Analyse Statistique Générale) fournit alors les résultats suivants :

ETUDE de la base  ANTAL
    Il y a          36  lignes dans votre base
        et          07  colonnes
Nødu   Nom du   Moyenne  Ecart-Type  Coef. Var. Min     Max         Etendue
champ  champ        m         s        s/m
  1 HEUR      non numérique ; son type est :  Caractère
  2 DOU0         2.944     3.756     1.276     0.000     12.000     12.000
  6 DOU4         5.444     5.899     1.084     0.000     22.000     22.000
  7 DOU5        11.889    11.799     0.992     1.000     45.000     44.000
  3 DOU1         8.278     5.541     0.669     0.000     20.000     20.000
  4 DOU2         8.639     5.583     0.646     0.000     20.000     20.000
  5 DOU3        14.472     6.784     0.469     4.000     34.000     30.000
Matrice des corrélations de  ANTAL  avec          36  lignes
       DOU0    DOU1    DOU2    DOU3    DOU4    DOU5
DOU0    1.0000
DOU1    0.3344  1.0000
DOU2    0.2229  0.4055  1.0000
DOU3   -0.5996 -0.7055 -0.6716  1.0000
DOU4   -0.4627 -0.7227 -0.6925  0.5548  1.0000
DOU5   -0.4627 -0.7227 -0.6925  0.5548  1.0000  1.0000

Borne de corrélation s^ure     ( 0.9 conseillé )           0.9
Borne de corrélation possible ( 0.6 conseillé )           0.6
Meilleures corrélations
*  DOU5  DOU4      1.000
   DOU4  DOU1     -0.723
   DOU5  DOU1     -0.723
   DOU3  DOU1     -0.705
   DOU4  DOU2     -0.693
   DOU5  DOU2     -0.693

DOU3  DOU2     -0.672
Formules linéaires associées
Corrélation    1.000 : DOU5   =    2.000 * DOU4   +    1.000
Corrélation    1.000 : DOU4   =    0.500 * DOU5   +   -0.500

L’AFC du fichier produit les résultats suivants :

******************************************
*  B I B L I O T H E Q U E    A D D A D  *
*         MICRO   (VERSION 89.1)         *
*         17/09/89                       *
******************************************

     ANALYSE DES CORRESPONDANCES (ANCORR)
     D'APRES : YAGOLNITZER ET TABET

VALEURS  PROPRES       VAL(1)=   1.00000
---------------------------------------------------------------------
NUM ! VALPRO. ! POURC.! CUMUL !VARIAT.!*! HISTO. DES VALEURS PROPRES
----------------------------------------------------------------------
2 !  .29516 ! 42.430! 42.430!*******!*!***************!***************
3 !  .21473 ! 30.868! 73.298! 11.562!*!***************!*******
4 !  .12113 ! 17.412! 90.710! 13.456!*!************
5 !  .06457 !  9.283! 99.993!  8.130!*!*******
6 !  .00005 !   .007!100.000!  9.275!*!
    ! I1 ! QLT POID INR!  1#F  COR CTR!  2#F  COR CTR!  3#F  COR CTR!
---------------------------------------------------------------------
   1!A0h !1000   17  37! 1046  734  65! -502  170  21! -344   80  17!
   2!A1/4!1000   35  14!  419  622  21!  156   87   4! -204  147  12!
   3!A1/2!1000   35  11!   -3    0   0! -157  108   4! -394  683  45!
   4!A1h !1000   35  37! -668  600  53!   19    0   0!  545  399  86!
   5!A2h !1000   35  31!  381  239  17! -328  177  17!  595  582 102!
   6!A3h !1000   35  37! -260   93   8!   49    3   0!  741  751 158!
   7!A4h !1000   35   6!  115  121   2!  -93   78   1!  296  797  25!
   8!A>5h!1000   35   7!   -1    0   0!  126  112   3! -300  640  26!
   9!A>6h!1000   35   7!   -1    0   0!  126  112   3! -300  640  26!
  10!BP0h!1000   17  65! 1062  435  67! 1190  546 115!  221   19   7!
...
  35!P5h !1000   35  34! -772  869  71!  237   82   9! -150   33   6!
  36!P6h !1000   17  36! -903  571  48!  -28    1   0! -146   15   3!
    ! J1 ! QLT POID INR!  1#F  COR CTR!  2#F  COR CTR!  3#F  COR CTR!
---------------------------------------------------------------------
   1!DOU0!1000    0   0!  900   70   0!-1868  303   0!   12    0   0!
   2!DOU1!1000  115 166! -252   63  25! -418  174  94!  848  717 685!
   3!DOU2!1000  189 154! -535  505 183!   89   14   7! -362  230 204!
   4!DOU3!1000  229 165! -596  710 276!   88   15   8!  -16    1   1!
   5!DOU4!1000  281 243!  565  531 305! -495  407 321! -185   57  80!
   6!DOU5!1000  185 271!  580  331 212!  813  649 570!  142   20  31!
---------------------------------------------------------------------
    !    !         1000!          1000!          1000!          1000!

AXE HORIZONTAL( 1)--AXE VERTICAL( 2)--TITRE:AFC ANTAL.DBF
NOMBRE DE POINTS :   42 ==ECHELLE :  4 CARACTERE(S) = .070    1 LIGNE = .029
+-------------------------------------------------------+-----------------------------------------------------------BP0h+  2  0  1
!                                                       !                                                               !  0  0  1
!                                                       !                                                               !  0  0  1
...
!                                                       !                                                               !  0  0  1
!                                                       !                                                               !  0  0  1
!                                                       !                                                               !  0  0  1
!                                                       !                                                               !  0  0  1
!                                                       !                                   DOU5                        !  0  0  1
!                                                       !                                                               !  0  0  1
!                                                       !                                                               !  0  0  1
!                                                       !                                                               !  0  0  1
!                                                       !                                                               !  0  0  1
!                                                       B1/4                                                            !  0  0  1
!                                                       !                                                               !  0  0  1
!                                                       !                                                           P1/2!  0  0  1
!                                                       !                                                               !  0  0  1
!                                                       !                                                               !  0  0  1
!                                                       !                                                               !  0  0  1
!                                                       !                                                               !  0  0  1
!                                                       !                                                               !  0  0  1
!                                                       !                                                               !  0  0  1
!                                                       !                                                               !  0  0  1
!                       P2h                             !                                                               !  0  0  1
!                                                       !                                                               !  0  0  1
!                                                       !                                                               !  0  0  1
!                                                       !                                                               !  0  0  1
!                                                       !                                                               !  0  0  1
!           P5h                                         !                                                               !  0  0  1
!                                                       !   P4h                                                         !  0  0  1
&1/4                                        P3h         !                                                               !  0  0  1
!                                               P1h     !                       A1/4                                    !  0  0  1
!                                                       A>5h                                                            !  1  0  1
!                       DOU3DOU2                        !                                                               !  0  0  1
!                                   B3h     A3h         !                                                               !  0  0  1
!                   A1h                                 !                                                               !  0  0  1
+-------------------------------------------------------+---------------&1/2--------------------------------------------+  0  0  1
!   B4h P6h                                             !                                                               !  0  0  1
!                       B6h                             !                                                               !  0  0  1
!                                                       !       A4h                                                     !  0  0  1
!                                                       !                                                               !  0  0  1
!                                                       A1/2                                                            !  1  0  1
!                                                       !                                                               !  0  0  1
!                                                       !                                                               !  0  0  1
!                                                       !                                                               !  0  0  1
!                                                       !                                       B1/2                    !  0  0  1
!                                                       !                                                               !  0  0  1
!                                                       !                       A2h                                     !  0  0  1
!                                           &3h         !                                                               !  0  0  1
!                                                       !       B2h                                                     !  0  0  1
!                                       &1h DOU1        !                                                               !  0  0  1
!                                                       !                                                               !  0  0  1
!                                                       !                                                               !  0  0  1
!                                                       !                               DOU4                        A0h !  1  0  1
!                                                   B5h !                                                               !  0  0  1
!                                                       !                                                               !  0  0  1
!                                                       !                                                               !  0  0  1
!                                                       !                                                               !  0  0  1
!                                                       !                                                               !  0  0  1
!                                                       !                                                               !  0  0  1
!                                                       !                                                               !  0  0  1
!                                                       !                                                               !  0  0  1
!                                                       !   &2h                                                         !  0  0  1
!                                                       !                                                               !  0  0  1
!                                                       !                                                               !  0  0  1
!                                                       !                                                               !  0  0  1
!                                                       !                                                               !  0  0  1
!                                                       !                                                               !  0  0  1
!                                                       !                                                               !  0  0  1
!                                                       !                                                               !  0  0  1
!                                                       !                                                               !  0  0  1
!                                                       !                                           &>3h                !  2  0  1
!                                                       !                                                               !  0  0  1
...
!                                                       !                                                               !  0  0  1
!                                                       !                                                   DOU0        !  0  0  1
+-------------------------------------------------------+---------------------------------------------------------------+  0  0  1
NOMBRE DE POINTS SUPERPOSES :   7
P0h (BP0h)  P1/4(BP0h)  A>6h(A>5h)  B1h (A1/2)  &0h (A0h )  &>4h(&>3h)  &>5h(&>3h)

Une suite logique de l’AFC est une CAH soit les fichiers :

CLASSIFICATION ASCENDANTE HIERARCHIQUE (CAH2CO),  METHODE DES VOISINS REDUCTIBLES
SOMME DES INDICES DE NIVEAU    .69565E+00
--------------------------------------------------------------------------------
!  J  ! I(J) ! A(J)! B(J)!T(J)!T(Q)! HISTOGRAMME DES INDICES DE NIVEAU
--------------------------------------------------------------------------------
!   71!   170!   70!   54! 244! 244!****************************************
!   70!   140!   63!   69! 201! 445!*********************************
!   69!    86!   68!   66! 123! 568!********************
!   68!    66!   67!   62!  94! 663!***************
!   67!    41!   65!   61!  59! 721!**********
!   66!    33!   58!   56!  47! 768!********
!   65!    30!   60!   64!  43! 811!*******
...
!   46!     1!   14!   17!   2! 997!*
!   45!     1!   31!   33!   2! 999!*
!   44!     1!   32!   35!   1!1000!*
!   43!     0!    1!   19!   0!1000!*
!   42!     0!    3!   13!   0!1000!*
!   41!     0!   27!   40!   0!1000!*
!   40!     0!   25!   26!   0!1000!*
!   39!     0!   29!   38!   0!1000!*
!   38!     0!   10!   28!   0!1000!*
!   37!     0!    8!    9!   0!1000!*
--------------------------------------------------------------------------
!  J  ! I(J) ! A(J)! B(J)! P(J)! CLASSES DE LA HIERARCHIE
----------------------------------------------------------
!   71!   170!   70!   54!   36!
----------------------------------------------------------
!   70!   140!   63!   69!   32! A0h  &0h  &>5h &>3h &>4h
!     !      !     !     !     ! A1/4 A1/2 B1h  A>5h A>6h
!     !      !     !     !     ! B1/2 &1/2 B6h  &1/4 P2h
!     !      !     !     !     ! A3h  B3h  A2h  A4h  ...
----------------------------------------------------------
!   69!    86!   68!   66!   27! P4h  P1h  P3h  B1/4 A1/4
!     !      !     !     !     ! &1h  &3h  B2h  B5h  B1/2
!     !      !     !     !     ! P5h  P6h  A1h  B4h  A3h
...
!   39!     0!   29!   38!    3! P1/4 BP0h P0h
--------------------------------------------------------
!   38!     0!   10!   28!    2! BP0h P0h
--------------------------------------------------------
!   37!     0!    8!    9!    2! A>5h A>6h
--------------------------------------------------------

REPRESENTATION DE LA CLASSIFICATION HIERARCHIQUE

     +--------+---------+---------+---------+---------+---------+---------+---------+---------+---------+

A0h  *----*---------------------------------------------------------------------------*----------------*-
     !    !                                                                           !                !
&0h  -    !                                                                           !                !
          !                                                                           !                !
&>5h *-----                                                                           !                !
     !                                                                                !                !
&>3h !                                                                                !                !
     !                                                                                !                !
&>4h -                                                                                !                !
                                                                                       !                !
P4h  -*--*-----------*------*-------------*-----------*--------------------------------                !
      !  !           !      !             !           !                                                !
P1h  *-  !           !      !             !           !                                                !
     !   !           !      !             !           !                                                !
P3h  -   !           !      !             !           !                                                !
         !           !      !             !           !                                                !
B1/4 -----           !      !             !           !                                                !
                     !      !             !           !                                                !
A1/4 --*--------*-----      !             !           !                                                !
       !        !           !             !           !                                                !
A1/2 *--        !           !             !           !                                                !
     !          !           !             !           !                                                !
B1h  -          !           !             !           !                                                !
                !           !             !           !                                                !
A>5h !          !           !             !           !                                                !
     !          !           !             !           !                                                !
A>6h -          !           !             !           !                                                !
                !           !             !           !                                                !
&1h  *-----------           !             !           !                                                !
     !                      !             !           !                                                !
&3h  -                      !             !           !                                                !
                            !             !           !                                                !
B2h  *---*-------------------             !           !                                                !
     !   !                                !           !                                                !
B5h  -   !                                !           !                                                !
         !                                !           !                                                !
B1/2 *----                                !           !                                                !
     !                                    !           !                                                !
&1/2 -                                    !           !                                                !
                                          !           !                                                !
B6h  -*---*--------------------------------           !                                                !
      !   !                                           !                                                !
&1/4 --   !                                           !                                                !
          !                                           !                                                !
P2h  *---*-                                           !                                                !
     !   !                                            !                                                !
P5h  -   !                                            !                                                !
         !                                            !                                                !
P6h  -----                                            !                                                !
                                                       !                                                !
A1h  -*-*--------------*-------------------------------                                                !
      ! !              !                                                                               !
B4h  -- !              !                                                                               !
        !              !                                                                               !
A3h  --*-              !                                                                               !
       !               !                                                                               !
B3h  ---               !                                                                               !
                       !                                                                               !
A2h  -**----------------                                                                               !
      !!                                                                                               !
A4h  --!                                                                                               !
       !                                                                                               !
&2h  ---                                                                                               !
                                                                                                        !
P1/4 **-------------------------------------------------------------------------------------------------
     !!
BP0h !!
     !!
P0h  -!
      !
P1/2 --

Chapitre 3. Statistique 40

Autres variables et Traitements

4.1 Variables numériques moins classiques

Un premier cas de variables peu différentes des variables qualitatives est celui des QM c’est à dire des variables multi-réponses. Une variable qualitative serait par exemple

”prenez-vous du café au petit déjeuner? (oui/non)”,

alors qu’une variable multi-réponses serait

”que prenez-vous au petit déjeuner : ”

- du café .... - du thé ....
- du lait ....  - du jeu d’orange ....

Une façon simple de traiter une QM est de la décomposer en plusieurs QL. Il y a toutefois une petite difficulté : le nombre de réponses n’est pas toujours le même, ce qui empêche de faire des pourcentages avec un même total. On peut parfois imposer un nombre de réponses (”cocher une seule case”), donner une limite inférieure ou supérieure (”choisissez au plus 3 valeurs”) mais cela ne résoud pas pour autant tous les problèmes.

Un deuxième type de variables proches des variables quantitatives cette foisci est celui des QP ou variables pourcentages.

Chapitre 4. Autres variables

Un exemple de variable pourcentage est fourni par un énoncé comme

”comment répartissez-vous vos soiréees-télévision (en %) ”

- sport  ....
- films  ....
- variétés  ....
- autres  ....

Comme pour les autres variables, il faut d’abord tester la cohérence des données. Il peut y avoir des non-réponses (faut-il leur mettre 0 %? ), des totaux incorrects (plus de 100 %, moins de 100 %). La question de savoir ce qu’il faut faire en cas de réponse incorrecte est délicate. Ignorer tous les pourcentages pour un total incorrect ou pour une non-réponse revient à changer le nombre total de personnes, c’est à dire la taille de l’échantillon. Si le nombre d’erreurs est important (ce qui est le cas pour des questionnaires en publi-postage), on peut arriver à des chutes d’effectifs très importants. Par contre, dans le cas de questions gérées in situ par un enquêteur, ce genre de problème ne se pose pratiquement pas.

Le traitement d’une QP ne pose pas a priori de difficultés. On effectue la moyenne de chaque pourcentage qu’on peut ensuite classer par ordre décroissant. Pour comparer plusieurs QP, on aura intérêt à indiquer clairement le nombre de réponses mises en jeu par variable. On peut aussi faire l’écart-type des réponses pour affiner la vision un peut trop synthétique fournie par les moyennes. Mais il est bon d’avoir une idée de ce que représente 1 %, 10 % car souvent il est difficile d’évaluer précisément de telles quantités.

Un pourcentage peut être remplacé par un score, ou un anti-score. Il n’y a alors plus de total imposé. Un exemple de question possible pour les scores est

”indiquez vos préferences en littérature par une note ” ”de 1 à 5 (5 est la meilleure note)”

- romans  note :
- monographies  note :
- bandes dessinées note :
- autres  note :

Pour des scores, il est en général conseillé d’indiquer le total général des réponses, de faire une étude quantitative des scores par personne de façon à connaitre un profil moyen de réponse (chaque modalité peut être fortement cotée, faiblement cotée...).

Une façon de normaliser les scores est d’utiliser un troisième type de variables, les QH ou variables hiérarchiques. On les nomme aussi rangs. On demande alors au questionné(e) de classer, par ordre de préférence ou d’antipréférence des modalités : ^{1}

”classer de 1 à 3 ces chateaux de la Loire” ”(1 est le meilleur)” - Angers

- Chenonceaux - Saumur

Même pour un petit nombre de modalités, des problèmes de cohérence peuvent surgir. Certain(e)s n’arrivent pas à se décider et veulent mettre des ex-aequo, d’autres se trompent finalement sur le choix du dernier, etc. Une fois ce genre d’erreurs traitées, on peut se ramener à un calcul de moyenne.

Une variable QF ou Question Floue est une variable à modalitée pour laquelle on attribue une valeur probabiliste (nombre réel entre 0 et 1) à chaque modalité. Une QF peut par exemple résulter d’une QT. Ainsi la variable AGE peut se découper en ”jeune” (moins de 30 ans) et ”vieux (plus de 30 ans). Ce codage brutal est adouci par un codage flou. Ainsi pour une personne de 35 ans, la pondération jeune=0.8 et vieux= 0.2 indique que l’individu est plutot jeune mais un peu vieux quand même. Le découpage en classe classique aurait donne ici jeune=0 et vieux=1.

On peut aussi calculer des comptages pour un dernier type de variables que nous nommerons QE ou variable d’énonciation. Ce genre de variables intervient dans le cas de question ouverte, c’est à dire où les réponses ne sont pas imposées, contrairement à toutes les variables vues jusqu’ici, qui étaient des questions fermées. Un modèle du genre est par exemple :

”citez des marques de voitures japonaises”

Il faut d’abord vérifier l’exactitude des réponses avant de comptabiliser les bonnes réponses. On obtient alors des variables proches des QT à ceci près qu’elles ne prennent que des valeurs entières.

1où est le piège?

4.2 Questions ouvertes et Variables textuelles

Les ”vraies” questions ouvertes sont ensuite beaucoup plus délicates à mettre en oeuvre et nous les incluons dans les QX ou variables textuelles. Un exemple type de variable qualitative, de variable quantitative et de variable textuelle (et on réfléchira à la quantité, à la qualité et à la gradualité de l’information fournie par les réponses) peut être :

”avez-vous une activité salariée en ce moment? ”

- oui - non - autre

”à votre avis combien de cadres sont salariés en France? ”

”donnez en quelques lignes, selon vous, les raisons du ” ”chomage des cadres en France”

Une QX peut être une réponse à une question ouverte, un texte complet, un récit, un compte-rendu d’expertise...^{2} Traiter une QX est d’un tout autre ordre que traiter une QT ou une QL. Il y a plusieurs niveaux d’analyses possibles : le niveaux lexical (ou syntaxique) et le niveau lemmatal (ou sémantique) suivant que l’on décide de traiter les ”mots” ou les ”concepts”. Dans le premier cas, on parle en fait de forme graphique ou de chaine de caractères, dans le second de lemme. Nous emploierons le terme ”élément de texte” pour regrouper les deux vocables forme graphique et lemme. En mode non lemmatisé, ”chanteur”, ”chanteuse” et ”chanteuses” compteront pour trois formes différentes. Si on lemmatise, ce seront trois occurrences du lemme ”chanteur”. Pour travailler avec les lemmes, il y a un travail préparatoire qui consiste au moins à mettre tous les substantifs au masculin singulier, à remplacer les formes par les lemmes, à passer tous les verbes à l’infinitif...

Une fois le texte préparé les premiers calculs en lexicomètrie ou en statistique lexicale consistent en des comptages d’occurences (de formes ou de lemmes suivant le mode de traitement choisi). Les résultats sont présentés dans des lexiques ou dictionnaires qui sont des tableaux à deux colonnes, une pour les éléments de texte, l’autre pour leur nombre d’occurrences.

On s’intéresse alors autant aux termes les plus fréquents (mais certains sont prévisibles^{3}) qu’aux happax qui sont les termes qui n’apparaissent qu’une seule fois. Le nombre de mots différents et le rapport du nombre de mots différents sur le nombre de mots en tout fournissent alors des éléments d’appréciation de la richesse du vocabulaire.

2 Il n’y a jamais obligation de répondre à un questionnaire. D’autre part certaines questions peuvent être gênantes, ou peuvent servir à des fins autres que statistiques... C’est pourquoi s’il faut toujours prévoir des non-réponses (comme pour une simple question en oui/non), il faut aussi accorder une importance à l’absence de réponse pour une QX.

Après les comptages élémentaires, on s’intéresse aux environnements c’est à dire à la localisation des éléments de texte. Après avoir effectué un choix (arbitraire) de mots significatifs, qui sont souvent les mots les plus fréquents, on vient extraire de la QX les portions de phrase qui entourent ce mot, avec un nombre fixe de mots avant et un nombre fixe de mots après. Il reste ensuite à essayer de décrire ce que cela semble induire.

Une sélection de mots permet aussi d’effectuer une analyse des données (AFC) sur le tableau qui croise unités de texte et occurrences des mots choisis. Les plans factoriels fournissent alors une vision simpliste mais visuelle des liaisons entre éléments de texte et unités de texte...

La statistique lexicale est plus délicate à mettre en oeuvre que la statistique numérique traditionnelle car elle suppose des connaissances sur la langue, sur les langues. En particulier, les comptages de base ne doivent pas être lus de la meme façon d’un pays à l’autre. Ainsi, en italien les pronoms personnels comme je, tu, il... sont beaucoup moins présents qu’en français car la personne est indiquée par la terminaison du verbe...

4.3 Traitements Statistiques évolués

Les traitements statistiques que nous avons présentés jusqu’ici, sauf peutêtre celui des variables textuelles, étaient assez élémentaires dans la mesure où ils mettaient en jeu des données faciles à manipuler. Mais on peut aller plus loin. De nombreux domaines industriels mettent en jeu des scènes, des représentations graphiques, comme par exemple les images en télé-detection satellite, ou en télé-surveillance. Les données élémentaires ne sont plus ici des nombres mais des images. Une analyse d’images est une analyse statistique particulière. En fonction du domaine, on viendra essayer de trouver des caractéristiques synthétiques comme les couleurs, les formes, les contours. C’est encore de la statistique mais à un niveau plus élevé.

3 Lesquels?

De même, il est possible de s’intéresser aux séquences animées qui ne sont jamais que des suites (ou vecteurs) d’images. La difficulté rajoutée est ici la dimension temporelle. Les sons peuvent aussi être captés, numérisés, que ce soit les bruits de l’univers en astrophysique ou des sons aquatiques en biologie sous-marine ou même des partitions musicales. Depuis quelques années, les sémiologues s’intéressent aux dynamiques gestuelles. Les données sont alors des listes de gestes, des attitudes... Dans un autre domaine, en chimie, biochimie, bactériologie, il n’est pas rare que les données élémentaires soient des séquences d’ADN, des liste des composants chimiques, des spectres...

Il est clair que le terme statistique peut s’appliquer à tous ces domaines. Les problèmes posés sont ceux de la reconnaissance des types de données. Il est peu clair qu’on puisse ramener une image à une QL ou à une QT. Analyser une bande-son n’est pas visiblement la même chose que de traiter une QH... C’est pourquoi toutes ces analyses procèdent de l’Analyse des Données plutôt que des Statistiques. Une fois résolu le problème du codage, de la transcription des données, on se trouve en présence de tableau de données de grandes dimensions.

Nous ne traiterons bien sûr aucun de ces tableaux de données. Mais nous pouvons donner quelques gardes-fous. Tout d’abord, il importe de cerner le but de l’étude statistique. Suivant que l’on veut caractériser ou que l’on veut comparer, à partir du moment où on veut classer (mettre dans des classes pré-établies) ou classifier (construire des classes), la démarche n’est pas la même. Si on cherche à décrire, les outils statistiques ne sont pas les mêmes que si on cherche à prévoir. Si on cherche à expliquer, on n’utilise pas les mêmes fonctions que si on veut prédire...^{4}

Il importe beaucoup d’essayer de dégager les composants élémentaires en vue de l’analyse statistique. Reprenons l’exemple des images en télé-détection. Le stockage informatique d’une image est souvent fait (independamment de la technique de stockage, qui peut mettre en jeu des techniques de compression sophistiquées) en termes de pixels, c’est à dire de points élémentaires. Pour une image radar, les points ne sont pas la bonne structure élémentaire. C’est la forme, le contour qui l’est. Il faut donc effectuer un premier traitement pour dégager les composantes du contour et stocker les paramètres de ce contour avant de traiter le fichier de l’ensemble des contours.

4Quelle est la différence entre prévoir et prédire?

L’Analyse des Données est donc une analyse statistique évoluée.Elle requiert des outils mathématiques globaux plus algébriques que la statistique classique (en particulier de l’algèbre linéaire). Elle demande aussi une bonne culture générale en statistique et informatique pour adapter des méthodes ou en concevoir de nouvelles...

4.4 Exercices sur ces variables et traitements

• QM incomplètes

Dans la présentation des QM au début de ce chapitre, les questions sur le petit déjeuner sont mal posées. Pourquoi? Que manque-t-il aux énoncés?

• Télévision, Culture et Choix de question

Critiquez le texte de la question sur la télévision qui sert de présentation aux variables QP.

• Total des choix pour une QP

Après traitement d’une QP, quel est le total des moyennes des pourcentages? Justifiez votre réponse.

• Scores et Anti-scores

Quelle différence de traitement doit-on faire suivant qu’on a des scores ou des anti-scores?

• Choix de l’échelle des valeurs

Comment décider si on utilise un score, une note sur 10, sur 20, un pourcentage?

• Questionnaire jeu-de-piste

Que penser d’un questionnaire où on demande à la question 8. de répondre par oui ou par non puis où on indique : ”si vous avez répondu oui, allez à la question 12 sinon allez à la question 15? ”

• Initiales

Dans le cadre d’une enquête sur des patients cérébro-lésés pour un hopital, il était demandé de fournir des noms d’animaux, de légumes, de vêtements puis de donner des noms communs commençant par P, L ou T. D’autres auteurs, notamment américains semblent préférer des mots commençant par L, T ou M? Quel choix est ”raisonnable” et pourquoi?

• La loi de Zipf

Qu’est-ce que la loi de Zipf en Statistique Lexicale?

• Analyse textuelle

Si on effectue l’analyse d’un texte français de plusieurs pages, quels éléments seront les plus fréquents?

• Statistiques lexicales internationales

Peut-on reconnaitre une langue par la longueur de ses mots, de ses phrases, par les fréquences des lettres initiales de mots?

• Statistique lexicale et Cryptographie

Quand on essaie de percer un message secret codé, un problème souvent considéré comme élémentaire est celui de savoir dans quelle langue il est écrit. Quelle méthode (rapide) proposez-vous pour faire trouver à un ordinateur dans quelle langue un texte est écrit?

Chapitre 4. Autres variables 50

Vecteurs et Convergence

Ce chapitre est un un peu plus difficile que les autres car il met en jeu des notions mathématiques plus techniques. On commence par définir la notion de fonction caractéristique (qui n’est jamais qu’une transformée de Fourier) avant de passer aux vecteurs aléatoires dont les vecteurs gaussiens sont l’utilisation la plus fréquente. On passe ensuite en revue les différents modes de convergence et on conclut par des approximations classiques de lois et les fameuses ”lois des grands nombres”. Même si certains calculs sont délicats ou peu clairs, la philosophie sous-jacente et les conclusions sont très importantes en pratique, puisqu’elles permettent de considérer les probabilités comme limites de fréquences. Les probabilités et les statistiques sont donc encore plus interdépendantes qu’il n’y paraissait jusqu’ici.

Le lecteur ou la lectrice peu familié(e) avec l’intégration, les espaces vectoriels, est invité(e) à parcourir les annexes pour ne pas être perdu(e) dans l’exposé.

5.1 Indépendance et Convolution

Nous avions défini dans le chapitre 2 la notion d’indépendance pour deux deux événements A et B par la propriété : p(A ∩ B) = p(A).p(B) ⇔ A et B sont dits indépendants. Allons un peu plus loin. On dira que deux variables aléatoires X et Y définies sur le même espace probabilisé sont indépendantes ssi p(”X ∈ A_{i}” ∩ ”Y ∈ B_{j}”) = p(”X ∈ A_{i}”).p(”Y ∈ B_{j}”) pour tout couple de boréliens A_{i} et B_{j}, ce qu’on pourra donc noter p_{(X,Y)} = p_{X}.p_{Y}.

Chapitre 5. Vecteurs et Convergence

Si X et Y admettent respectivement les densités f et g, alors (X, Y) admet comme densité f.g. De plus, m(XY) est alors m(X).m(Y).

La convolution des variables aléatoires X et Y est la variable aléatoire somme Z = X + Y. On s’intéresse alors surtout aux variables indépendantes. Dans le cas discret, si X et Y sont deux telles variables aléatoires, alors on a directement p(”Z = z”) = ∑_{x} p(”X = x”).p(”Y = z −x”) ce qui permet par exemple de montrer que la somme de deux variables de Poisson indépendantes de paramètres λ_{1} et λ_{2} est encore une loi de Poisson de paramètre λ_{1} + λ_{2}. Dans le cas continu, la densité h de Z est définie par la convolution mathématique classique, à savoir k(z) = ∫ f(u)g(z −u)du où f est la densité de X et g celle de Y.

Montrons le résultat annoncé pour les lois de Poisson. Soit X = P(λ_{1}) et Y = P(λ_{2}). Si Z = X + Y alors

p(”Z = z”) = ∑_{x} p(”X = x”).p(”Y = z − x”)
= ∑_{x} e^{−λ_{1}}λ_{1}^{x}/x! . e^{−λ_{2}}λ_{2}^{z−x}/(z − x)!
= e^{−(λ_{1}+λ_{2})} . ∑_{x} λ_{1}^{x}λ_{2}^{z−x}/(x!(z − x)!)
= e^{−(λ_{1}+λ_{2})} . ∑_{x} C_{z}^{x}.λ_{1}^{x}λ_{2}^{z−x}/z!
= e^{−(λ_{1}+λ_{2})} . (λ_{1} + λ_{2})^{z}/z! ♢

On peut de même montrer que la convolution de deux loix uniformes continues sur [0, 1] est une fonction dont la densité est 1 − |x − 1| si x est dans [0, 2] et 0 ailleurs. Nous laissons en exercice la discussion sur la somme de deux variables aléatoires binomiales indépendantes B(n_{1}, p_{1}) et B(n_{2}, p_{2}).

Il serait par contre plus délicat et maladroit de vouloir démontrer que la somme de deux lois normales indépendantes est encore une loi normale. Il existe un outil beaucoup plus puissant pour cela : les fonctions caractéristiques, que nous présentons dans la section suivante.

5.2 Fonctions caractéristiques

On apelle fonction caractéristique d’une variable aléatoire X la transformée de Fourier de la probabilité p_{X}. On la note traditionnellement φ ou φ_{X} s’il faut préciser la variable aléatoire mise en jeu. On a donc par définition

φ_{X}(t) = m( e^{itX} ) = ∫lR e^{itx}dP_{X}(x)

Si X est discrète alors

φ_{X}(t) = ∑_{k} e^{itx_{k}}p_{k}

et si X possède une densité f alors

φ_{X}(t) = ∫lR e^{itx}f(x).dx

Il est intéressant de remarquer que

[K1] φ_{λX}(t) = φ_{X}(λt)
[K2] φ_{X+a}(t) = e^{ita}φ_{X}(t)
[K3] φ_{X+Y} (t) = φ_{X}(t)φ_{Y} (t) si X et Y sont indépendantes
[K4] φ_{X}^{(k)}(0) = i^{k}m(X^{k})

On peut s’amuser ( ! ) à démontrer que

\begin{matrix}[L1] & φ_{b(p)}(t) = p.e^{it} + (1 − p) \\ [L2] & φ_{B(n,p)}(t) = (φ_{b(p)}(t))^{n} \\ [L3] & φ_{P(λ)}(t) = e^{λ.(e^{it}−1)} \\ [L4] & φ_{U([−a,a])}(t) = sin(at)/at \\ [L5] & φ_{N (m,σ)}(t) = e^{itm}e^{−t^{2}σ^{2}/2} \end{matrix}

Outre le calcul des moments de X, φ sert a démontrer simplement des propriétés pour la converegence des suites de variables aléatoires et simplifie dans de nombreux cas les calculs pour des variables indépendantes. On aura l’occasion de s’en rendre compte dans la section suivante. L’un des problèmes prosés par la notion de fonction caractéristique est le niveau élevé des calculs qui fait appel à l’Analyse Complexe et notamment au calcul des résidus. C’est pourtant une notion fondamentale.

Il est possible de montrer que φ_{X} existe toujours (car p_{X} est une mesure bornée) et qu’elle est toujours continue. Un résultat important est le suivant : deux variables aléatoires ayant même fonction caractéristique ont même loi de probabilité. De plus, moyennant certaines conditions, à partir d’une fonction varphi, on peut trouver X telle que f = φ_{X} grâce à la formule d’inversion de la transformée de Fourier. En particulier pour montrer que X est la loi normale N (0, 1), il suffit de montrer que ln(φ_{X}(t)) = −t^{2}/2. Il est donc simple de montrer que la somme de deux lois normales indépendantes N (μ_{1}, σ_{1}) et N (μ_{2}, σ_{2}) est encore une loi normale N (μ, σ) avec μ = μ_{1} + μ_{2} et σ = \sqrt{σ_{1} + σ_{2}} :

φ_{N (μ_{1},σ_{1})+N (μ_{2},σ_{2})}(t) = e^{itμ_{1}}e^{−t^{2}σ_{1}^{2}/2} . e^{itμ_{2}}e^{−t^{2}σ_{2}^{2}/2}
= e^{it(μ_{1}+μ_{2})} . e^{−t^{2}(σ_{1}+σ_{2}^{2}/2}
= φ_{N (μ_{1}+μ_{2},\sqrt{σ_{1}+σ_{2}} )}(t)

5.3 Convergence

5.3.1 Les différents modes de convergence

Si on dispose d’une suite de variables aléatoires (X_{n})_{n∈IN} et d’une variable aléatoire X définies sur un même espace probabilisé (Ω, T , p) il y a plusieurs façons d’envisager la convergence des X_{n} vers X.

Convergence en moyenne d’ordre k

Si les moments d’ordre k de la variable X_{n} − X existent, on dit que les X_{n} convergent en moyenne d’ordre k vers X ssi la suite numérique réelle des m(|X_{n} − X|^{p}) converge vers 0.

Convergence en probabilité

Les X_{n} convergent en probabilité vers X ssi

∀ε, η ∃N n > N ⇒ p(|X_{n} − X| ≥ ε) ≤ η

Convergence presque sûre

Deux variables aléatoires X et Y sont égales presque sûrement ssi

p({ω|X(ω) ≠ Y (ω)}) = 0

La suite (X_{n})_{n∈IN} converge presque sûrement vers X ssi

p({ω| lim_{n→+∞} X_{n}(ω) ≠ X(ω)}) = 0

Convergence en loi

Les X_{n} convergent en loi vers X ssi en tout point de continuité u de la fonction de répartition F de X, la suite F_{n}(u) des fonctions de répartition des X_{n} en u converge vers F (u).

Tous ces modes de convergence ne sont pas indépendants. On peut démontrer les résultats suivants :

[C1] La convergence d’ordre k  implique la convergence en probabilité
[C2] La convergence presque sûre implique la convergence en probabilité
[C3] La convergence en probabilité implique la convergence en loi

Nous conviendrons d’utiliser les notations suivantes

X_{n} →^{m^{k}} X pour (X_{n}) converge à l’ordre k  vers X
X_{n} →^{ps} X pour (X_{n}) converge presque sûrement vers X
X_{n} →^{p} X pour (X_{n}) converge en probabilité  vers X
X_{n} →^{L} X pour (X_{n}) converge en loi  vers X

5.3.2 Quelques convergences remarquables

[T1] Théorème de Moivre-Laplace

Si (X_{n}) est une suite de B(n, p)

alors (X_{n} − np)/\sqrt{np(1 − p)} →^{L} N (0, 1)

[T2] Si (X_{λ}) est une suite de P(λ)

alors (X_{λ} − λ)/\sqrt{λ} →^{L} N (0, 1) pour λ → +∞

[T3] Théorème ”central-limite”

Si (X_{n}) est une suite de variables aléatoires de même loi, de même moyenne μ et de même écart-type σ

alors (ΣX_{i} − nμ)/(σ\sqrt{n}) →^{L} N (0, 1)

[T4] Loi faible des grands nombres

Si (X_{i}) est une suite de variables aléatoires indépendantes, de moyennes respectives finies m_{i} et d’écart-types respectifs σ_{i} finis, alors, pour (Σm_{i})/n → m et (Σσ_{i}^{2})/n^{2} → 0 on a (ΣX_{i})/n →^{p} m

[T5] Loi forte des grands nombres

Si (X_{n}) est une suite de variables aléatoires indépendantes telles que (Σm_{i})/n → m et (Σσ_{i}^{2})/n^{2} est convergente alors (ΣX_{i})/n →^{ps} m Pour démontrer ces deux derniers théorèmes, nous avons besoin des inégalités suivantes

[I1] Inégalité de Markov

Si X est une variable aléatoire réelle, positive et intégrable, alors p(”X ≥ r”) ≤ m(X)/r

[I2] Inégalité de Markov d’ordre alpha

Si α est un nombre positif et X une variable aléatoire réelle telle que m(|X^{α}|) est finie, alors p(”X ≥ r”) ≤ m(|X|^{α})/r^{α}

[I3] Inégalité de Tchebyscheff

Si X est une variable aléatoire réelle de moment d’ordre 2 fini, alors pour tout r on a p(”|X − m(X)| ≥ r”) ≤ σ^{2}(|X|)/r^{2}

[I4] Inégalité des grands nombres

Si les (X_{i}) sont des variables aléatoires réelle d’ordre 2, de même loi et indépendantes,

alors pour S_{n} = ∑_{i=1}^{n} X_{i} on a p(”|S_{n}/n − m| ≥ ε”) ≤ σ^{2}(|X|)/(n.ε^{2})

où m est la moyenne commune et σ l’écart-type commun.

[I5] Loi faible de Bernoulli

Soit (A_{n})_{n∈IN} une suite d’évènements de même probabilité p et deux à deux indépendants. Si N_{n} est le nombre de réalisations des A_{k} pour k ≤ n et φ_{n} = N_{n}/n la fréquence de réalisation des A_{k} pour k ≤ n alors pour tout ε > 0 on a p(”|φ_{n} − p| ≥ ε”) ≤ 1/4nε^{2}.

5.4 Vecteurs Aléatoires Gaussiens

5.4.1 Vecteurs Aléatoires

Un vecteur aléatoire X est une application de (Ω, T , p) dans un espace vectoriel E. En pratique, nous utiliserons E = lR^{n} ou E = lC^{n}. X est donc un vecteur (X_{1}, X_{2}...X_{n}) de variables aléatoires. La moyenne de X est alors le vecteur des moyennes de chaque composante de X. On appelle matrice de variance-covariance de X la matrice notée Σ (ou Σ_{X} si on a besoin de préciser le vecteur aléatoire) définie par Σ_{i,j} = cov(X_{i}, X_{j}). Avec des notations matricielles, Σ_{X} = m(X ⊙ ^{t}X) − m(X) ⊙ ^{t}m(X) où ^{t}V désigne la transposée du vecteur V et où ⊙ est le produit cartésien induit par le produit scalaire. Si les X_{i} sont des variables centrées réduites, Σ_{X} est alors la matrice des corrélations de X notée M_{ρ}(X). Si M est une matrice de dimensions telles que Y = M.X a un sens, alors

\begin{matrix}[M1] & m(MX) = M.m(X) \\ [M2] & Σ_{MX} = M.Σ_{X}.^{t}M \end{matrix}

Le théorème suivant, dit de caractérisation des matrices de variance-covariance a d’importantes conséquences pour l’Analyse des Données :

[CMV] Toute matrice symétrique positive M est

la matrice de variance-covariance d’un vecteur aléatoire.

La fonction caractéristique du vecteur aléatoire X est définie en a ∈ E par φ_{X}(a) = e^{ia.tX} où V.W est le produit scalaire usuel. Le résultat le plus important sur les fonctions caractéristiques des vecteurs aléatoires est le théorème d’indépendance :

[THI] Les X_{i} sont indépendantes ssi la fonction caractéristique de X

est égale au produit des fonctions caratéristiques des X_{i}.

Par contre, pratiquement, on utilise le théorème de Cramer-Wold :

[CW] La loi de X est entièrement déterminée par celles

des combinaisons linéaires des X_{i}.

5.4.2 Vecteurs Gaussiens

On dit que X est un vecteur gaussien si toute combinaison linéaire de ses composantes est une loi normale. Si A est une matrice et B un vecteur, il est facile de montrer que A.X + B est gaussien.

Soit X un vecteur gaussien centré. Alors, pour a ∈ E:

[CC] φ_{X}(a) = e^{−a.^{t}Σ_{X}.a/2}

On en déduit que

[IG] Pour un vecteur gaussien X, les X_{i} sont indépendantes ssi

Σ_{X} est une matrice diagonale.

Chapitre 5. Vecteurs et Convergence 60

Statistique et Informatique

S’il était possible dans les années 50 d’ enseigner les probabilités et les statistiques avec un crayon et du papier seulement, il faut aujourd’hui savoir utiliser un logiciel statistique, avoir des idées pour (re)programmer les calculs usuels. Ce chapitre passe donc en revue ce qu’il faut savoir pour aller des statistiques livresques aux statistiques sur machine. On commence par y décrire la représentation et le stockage des données, puis on présentera quelques logiciels pour finir par des exemples d’algorithmes et de programmes qui mettent en pratique des notions vues dans les chapitres précédents.

6.1 Fichiers et formats

En informatique, la représentation et le stockage des données, des résultats sont primordiaux. Il faut distinguer les formats de stockage, de représentation et d’affichage. Au niveau du stockage, de nombreux formats sont propriétaires, c’est à dire privés aux logiciels. D’autres sont déposés, comme le format .DBF de Dbase, le format .XLS d’Excel. Un format intéressant est le format SDF qui signifie Standard Data Form. Il correspond au mode texte simple (on dit aussi PRN ou ”printer mode”, mode texte ou TXT ou encore ASCII pur, même si tous les fichiers utilisent le codage Ascii). Pour ce format, tout est bien cadré, sans caractère de controle. C’est souvent un format d’échange, en entrée (import) comme en sortie (export). C’est aussi un format long, puisqu’il utilise la taille maximale de chaque variable. La même remarque s’applique aux chaines de caractères et oblige à travailler avec la longueur maximale des chaines.

Chapitre 6. Statistique et Informatique

Imaginons par exemple qu’on ait les valeurs ”IDEN 0.217” et ”Constitution 186.3” à stocker en format SDF, chacune sur une ligne. Cela s’écrit alors

soit

            IDEN␣␣␣␣␣␣␣␣␣␣␣0.217
            Constitution␣186.3

soit

            IDEN␣␣␣␣␣␣␣␣␣000.217
            Constitution␣186.300

où le symbole ␣ représente ici un espace.

Un format tout aussi général mais plus court est le format .DLM ou Delimited. Comme son nom l’indique, les données ne sont plus formatées, cadrées, mais seulement séparées par un même symbole. Au format américain, la virgule est un délimiteur usuel. Si on ne traite que des valeurs numériques, l’espace est un bon séparateur. Pour un fichier contenant des données numériques et textes, le symbole # est souvent utilisé. Ainsi, les valeurs ”IDEN”, 0.217 et ”Constitution”, 186.3 à stocker en format DLM, chacune sur une ligne, s’écrivent

  IDEN#0.217
  Constitution#186.3

Un bon logiciel doit avoir ces différents formats disponibles, en plus d’un format personnalisé et adapté au logiciel. Le choix de la taille des données, du nombre de décimales n’est pas aussi simple qu’il y parait. Certains logiciels, comme Dbase utilisent le format des données pour déterminer le format des résultats. Ainsi la moyenne de nombres entiers redonne un nombre entier, ce qui peut-être choquant si l’on n’est pas prévenu(e). De même, un format d’affichage comme sous Excel peut induire en erreur. En général, un format trop juste (comme 3 cases pour des nombres de 0 à 250) ne permet pas d’afficher de sommes, des moyennes, des pourcentages. On veillera donc à surdéfinir les formats d’affichage ou les cases des masques de saisie. Comme il n’est pas possible de prévoir a l’avance toutes les plages de variation, il faut très souvent se soucier de l’ordre de grandeur des données pour prévoir l’affichage.

Si le stockage d’une variable quantitative se fait en conservant les valeurs telles quelles, dans le cas d’un découpage en classe, il ne faut pas stocker le code de classe mais bien la valeur. Ainsi, pour des classes d’ages, il est bon de stocker l’age exact puis de calculer les codes de classes d’ages par programme.

En cas de modification des choix de classes,^{1} puisqu’on dispose des données de départ, on peut recoder. Par contre, les imprudent(e)s qui n’ont que les codes de classes sont obligé(e)s de repartir à ”la pêche aux données”. Pour une variable qualitative, il est souvent suffisant de conserver les codes de modalités. Pour une variable a deux modalités codées 1 et 2 la liste des 1 et des 2 est claire, à conditionque le fichier descriptif des variables n’ait pas été égaré. Dans certains cas, il faut recourir aux variables indicatrices des modalités. Ce sont l’équivalent des fonctions caractéristiques d’ensembles. Pour la variable qualitative considérée plus haut, les codes 1 et 2 doivent alors être respectivement remplacés par 10 et 01. Le fichier des données qualitatives (ou quantitatives découpées en classes) décodées doit être vérifié avec soin pour être un fichier DBC (disjonctif binaire complet) acceptable. Le décodage des modalités en indicatrices assure la binarité et la disjonction mais pas la complétude. Cela signifie que certaines modalités peuvent ne pas représentées suivant l’échantillon considéré. Ainsi, on peut avoir prévu 12 modalités sur l’ensemble des fichiers à traiter mais l’échantillon x peut ne mettre en jeu que les modalités 1 à 8. Les colonnes de décodage 9 à 12 seront alors de somme nulle, d’où des débordements de capacité en cas de calcul relatif (par exemple division par le total de la colonne en cours). Pour les codages flous pondérés (cf. le chapitre précédent, il est bon de vérifier que la somme des codages fait 1, que chaque code est recensé, présent au moins une fois...

Plus généralement, il faut toujours vérifier systématiquement les données, ne serait-ce qu’à cause des délimiteurs de décimales (le point et la virgule suivant les pays), mais aussi parfois l’espace ou la virgule pour les milliers, les puissances multiples de 3. De même, le codage des données accentuées, des fins de ligne sous Dos, Windows, Unix peuvent parfois donner des valeurs numériques ou textuelles surprenantes. En particulier, les nombres comme .2 (acceptables pour les normes américaines) sont parfois rejetées comme incorrectes et doivent être complétées en 0.2 avant d’être reconnues. Pour des tableurs, un coup d’oeil au cadrage droit ou gauche^{2} permet parfois de détecter tout de suite pourquoi le moindre calcul statistique aboutit inévitablement à un message du genre Invalid Data Type.

1 ce qui n’arrive jamais au moment de la saisie des données, mais toujours quelques mois plus tard, quand les fichiers initiaux ont disparu...

2 Pourquoi?

6.2 Logiciels et Programmation

De nombreux logiciels de statistiques sont disponibles sur le marché qui contiennent tout ce dont un statisticien a besoin. On peut notamment citer SAS, StatGraphics, Statistica, StatLab, StatItcf, Bmdp, Minitab, Spss... Souvent les statistiques descriptives y cotoient l’Analyse des Données, la Régression, l’Analyse des Séries Temporelles... Si ces logiciels sont souvent complets, ils n’en sont pas moins faciles à utiliser. Le principe de mise en oeuvre est souvent le même : après avoir chargé un ou plusieurs fichiers de données, on lance une option d’un menu ou d’un sous-menu qui demande éventuellement sur quelle sélection des données il faut effectuer le traitement.

D’autres logiciels classiques de traitement de données, de base de données ou des tableurs, des gestionnaires de feuilles de calculs sont largement suffisant pour des statistiques élémentaires. Ainsi Excel et Dbase contiennent sufisamment de fonctions sur lignes et colonnes d’une base de données pour fournir très rapidement moyennes, variances, écart-types, tris à plat, triscroisés quand... ces opérations ne sont pas déjà intégrées au logiciel suivant la version utilisée !

Il faut en général se méfier des logiciels spécialisés en statistiques, non sur la validité ou la qualité des résultats, mais sur la présentation des options, la mise en forme des valeurs chiffrées. L’utilisateur débutant peut être noyé sous l’avalanche des paramètres, des options, des sorties chiffrées avec leurs indices complémentaires, leurs coefficient de déviation d’erreurs, de déviationstandard et autres R^{2}, γ_{3} etc.

Un bon logiciel de statistiques devrait être capable de faire la différence entre 3, valeur d’une QT et 3, code pour une QL. Ce n’est malheureusement souvent pas le cas, et de nombreux débutants ont ainsi pu calculer des moyennes de numéro de téléphone ou de code-sexe, effectuer des tris à plats de taille ou de poids sans comprendre où était leur erreur. Il faut donc se méfier des opérations automatiques effectuées sur l’ensemble des fichiers, surveiller les mises à jour automatiques, les calculs globaux...

De plus, avec ce que nous avons dit sur la volonté de décrire les variables, leur origine et leur signification, il est clair que chaque colonne de valeurs devrait pouvoir être renseignée, que les unités des QT devraient apparaitre au niveau des résultats, comme les libellés en clair des codes de modalités pour les QL. Ce n’est malheureusement pas souvent la cas. Pire même, certains logiciels numérotent les variables, les modalités (il est on ne peut plus illisible d’indiquer que ”la moyenne de la variable Q017 est 25” alors que ”la moyenne des ages est 25” est directement accessible). Il faut alors apprendre (quand c’est possible) à sauvegarder les résultats pour les reprendre sous éditeur de texte et remplacer ce qu’il faut...

Si l’on doit soi-même programmer des statistiques, on prendra soin à bien détailler ces renseignements. A titre d’exemple, prenons l’analyse simple de variables QT. Calculer la moyenne m, la variance v et l’écart-type s du tableau X contenant X valeurs notées X[1], X[2]...X[n] peut se faire facilement en traduisant dans le langage approprié l’algorithme

 MODULE AnaQt
  Globales   X        /* tableau des donnÅes  */
             n        /* nombre de valeurs    */
  Locales    k        /* indice de boucle     */
             sv       /* somme des valeurs    */
             sc       /* somme des carrÅs     */
  Fonction   externe :  rac  /* racine carrÅe  */
 DEBUT DU MODULE StatDesc
   sv ← 0
   sc ← 0
   pour k de1a n
     sv ← sv + X[k]
     sc ← sv + X[k]*X[k]
   finpour k de1a n
   m ← sv/n
   v ← (sc/n) - m*m
   s ← rac(v)
 FIN DU MODULE AnaQt

Mais s’il faut utiliser plusieurs variables, ne traiter par l’algorithme précédent que les QT, les nommer, gérer les unités, trier par ordre décroissant de moyenne puis par coefficient de variation décroissant, on aura plutôt comme algorithme quelque chose comme

MODULE StatDescQT
  Globales nbcol, typvare etc.
DEBUT DU MODULE StatDescQT
pour ic de1a nbcol
     tv <-- typvar[ic]
     si tv = 'T' alors
        calcQt(moycol[ic], ectcol[ic], cdvcol[ic],
               mincol[ic], maxcol[ic], cdvcol[ic] )
     finsi
finpour
tridec(nomcol, ordrecol)
afficheQt(ordrecol, nomcol, moycol, ectcol, cdvcol,
          unitecol, mincol, maxcol)
FIN DU MODULE StatDescQT

Certains calculs mathématiques sont plus simples qu’il n’y parait. Ainsi le calcul des p premières valeurs de la loi de Poisson sachant le paramètre λ et le nombre de termes à afficher se fait simplement par

* Algorithme de la loi de Poisson
MODULE Poisson
Paramètres lambda
          nbterm
Locales    k        /* indice de boucle     */
          lk       /* puissance courante   */
          p        /* probabilite courante */
          fk       /* factorielle courante */
Fonctions  externes exp        /* exponentielle            */
                   format     /* affichage avec décimales */
DEBUT DU MODULE Poisson
écrire " Loi de Poisson "
écrire "     paramètre lambda : " , lambda
écrire "     nombre de termes : " , nbterm
el ← exp(-lambda)
k ← 0
lk ← 1
p ← el
fk ← 1
écrire " xi  puissance factorielle probabilité "
écrire k,lk,fk,format(p*1.0000,10,4)
tant que k <= n
   k ← k+1
   fk ← k*fk        { factorielle }
   lk ← lk*lambda   { puissance   }
   p ← p*lambda/k
   écrire k,lk,fk,format(p*1.0000,10,4)
fin tant que
FIN DU MODULE Poisson

De même, l’affichage des valeurs de la loi binomiale, une fois les paramètres n et p donnés est réalisé par

* Algorithme de la loi Binomiale
Åcrire " Loi Binomiale B(n,p) "
q  <--  1-p
pk <--  1
qk <--  1
* calcul de q^n
k  <--  0
tant que k < n
   qk <--  q*qk
   k  <--  k+1
fin tant que
Åcrire " xi    c(n,k)   p^k   (1-p)^k   probabilitÅ"
k   <--  0
cnk <--  1
Åcrire k,cnk,pk,qk,cnk*pk*qk
k <--  0
tant que k < n
   k   <--  k+1
   kk  <--  k
   pk  <--  p*pk
   qk  <--  qk/q
   cnk <-- coefbin(n,kk)
   Åcrire k,cnk,pk,qk,cnk*pk*qk
fin tant que

où coefbin(x,y) désigne le sous-programme de calcul du coefficient du binome de Newton C_{x}^{y}.

Plus compliquées, par contre peuvent être certaines formules qui redonnent les tables et qui requièrent de fortes connaissances en Analyse Numérique. Par exemple, la fonction de répartition de la loi normale centrée réduite U est donnée par

f(u) = P (U < u) ≃ 1 − g(u).(b_{1}t + b_{2}t^{2} + b_{3}t^{3} + b_{4}t^{4} + b_{5}t^{5})

avec une erreur inférieure à 10^{−}7 pour

       \begin{aligned}g(u) & = & e^{−u^{2}/2}/\sqrt{2π} \\ t & = & 1/(1+0.2316419*u) \\ b_{1} & = & 0.319381530 \\ b_{2} & = & -0.356563782 \\ b_{3} & = & 1.781477937 \\ b_{4} & = & -1.821255978 \\ b_{5} & = & 1.330274429 \end{aligned}

La traduction des algorithmes est plus ou moins facile selon les langages et les logiciels. Ainsi, sous Dbase3, il n’y a pas de boucle pour, il faut donc recourir à une boucle tant que. Par exemple, le programme Dbase qui correspond à l’algorithme pour la loi de Poisson, mis dans le fichier Poisson.Prg est

* Poisson.Prg
parameters lambda,nbterm
clear
set talk off
? " Loi de Poisson "
? "     paramètre lambda " , lambda
? "     nombre de termes " , nbterm
store exp(-lambda) to el
store  0  to k
store  1  to lk
store el  to p
store  1  to fk
? "       xi  puissance factorielle probabilité "
? k,lk,fk,str(p*1.0000,10,4)
do while k <= nbterm
   store k+1 to k
   store k*fk to fk
   store lk*lambda to lk
   store p*lambda/k to p
   ? k,lk,fk,str(p*1.0000,10,4)
enddo

Ce programme doit être appelé, si l’on veut les 12 premières valeurs de la loi de Poisson P(2.8) avec leurs probabilités respectives, par :

              do poisson with 2.8,12

et il affiche alors

Loi de Poisson
paramÉtre lambda           2.8
nombre de termes           7
xi  puissance factorielle probabilitÅ
0          1.0000          1          0.0608
1          2.8000          1          0.1703
2          7.8400          2          0.2384
3         21.9520          6          0.2225
4         61.4656         24          0.1557
5        172.1037        120          0.0872
6        481.8903        720          0.0407
7       1349.2929       5040          0.0163
8       3778.0200      40320          0.0057

Comme pour tout traitement informatique, une analyse statistique et une analyse des données requiérent de l’organisation, un apprentissage... Pour être complet, ce travail doit se doubler d’une rédaction précise, d’une relecture critique et d’une présentation claire. C’est donc tout un art, comme la programmation, nécessaire ici aussi parfois pour automatiser les calculs, conversions, affichages et autres traitements...

Chapitre 6. Statistique et Informatique

ANNEXES

Chapitre 6. Statistique et Informatique 72

Table des matières

73