X/ENS Maths PC 2016

Thème de l'épreuve Analyse, probabilités, entropie de Shannon
Principaux outils utilisés développements limités, topologie dans Rn, calcul différentiel, probabilités, algèbre linéaire
Mots clefs entropie de Shannon

Corrigé

(c'est payant, sauf le début): - - - - - - - - - - - - - - - - - - - - - - - - - - - -

Extrait gratuit du corrigé

(télécharger le PDF)
           

Énoncé complet

(télécharger le PDF)
           

Rapport du jury

(télécharger le PDF)
              

Énoncé obtenu par reconnaissance optique des caractères


ÉCOLE POLYTECHNIQUE ­ ÉCOLES NORMALES SUPÉRIEURES ÉCOLE SUPÉRIEURE DE PHYSIQUE ET DE CHIMIE INDUSTRIELLES CONCOURS D'ADMISSION 2016 FILIÈRE PC COMPOSITION DE MATHÉMATIQUES ­ (XEULC) (Durée : 4 heures) L'utilisation des calculatrices n'est pas autorisée pour cette épreuve. Toute affirmation doit être clairement et complètement justifiée. Les parties I, II et III sont assez largement indépendantes. En particulier la partie II peut être traitée indépendamment de la partie I en admettant les trois premières questions et la partie III (exceptée la dernière question) indépendamment de la partie II. Il est cependant vivement conseillé de suivre la progression naturelle du problème. Notations Dans le problème, pour tous entiers positifs non nuls n et k, Mn,k (R) désignera les matrices àcoefficients réels de taille n × k. Un vecteur u Rn sera considéré comme un vecteur colonne u1 .. . et uT désignera le vecteur ligne obtenu par transposition. De même, pour M Mn,k (R), un désignera la transposée de M . MT On note la fonction de [0, +[ dans R définie par 0 si t = 0 (t) = -t ln(t) sinon. (1) P Soit N > 2 un entier. On note N l'ensemble des vecteurs p RN tels que N i=1 pi = 1 et pi > 0 pour tout 1 6 i 6 N . On remarquera que p peut être interprété comme une loi de probabilité sur {1, . . . , N }. On note également HN la fonction définie sur N par HN (p) = N X i=1 1 (pi ) . Partie I 1. Vérifier que est de classe C 0 sur [0, +[ et C sur ]0, +[. Donner la limite de la dérivée (t) de lorsque t tend vers 0 dans ]0, +[. 2. Montrer que N est une partie fermée, bornée et convexe de RN . 3. Montrer que HN est positive, continue sur N et calculer la valeur de HN (p) lorsque pi = 1/N pour tout i {1, . . . , N } (loi uniforme sur {1, . . . , N }). 4. (a) Soient a et b dans [0, +[ tels que a < b. Montrer qu'il existe ]0, b] tel que (a + t) + (b - t) > (a) + (b) pour tout t > 0 tel que t 6 . (b) En déduire que HN atteint son maximum sur N en un unique point que l'on déterminera. 5. On note l'ensemble des suites de réels p = (pi )i>1 telles que pi >P 0 pour tout i > 1 et P+ i=1 pi = 1. On note H la fonction sur définie par H (p) = i=1 (pi ) à valeurs dans R+ {+}. (a) On considère a ]0, 1[ et pi = a(1 - a)i-1 pour i > 1. Calculer H (p) et étudier ses variations en fonction de a. (b) Montrer qu'il existe p telle que H (p) = +. (Ind : On pourra utiliser sans démonstration que la série de terme général n-1 ln(n)- pour n > 2 converge si et seulement si > 1). 6. Soit n un entier strictement positif. On considère une famille (Xk )16k6n de n variables aléatoires à valeurs dans {1, . . . , N }, deux à deux indépendantes et de même loi, définies sur un espace probabilisé (, A , P). On suppose de plus que P(X i) = pi et que pi > 0 pour ! 1 =Q tout i {1, . . . , N }. Montrer que pour tout > 0, on a P n1 ln ( nk=1 pXk ) + HN (p) > tend vers 0 lorsque n tend vers l'infini. Partie II Soient f RN et Jf : N R définie par Jf (p) = HN (p) + PN i=1 pi fi . On note Jf, = sup{ Jf (p) | p N } la borne supérieure de Jf sur N et N (f ) = { p N | Jf (p) = Jf, } l'ensemble des p de N pour lesquels la borne supérieure est atteinte. 7. Montrer que N (f ) est non vide. 8. Soit p N . (a) On suppose que p1 = 0 et p2 > 0. Montrer alors qu'il existe p dans N tel que Jf (p ) > Jf (p) (on pourra chercher p proche de p). (b) En déduire que si p N (f ), alors pi > 0 pour tout i {1, . . . , N }. 9. Soit p N . On maintenant que pi > 0 pour tout i {1, . . . , N }. On note Psuppose N E0 = {a RN | a = 0}. i=1 i (a) Vérifier que E0 est un sous-espace vectoriel de RN dont on donnera la dimension. Identifier l'orthogonal E0 de E0 pour le produit scalaire canonique sur RN . (b) Soient a E0 et p : R RN définie par p(t) = p + ta. Montrer qu'il existe > 0 tel que p(t) N pour tout t ] - , [. Calculer la dérivée de p en 0. 2 P (c) On suppose de plus que p N (f ). Montrer que pour tout a E0 , on a N i=1 ai (fi - ln(pi )) = 0. En déduire qu'il existe c R, tel que ln(pi ) = fi + c pour tout i {1, . . . , N }. P fi 10. Identifier N (f ). Montrer que Jf, = ln( N i=1 e ). P fi ) On considère maintenant F :]0, +[ R la fonction définie par F () = 1 ln( N i=1 e 11. Montrer que F est dérivable et calculer sa dérivée F . Montrer de plus que pour tout ]0, +[, il existe p() N (f ) tel que F () = - 12 HN (p()). 12. Etudier les limites de F en 0 et en +. Partie III Soient (, A , P) un espace probabilisé et X : {1, . . . , N } une variable aléatoire de loi q N . On suppose que l'on dispose d'une famille finie g = (gk )1kd de fonctions sur {1, . . . , N } à valeurs dans R et de la valeur g k = E(gk (X)) de l'espérance de gk (X) pour tout k {1, . . . , d}. On note N (g, g) = { p N | N X pi gk (i) = gk , 1 6 k 6 d } , i=1 et on remarque que q N (g, g) et que si p N (g, g) alors pour toute variable aléatoire Y : {1, . . . , N } de loi p, on a E(gk (X)) = E(gk (Y )). On cherche dans cette partie à déterminer les probabilités p de N (g, g) sur lesquelles HN atteint son maximum. Soient M MN,d (R) définie par Mi,j = gj (i) pour (i, j) = {1, . . . , N }× {1, . . . , d}, p N et m Rd . On note A Md (R) la matrice carrée de taille d×d définie pour tous (k, l) {1, . . . , d}2 par N X Alk = pi (Mil - ml )(Mik - mk ) . i=1 f = (M |1) MN,d+1 (R) la matrice augmentée obtenue en ajoutant une colonne On note M de 1 à droite de M . 13. Vérifier que si Y : {1, . . . , N } est une variable aléatoire de loi p, alors Alk = E((gl (Y )- ml )(gk (Y ) - mk )) puis que A est une matrice symétrique telle que T A > 0 pour tout Rd . 14. Soit Rd tel que T A = 0. On suppose que pi 6= 0 pour tout 1 6 i 6 N . (a) P Montrer qu'il existe c R, que l'on précisera, tel que pour tout i {1, . . . , N }, on a d l=1 Mil l = c. f = {0} alors = 0. (b) Montrer que si KerM 3 On note pour tout Rd , f () = M RN , Z() = p() = ( PN fi () i=1 e et efN () ef1 () ,..., ) N Z() Z() où f () = (f1 (), . . . , fN ()). Enfin, on considère la fonction L : Rd R définie par L() = ln(Z()) - q T M . 15. Montrer que L est de classe C 1 et calculer son gradient. 16. Montrer que si est un point critique de L (c'est-à-dire en lequel le gradient de L s'annule) alors M T p() = M T q et p() N (g, g). 17. Montrer que L est de clase C 2 et que pour tous entiers 1 6 l, k 6 d on a N X 2L pi ()(Mil - ml ())(Mik - mk ()) () = l k i=1 où m() = M T p(). f = {0}. On suppose dorénavant que KerM 18. On s'intéresse dans cette question au nombre de points en lesquels la fonction L atteint son minimum. (a) Montrer que si et sont deux points distincts de RN tels que L admet un point critique en , alors la dérivée de t L(t + (1 - t) ) est strictement croissante sur [0, 1] et s'annulle en t = 1. (b) En déduire qu'il existe au plus un point critique pour L et conclure sur le nombre de points en lesquels L atteint son minimum. 19. On suppose que la fonction L a un minimum global atteint en . (a) Montrer que HN (p( )) > HN (q) puis que HN (p( )) est la valeur maximale de HN sur N (g, g). (b) Montrer que p( ) est l'unique point de N (g, g) en lequel HN atteint son maximum. 4

Extrait du corrigé obtenu par reconnaissance optique des caractères


 X/ENS Maths PC 2016 -- Corrigé Ce corrigé est proposé par Thierry Limoges (ENS Cachan) ; il a été relu par Walter Appel (Professeur en CPGE) et Antoine Sihrener (Professeur en CPGE). Cette épreuve d'analyse et probabilités comporte trois parties. Dans chacune, on cherche des lois de probabilités maximisant une fonction donnée. Ces fonctions représentent des entropies avec ou sans contraintes. Les maximiser revient à chercher une distribution de probabilité correspondant à un état stable. · Dans la première partie, on fait une étude topologique d'une partie N de RN , puis on s'intéresse au maximum d'une fonction HN définie sur celle-ci. La fonction HN est appelée entropie de Shannon et mesure l'opposé de la quantité d'information disponible sur un système pouvant être dans un des N états possibles avec une loi de probabilité donnée. En particulier, elle représente, à un facteur près, la quantité d'information contenue dans un message utilisant un alphabet à N lettres, chacune apparaissant avec une certaine probabilité. L'utilisation des probabilités se fait essentiellement sur des ensembles finis, puis on fait une brève étude pour des probabilités sur N . · Dans la deuxième partie, on maximise une autre fonction en utilisant cette fois du calcul différentiel. Cette fonction est obtenue à partir de HN en y ajoutant une contrainte fixée f RN pondérée par la loi de probabilité. · Enfin, on cherche le minimum d'une fonction L dans la troisième partie, en faisant beaucoup de calcul différentiel, afin de le relier au maximum de HN sur une partie de N . On dispose d'une variable aléatoire X, de loi inconnue, et de mesures des espérances de gk (X) pour une famille (gk )k[[ 1 ; d ]] de fonctions, pouvant représenter des simulations. Parmi toutes les probabilités de N , certaines sont candidates à être la loi de X, car cohérentes avec ces espérances. Le minimum de L est cherché parmi celles-ci. On utilise les propriétés élémentaires de l'espérance (linéarité, positivité) ainsi que les idées du cours sur la variance et la covariance pour obtenir les résultats. Ce sujet de 27 questions est de difficulté progressive. Il faut du temps pour le prendre en main, ce qui n'est pas facile le jour du concours, mais constitue un bon entraînement pendant l'année. Les outils employés sont très variés : topologie dans RN , développements limités, calcul différentiel, probabilités et un peu d'algèbre linéaire. Indications I.2 Utiliser l'image réciproque par une application continue pour le caractère fermé. Revenir à la définition pour les autres propriétés. I.4a Effectuer un développement limité en t de (a + t) et (b - t). Distinguer les cas a > 0 et a = 0. I.4b Montrer que le maximum est atteint pour la loi uniforme en raisonnant par l'absurde et en utilisant la question 4a. I.5b Calculer H (p) pour la suite p de terme général suggéré par l'énoncé, décalé de 1 pour commencer à i = 1. Choisir pour obtenir le résultat voulu. I.6 Appliquer l'inégalité de Bienaymé-Tchebychev à une variable aléatoire bien choisie. II.7 Montrer que la borne supérieure est un maximum en invoquant la topologie de N . II.8a Remplacer p1 par t, p2 par p2 - t, et faire un développement limité de la différence Jf (p(t) ) - Jf (p) lorsque t tend vers 0. II.9b Montrer que pour t suffisamment petit, les coefficients de pe sont positifs. II.9c Expliciter la formule de (Jf pe) (t) pour t suffisamment petit, puis dériver et montrer que (Jf pe) (0) = 0. II.10 Montrer que N (f ) contient un unique élément, calculable avec la question 9c. II.11 Calculer F (), puis séparément HN (p()), pour p() l'unique élément de l'ensemble N (f ) avec sa formule de la question 10. II.12 Utiliser les relations de comparaison. III.13 Écrire la formule de l'espérance en utilisant la formule du transfert. Pour la positivité, écrire ce nombre comme une somme et utiliser la linéarité puis la positivité de l'espérance. III.14a Écrire la formule de l'espérance trouvée à la question 13. e du vecteur augmenté du terme -c. III.14b Regarder l'image par M III.15 Calculer les dérivées partielles avec les fonctions composées. III.16 Utiliser le résultat de la question 15 et vérifier la condition d'appartenance à N (g, g) pour p(). III.17 Calculer les dérivées partielles secondes avec les fonctions composées. III.18a Calculer la dérivée et la dérivée seconde par rapport à t. Utiliser la question 14b pour montrer que la dérivée seconde ne s'annule pas. III.18b Raisonner par l'absurde et supposer qu'il existe deux points critiques distincts. III.19a Montrer que HN (p ) 6 L() pour tout p N (g, g) et Rd , en utilisant la question 10. III.19b Montrer que l'égalité HN (p ) = HN (p( )) n'est vérifiée que pour p = p( ), car c'est l'unique élément de N (f ( )). Partie I 1 La fonction est de classe C sur ] 0 ; + [ comme produit de fonctions de classe C sur cet intervalle. De plus, pour t > 0, (t) = -t ln t --- 0 = (0). Ainsi, t0 La fonction est continue sur [ 0 ; + [ et de classe C sur ] 0 ; + [. Pour t > 0, (t) = - ln t - t 1 = - ln t - 1 --- +. D'où t0 t lim (t) = + t0+ (x) 1/e 0 1 1/e x 2 Notons la fonction : RN - R N P pi p = (p1 , p2 , . . . , pN ) 7- i=1 C'est une application continue car linéaire sur un espace vectoriel de dimension finie. L'ensemble -1 ({1}) est l'image réciproque d'un fermé par une application continue, donc est fermé. De plus, pour tout 1 6 i 6 N, les ensembles {(p1 , p2 , . . . , pN ) ; pi > 0} sont fermés, car ce sont les images réciproques du fermé [ 0 ; + [ par la ie projection, continue. Comme l'ensemble N = -1 ({1}) N \ {(p1 , p2 , . . . , pN ) ; pi > 0} i=1 est une intersection de fermés, il est fermé. On pourrait également utiliser la caractérisation séquentielle d'un fermé : si (p(n) )nN est une suite de N telle que p(n) ---- p RN n N ce qui revient à dire, puisque R est de dimension finie, que p(n) 1 , p(n) 2 , . . . , p(n) N ---- (p1 , p2 , . . . , pN ) RN n alors, par passage à la limite, et ainsi p N . Par définition, N N P pi = 1 et pi > 0 pour tout 1 6 i 6 N, i=1 (p1 , p2 , . . . , pN ) ; N P i=1 |pi | = 1 C'est la sphère de centre 0 et de rayon 1 pour la norme 1 de RN , ce qui prouve l'inclusion de N dans une boule de RN , c'est-à-dire que N est une partie bornée de RN . Le résultat est également valable pour la norme infinie. Dans RN , toutes les normes sont équivalentes, on peut donc choisir la norme 1 pour le démontrer. Soient (p, p ) N 2 et [ 0 ; 1 ]. Montrons que p + (1 - )p N . Tout d'abord, N P i=1 (pi + (1 - )pi ) = N P pi + (1 - ) i=1 N P i=1 pi = + (1 - ) = 1 De plus, tous les coefficients pi + (1 - )pi sont positifs, car somme et produits de réels positifs. Ainsi, p + (1 - )p est un élément de N . Ceci étant vrai pour tout [ 0 ; 1 ] et tout (p, p ) N 2 , la partie N est convexe. Finalement, La partie N est fermée, bornée et convexe dans RN . Géométriquement, soit PN le polyèdre de RN dont les (N + 1) sommets sont (0, 0, . . . , 0), (1, 0, . . . , 0), (0, 1, 0, . . . , 0). . ., (0, . . . , 0, 1), c'est-à-dire l'enveloppe convexe de ces points soit le plus petit ensemble convexe qui les contient. Alors, N est la face de PN qui n'est pas incluse dans un hyperplan {xi = 0} pour 1 6 i 6 N donc c'est l'enveloppe convexe des N derniers points qui définissent PN ci-dessus. Dans R2 , c'est le segment entre (1, 0) et (0, 1) ; dans R3 , c'est le triangle, et son intérieur, de sommets (1, 0, 0), (0, 1, 0) et (0, 0, 1). y y z x 3 Pour tout 1 6 i 6 N, la projection ( µi : x RN - R p 7- pi est linéaire donc continue. Comme est continue, la composée µi est continue. La fonction HN est la somme de ces fonctions pour 1 6 i 6 N, c'est donc une fonction continue. Soit i [[ 1 ; N ]]. Si pi = 0, alors (pi ) = 0. Sinon, on a 0 < pi 6 1, donc ln(pi ) 6 0 et ainsi (pi ) = -pi ln(pi ) > 0. Dans les deux cas, (pi ) > 0. La fonction HN est une somme de fonctions positives sur N , donc est positive sur N . Finalement, La fonction HN est continue et positive sur N .