Как найти вектор распределения вероятностей

Содержание:

  1. Случайные векторы
  2. Свойства функции распределения
  3. Абсолютно непрерывные случайные векторы
  4. Плотность распределения обладает следующими свойствами:
  5. Независимость компонент случайного вектора
  6. Числовые характеристики случайного вектора
  7. Ковариация обладает следующими свойствами:
  8. Свойства коэффициента корреляции:
  9. Функциональные преобразования случайных векторов

Случайный вектор распределения

В практических применениях теории вероятности очень часто приходится сталкиваться с задачами, когда результат опыта описывается не одной случайной величиной, а двумя или более, которые образуют систему. При этом такая система в общем случае не представляет собой механический набор нескольких случайных величин, она образует некоторый объект, в характеристике которого имеет значение и то, как эти случайные величины взаимодействуют между собой мы уже затрагивали этот вопрос для дискретных случайных величин, теперь мы хотим рассмотреть его в самом общем случае.

Для простоты изложения будем систематически рассматривать двумерный случай.

Случайные векторы

Определение. Упорядоченная пара случайных величин Случайный вектор распределения определенных на одном и том же пространстве элементарных событий Случайный вектор распределения называется системой случайных величин, двумерным случайным вектором или двумерной случайной величиной.

Систему случайных величин можно рассматривать как случайную точку на координатной плоскости, либо как случайный вектор (см. рис. 7.1, 7.2).

По этой ссылке вы найдёте полный курс лекций по теории вероятности:

Для обычной случайной величины Случайный вектор распределения случайным событием являлось любое множество элементарных событий, удовлетворяющих условию Случайный вектор распределения борелевское множество на прямой.

Подмножество Случайный вектор распределения числовой плоскости называется борелевским, если оно может быть получено из открытых или замкнутых множеств в Случайный вектор распределения с помощью конечного или счетного числа теоретико-множественных операций. Борелевскими множествами являются: точки, прямые, открытые и замкнутые многоугольники, полуплоскости, круги и т.д.

Так же как и в одномерном случае, ситуация упрощается с помощью рассмотрения функции распределения.

Случайный вектор распределения

Случайный вектор распределения Определение. Функцией распределения двумерной случайной величины Случайный вектор распределения называется вероятность совместного выполнения двух событий Случайный вектор распределения

Случайный вектор распределения

Возможно вам будут полезны данные страницы:

Геометрической интерпретацией (7.1) может служить рис. 7.3, на котором значением функции распределения может служить вероятность попадания случайной величины Случайный вектор распределения в бесконечный квадрант Случайный вектор распределения с вершиной в точке Случайный вектор распределения лежащий левее и ниже ее.

Случайный вектор распределения

Случайные векторы Случайный вектор распределения одинаково распределены, когда их функции распределения совпадают. Для одинаково распределенных случайных векторов Случайный вектор распределения вероятность попадания точек Случайный вектор распределения в какое-либо борелевское множество Случайный вектор распределения одна и та же:

Случайный вектор распределения

Свойства функции распределения

1. Случайный вектор распределения не убывает по обоим аргументам, т.е.

Случайный вектор распределения

2. Случайный вектор распределения непрерывна слева по обоим аргументам, т.е.

Случайный вектор распределения

3. Случайный вектор распределения

4. Случайный вектор распределения

5. Случайный вектор распределения

6. Случайный вектор распределения

Первое свойство очевидно, поскольку при

Случайный вектор распределения

Доказательство свойства 2, по сути дела, копирует доказательство непрерывности слева функции распределения случайной величины и оставляется читателю.

Случайный вектор распределения Для доказательства свойства 3 обозначим через Случайный вектор распределения прямоугольник с вершинами Случайный вектор распределенияСлучайный вектор распределения (см. рис. 7.4). Тогда выполняются два равенства

Случайный вектор распределения

Применяя теорему сложения вероятностей (заметим, что Случайный вектор распределения к (7.2) и (7.3), получим

Случайный вектор распределения

откуда свойство 3 следует непосредственно.

Для доказательства свойства 4 рассмотрим произвольную убывающую последовательность

Случайный вектор распределения Тогда очевидно, что Случайный вектор распределения и мы можем воспользоваться свойством вероятности Случайный вектор распределения

Доказательство свойств 5 и 6 аналогично доказательству свойства 4 и оставляется читателю. Особое значение играют абсолютно непрерывные случайные векторы.

Абсолютно непрерывные случайные векторы

Определение. Случайный вектор Случайный вектор распределения называется абсолютно непрерывным, если найдется неотрицательная функция Случайный вектор распределения называемая плотностью распределения, такая, что для любого множества Случайный вектор распределения для которого существует интеграл Случайный вектор распределения вероятность попадания точки Случайный вектор распределения находится по формуле

Случайный вектор распределения

Особенно часто используется случай, когда область Случайный вектор распределения прямоугольник: Случайный вектор распределения В этом случае формула (7.4) принимает вид

Случайный вектор распределения

Из свойств интеграла следует, что если Случайный вектор распределения — абсолютно непрерывный случайный вектор, то вероятность попадания точки Случайный вектор распределения в какую-либо линию (прямую, гиперболу,…) равна 0.

Функция распределения Случайный вектор распределения абсолютно непрерывного случайного вектора Случайный вектор распределения является непрерывной и может быть представлена согласно (7.5) в виде несобственного интеграла

Случайный вектор распределения

Плотность распределения обладает следующими свойствами:

1. Случайный вектор распределения (неотрицательность).

2. Случайный вектор распределения (условие нормировки).

3. Случайный вектор распределения в точке непрерывности Случайный вектор распределения

Первое свойство выполняется по определению. Второе свойство следует из свойства 6 функции распределения. Свойство 3 получается, если найти смешанную производную от обеих частей равенства (7.6).

Компоненты Случайный вектор распределения абсолютно непрерывного случайного вектора Случайный вектор распределения являются также абсолютно непрерывными. Плотности распределения Случайный вектор распределения случайных величин Случайный вектор распределения выражаются через плотность совместного распределения:

Случайный вектор распределения

Формулы (7.7) непосредственно вытекают из свойства 5 функции распределения.

Случайный вектор Случайный вектор распределения называется сосредоточенным на множестве Случайный вектор распределения если Случайный вектор распределения В этом случае все пределы интегрирования необходимо связать с видом области Случайный вектор распределения

Независимость компонент случайного вектора

Определение. Говорят, что для случайного вектора Случайный вектор распределения его компоненты Случайный вектор распределения независимые случайные величины, если для любых борелевских множеств Случайный вектор распределения на прямой

Случайный вектор распределения

В случае абсолютно непрерывного случайного вектора Случайный вектор распределения условие (7.8) можно выразить в терминах функций распределения и плотности.

Теорема 7.1. Для абсолютно непрерывного случайного вектора Случайный вектор распределения компоненты Случайный вектор распределения независимы тогда и только тогда, когда выполняется одно из условий

Случайный вектор распределения

Доказательство. Положим Случайный вектор распределения Тогда в левой части (7.8) мы получим Случайный вектор распределения а в правой части произведение Случайный вектор распределения что доказывает (7.9). Вычисляя смешанную производную по Случайный вектор распределения от обеих частей (7.9), получим равенство (7.10) согласно свойству 3 функции плотности.

Наоборот, если выполнено (7.10), то равенство (7.8) будет выполнено ввиду соответствующего свойства двойного интеграла и определения функции плотности. Теорема доказана полностью.

Таким образом, компоненты Случайный вектор распределения абсолютно непрерывного случайного вектора Случайный вектор распределения являются независимыми случайными величинами в том и только в том случае, если произведение их плотностей совпадает с плотностью совместного распределения.

Числовые характеристики случайного вектора

Теорема 7.2. Для математического ожидания функции Случайный вектор распределения от компонент случайного вектора Случайный вектор распределения справедлива формула

Случайный вектор распределения

Мы не приводим доказательство этой теоремы, которая является аналогом теоремы 5.2 для одномерного случая.

Мы видели, что в одномерном случае основные числовые характеристики случайной величины выражались через начальные и центральные моменты. Дадим аналогичное определение для случайного вектора.

Определение. Начальным моментом порядка Случайный вектор распределения называется математическое ожидание функции Случайный вектор распределения

Случайный вектор распределения

Из формулы (7.11) следует

Случайный вектор распределения Определение. Центральным моментом порядка Случайный вектор распределения называется математическое ожидание функции Случайный вектор распределения

Случайный вектор распределения

Из формулы (7.11) следует

Случайный вектор распределения

Числа Случайный вектор распределения характеризуют порядок момента по отношению к каждой компоненте случайного вектора. Число Случайный вектор распределения называют суммарным порядком момента. Соответственно суммарному порядку моменты можно разделить на моменты первого, второго и т.д. порядка. Мы рассмотрим более подробно моменты первого и второго порядка.

Первые начальные моменты — это нам уже знакомые математические ожидания случайных величин Случайный вектор распределения

Действительно,

Случайный вектор распределения

Аналогично

Случайный вектор распределения

Точка с координатами Случайный вектор распределения характеризует центр системы случайных величин, вокруг которого происходит рассеивание возможных значений.

Кроме первых моментов широко применяют вторые центральные моменты, которые бывают трех типов. Два из них дают знакомые нам дисперсии компонент Случайный вектор распределения Случайный вектор распределения

которые характеризуют рассеивание возможных значений случайных величин Случайный вектор распределения вдоль осей Случайный вектор распределения

Особую роль в определении взаимодействия компонент играет второй смешанный центральный момент

Случайный вектор распределения

Мы уже рассматривали эту характеристику дискретных систем случайных величин, которую называли ковариацией. Она имеет важное значение и для непрерывных случайных векторов.

Определение. Ковариацией или корреляционным моментом случайного вектора Случайный вектор распределения называют величину

Случайный вектор распределения

Ковариация обладает следующими свойствами:

Случайный вектор распределения

Проверка этих свойств выполняется так же, как и в дискретном случае.

Если Случайный вектор распределения то случайные величины Случайный вектор распределения называются некоррелированными. Таким образом, согласно свойству 4 из независимости Случайный вектор распределенияследует их некоррелированность. Обратное утверждение неверно.

Ковариация Случайный вектор распределения может использоваться как характеристика взаимосвязи Случайный вектор распределения Например, положительный знак Случайный вектор распределения свидетельствует о том, что в колебательной динамике случайных величин Случайный вектор распределения преобладают отклонения от средних значений в одном направлении. Для подобного сравнения случайных величин, однако, больше подходит безразмерная характеристика — коэффициент корреляции, определяемый формулой

Случайный вектор распределения

Свойства коэффициента корреляции:

1. Случайный вектор распределения

2. Случайный вектор распределения

3. Условие Случайный вектор распределения равнозначно существованию констант Случайный вектор распределения таких, что равенство Случайный вектор распределения выполняется с вероятностью 1.

Заметим, что свойство 3 ковариации с использованием коэффициента корреляции можно переписать в следующем виде

Случайный вектор распределения

Свойство 1 очевидно. Для доказательства свойств 2 и 3 рассмотрим случайную величину Случайный вектор распределения (7.20)

и вычислим ее дисперсию

Случайный вектор распределения

Поскольку левая часть (7.21) неотрицательна, то и правая, что доказывает свойство 2. Если Случайный вектор распределения то дисперсия Случайный вектор распределения равна 0, так что с вероятностью 1 эта случайная величина равна константе Случайный вектор распределения Таким образом, из (7.20) имеем

Случайный вектор распределения

что и доказывает линейную зависимость между случайными величинами Случайный вектор распределения

Пусть равенство Случайный вектор распределения выполняется с вероятностью 1. По свойству дисперсии имеем

Случайный вектор распределения

так что

Случайный вектор распределения

Вычислим ковариацию Случайный вектор распределения

Случайный вектор распределения

Подставляя (7.19), (7.20) в формулу для коэффициента корреляции (7.18), получим

Случайный вектор распределения что и требовалось доказать.

Функциональные преобразования случайных векторов

Мы уже рассматривали функции от случайных величин, в частности, мы определили, как связаны функции плотности случайных величин Случайный вектор распределения дифференцируемая функция, имеющая обратную.

Пусть Случайный вектор распределения — случайный вектор, сосредоточенный в области Случайный вектор распределения и

Случайный вектор распределения

где Случайный вектор распределения — дифференцируемые функции, отображающие область Случайный вектор распределения взаимно однозначно на область Случайный вектор распределения Случайный вектор распределения причем существует обратное отображение области Случайный вектор распределения на область Случайный вектор распределения осуществляемое с помощью отображения

Случайный вектор распределения

Поскольку функции Случайный вектор распределения непрерывны, то формулы

Случайный вектор распределения

определяют случайный вектор Случайный вектор распределения Наша задача — зная совместную функцию плотности Случайный вектор распределения Для Случайный вектор распределения найти функцию плотности Случайный вектор распределения

Для этого заметим, что для любого борелевского множества Случайный вектор распределения и его образа при отображении Случайный вектор распределения выполняется равенство

Случайный вектор распределения

Это равенство можно переписать с помощью интегралов

Случайный вектор распределения

Используя формулы замены (7.46) в двойном интеграле, формулу (7.47) представим в следующем виде

Случайный вектор распределения где Случайный вектор распределения якобиан замены (7.46)

Случайный вектор распределения Окончательно получим

Случайный вектор распределения Формулы (7.49), (7.48) дают нам искомое выражение совместной функции плотности случайного вектора через Случайный вектор распределения функцию плотности вектора Случайный вектор распределения

Особое значение в дальнейшем будет играть линейная замена переменных. В этом случае формулы (7.45) приобретут вид

Случайный вектор распределения

с невырожденной матрицей Случайный вектор распределения коэффициентов, так что обратная замена выглядит так

Случайный вектор распределения

с матрицей коэффициентов Случайный вектор распределения обратной матрице Случайный вектор распределения

Случайный вектор распределения

Формула (7.49) примет вид

Случайный вектор распределения

где якобиан Случайный вектор распределения равен определителю матрицы Случайный вектор распределения

Случайный вектор распределения

Случайный вектор распределения

Случайный вектор распределения

Лекции:

  • Системы случайных величин
  • Условное нормальное распределение
  • Нормальное распределение на плоскости
  • Многомерный нормальный закон
  • Условное распределение
  • Законы распределения случайных величин
  • Моменты случайной величины
  • Моменты высших порядков
  • Метод моментов
  • Функции случайных величин

From Wikipedia, the free encyclopedia

In mathematics and statistics, a probability vector or stochastic vector is a vector with non-negative entries that add up to one.

The positions (indices) of a probability vector represent the possible outcomes of a discrete random variable, and the vector gives us the probability mass function of that random variable, which is the standard way of characterizing a discrete probability distribution.[1]

Examples[edit]

Here are some examples of probability vectors. The vectors can be either columns or rows.

Geometric interpretation[edit]

Writing out the vector components of a vector p as

p={begin{bmatrix}p_{1}\p_{2}\vdots \p_{n}end{bmatrix}}quad {text{or}}quad p={begin{bmatrix}p_{1}&p_{2}&cdots &p_{n}end{bmatrix}}

the vector components must sum to one:

sum _{{i=1}}^{n}p_{i}=1

Each individual component must have a probability between zero and one:

0leq p_{i}leq 1

for all i. Therefore, the set of stochastic vectors coincides with the standard (n-1)-simplex. It is a point if n=1, a segment if n=2, a (filled) triangle if n=3, a (filled) tetrahedron n=4, etc.

Properties[edit]

See also[edit]

  • Stochastic matrix
  • Dirichlet distribution

References[edit]

  1. ^ Jacobs, Konrad (1992), Discrete Stochastics, Basler Lehrbücher [Basel Textbooks], vol. 3, Birkhäuser Verlag, Basel, p. 45, doi:10.1007/978-3-0348-8645-1, ISBN 3-7643-2591-7, MR 1139766.

ФИНАЛЬНЫЕ ВЕРОЯТНОСТИ ОДНОРОДНОЙ МАРКОВСКОЙ ЦЕПИ

Цель настоящего параграфа — описать понятия финального стационарного режима протекания случайного процесса в однородной марковской цепи и финальных вероятностей состояний, сформулировать достаточные условия их существования и вывести векторно-матричное уравнение, из которого можно определить финальные вероятности.

В приложении марковских процессов к финансово-экономическим ситуациям одним из важных факторов является довольно длительное протекание процесса, т.е. протекание процесса после окончания воздействия на него начальных условий. При некоторых условиях в конце концов устанавливается финальный стационарный режим процесса, при котором вероятности состояний системы уже не зависят ни от времени, ни от начального распределения вероятностей.

Определение 9.1. Вероятности состояний системы в финальном стационарном режиме называются финальными (или предельными, или стационарными) вероятностями и обозначаются через р<, . рп, а вектор (рр . рп), координатами которого служат финальные вероятности, называется финальным (или предельным, или стационарным) вектором.

Здесь мы рассмотрим случай однородной марковской цепи (см. § 2), т.е. систему S с дискретными состояниями sp . sn и с дискретным временем. Таким образом, система S может переходить (скачком) из состояния в состояние только в определенные моменты времени /р . tk. называемые шагами (см. определение 2.1).

вектор начального распределения вероятностей (см. определение 2.9) и

матрица переходных вероятностей /ь (из состояния sf в состояние sj), не зависящих в силу однородности цепи от шагов /р . tk.

Теорема 9.1. Если существует финальный стационарный режим и, следовательно, существуют финальные вероятности, то для того, чтобы pv —,рп были финальными вероятностями, необходимо и достаточно, чтобы существовал т-й шаг, такой, что

Доказательство: Достаточность. Пусть существуют финальные вероятности. Пусть существует натуральное число т, для которого выполняется равенство (9.1). Из (2.4) при к = т + 2 и (9.1) имеем:

т.е. вектор <, . рп) не зависит от шагов, а это и означает, что pv . рп финальные вероятности.

Необходимость. Пустьpv . рп финальные вероятности. Тогда из их определения следует, что найдется m-й шаг, начиная с которого вероятности состояний не будут меняться и будут равны финальным. А это означает выполнение равенства (9.1). ?

Следствие 9.1. Если существуют финальные вероятности, то для того, чтобыр<. рп были финальными вероятностями, необходимо и достаточно, чтобы существовал т-й шаг, такой, что

Из (9.1) и (2.1) следует, что финальные вероятности удовлетворяют нормировочному условию

Теорема 9.2. Если существуют финальные вероятности, то финальные вектор (рj. п) можно найти из уравнения

где Р — матрица переходных вероятностей.

Доказательство: Так как финальные вероятности существуют, то найдется натуральное число т, такое, что выполняется равенство (9.1). Тогда из (2.4) при k = т + 1 имеем:

т.е. равенство (9.3) доказано. ?

Уравнение (9.3), решив которое можно найти финальные вероятности, было выведено только при условии существования последних. Сформулируем некоторые достаточные условия существования финальных вероятностей. Предварительно введем понятие регулярности марковской цепи.

Определение 9.2. Марковская цепь называется регулярной, если существует натуральное число т, такое, что любой элемент матрицы Р т положителен, за исключением, быть может, элементов, стоящих в столбцах, номера которых совпадают с номерами неустойчивых состояний системы S, т.е. состояний без входов (см. определение 1.9).

Пример 9.1 (нерегулярной цепи). Рассмотрим однородную марковскую цепь, размеченный граф состояний которой указан на рис. 9.1.

В данном случае у системы S нет неустойчивых состояний. Матрица переходных вероятностей имеет вид:

Отсюда понятно, что Р 4 = Р, Р 5 = Р 2 , Р в = Р 3 , Р 1 = Р, . . Таким образом, у системы S нет неустойчивых состояний и любая т-я степень Р т матрицы Р ее переходных вероятностей содержит нулевые элементы, а потому рассматриваемая марковская цепь не является регулярной. ?

Пример 9.2 (регулярной цепи). Рассмотрим однородную марковскую цепь с размеченным графом на рис. 9.2.

Состояние s3 неустойчиво. Матрица переходных вероятностей

Мы видим, что при т = 2 каждый элемент матрицы Р т = Р 2 , кроме элементов третьего столбца, номер которого совпадает с номером неустойчивого состояния s3, положителен. Следовательно, по определению регулярности, данная марковская цепь регулярна. ?

Приведем (без доказательства) следующую теорему, в которой сформулированы достаточные условия существования предельных вероятностей.

Теорема 9.3. Если однородная марковская цепь с конечным числом (п) состояний регулярна, то существуют финальные вероятности р<, . рп, причем

Таким образом, для нахождения финальных вероятностей целесообразно поступить следующим образом: сначала проверить марковскую цепь на регулярность и, если она таковой окажется, финальный стационарный вектор вероятностей можно найти из уравнения (9.3).

Пример 9.3. Марковская цепь, рассмотренная в примере 9.2, оказалась регулярной. Следовательно, по теореме 9.3, существуют финальные вероятности pvp2,p3. Найдем их из уравнения (9.3) при п = 3 и матрице Р, задаваемой равенством (9.4):

Произведя умножение в правой части этого равенства, получим

Из первого уравнения

Итак, < = (1/3)р2; р2; рг = 0) — общее решение уравнения (9.5), зависящее от одного произвольного параметра р2. Подберем этот параметр из нормировочного условия р^ +р2+р^ = Отсюда

Подставив (9.7) в (9.6), найдем: р< = 1/4. Но тогда из (9.7): р2 = 3/4.

Итак, финальный вектор вероятностей состояний системы S имеет вид: (pvp2,p3) = ( 1/4, 3/4, 0). ?

Обратим внимание на то, что в приведенном примере предельная вероятность неустойчивого состояния s3 равна р3 = 0. Это, очевидно, справедливо в общем случае любой системы.

Отметим, что у нерегулярной марковской цепи все же могут существовать предельные вероятности. Приведем подтверждающий пример.

Пример 9.4. Система S, граф состояний которой приведен на рис. 9.3, имеет поглощающее состояние s3; поэтому рано или поздно она перейдет в это состояние и останется в нем навсегда; следовательно, для данной системы S финальные вероятности существуют и равны р j = /?2 = 0, /?3 = 1. Тем не менее рассматриваемая система не

является регулярной, ибо состояния sl и s2 не являются неустойчивыми, но элементы, стоящие на пересечениях третьей строки и первых двух столбцов любой степени Р т матрицы переходных вероятностей

очевидно равны нулю. ?

Приведем содержательный пример на вычисление предельных вероятностей.

Пример 9.5. (ср. [6, Упражнение 5, с. 220]).

Поведение рынка ценных бумаг обнаруживает следующую тенденцию: сделки, в которых цены возрастают, сменяются сделками, в которых цены падают. Наблюдения показали, что условная вероятность возрастания цен после предшествовавшего периода их падения равна 0,65, а условная вероятность падения цен после предшествовавшего периода их возрастания равна 0,6.

Определим соответствующие состояния, построим их размеченный граф, выпишем матрицу переходных вероятностей и найдем финальные вероятности состояний.

В качестве системы S будем рассматривать рынок ценных бумаг. Тогда система S может находиться только в двух состояниях: s < падение цен, И52— возрастание цен, и, следовательно, протекающий в системе S процесс является дискретным.

Предстоящее состояние, в которое перейдет система S, зависит (в существенном) от состояния, в котором она находится в настоящий момент времени; поэтому этот процесс является марковским.

Будем предполагать, что моменты времени /2, /3, . настолько близки друг к другу, что между ними система S не изменяет своего состояния и, следовательно, процесс, протекающий в системе S, с определенной погрешностью можно считать процессом с дискретным временем.

Условные вероятности 0,65 и 0,6, данные в условии примера, являются очевидно (см. определения 9.5) вероятностямирп ир

Тогда, используя нормировочное условие (2.2), при п = 2 для / = 1 и / = 2, получим:

Размеченный граф состояний системы S будет иметь следующий вид (рис. 9.4):

Матрица переходных вероятностей

Поскольку все элементы матрицы Р положительны, то система S регулярна и потому существуют предельные вероятности /), и р2 соответственно состояний s, и s2. Из уравнения (9.3) при п = 2 с матрицей Р, определяемой формулой (9.8), получаем:

Уравнения полученной системы пропорциональны (например, второе уравнение получается из первого умножением на -1), а потому одно из них, например второе, можно отбросить. Заменив второе уравнение нормировочным условием, получим систему

решив которую, найдем:

Таким образом, при достаточно длительном функционировании рынка ценных бумаг финальные вероятности падения и роста цен равны соответственно 0,48 и 0,52. При этом они не зависят от начального состояния рынка. ?

  • • В финансово-экономической области случайные процессы в некоторых системах длятся довольно долго и при некоторых условиях переходят в финальный стационарный режим, при котором вероятности состояний системы уже не зависят ни от времени, ни от начального распределения вероятностей.
  • • Характеристическим признаком финальных вероятностейр<. рп является существование шага т, такого, что выполняется равенство (9.1).
  • • Финальные вероятности состояний, существующие при финальном стационарном режиме протекания случайного процесса, можно подсчитать по формуле (9.3).
  • • Регулярность однородной марковской цепи гарантирует существование финальных вероятностей.
  • • Однородная марковская цепь может не быть регулярной, но тем не менее финальные вероятности могут существовать.

КЛЮЧЕВЫЕ СЛОВА И ВЫРАЖЕНИЯ

Однородная марковская цепь; финальный стационарный режим случайного процесса; финальные вероятности состояний однородной марковской цепи; регулярная марковская цепь.

ВОПРОСЫ ДЛЯ САМОКОНТРОЛЯ

  • 1. Чем характеризуется финальный стационарный режим протекания случайного процесса в системе?
  • 2. Дайте определение финальным вероятностям состояний системы.
  • 3. Каковы необходимые и достаточные условия финальных вероятностей?
  • 4. Какой вид имеет векторно-матричное уравнение, из которого можно определить финальные вероятности?
  • 5. Каково определение регулярности марковской цепи?
  • 6. Сформулируйте достаточные условия существования финальных вероятностей.
  • 7. Является ли регулярность однородной марковской цепи необходимым условием существования финальных вероятностей?

Компания по прокату автомобилей выдает автомобили напрокат в трех аэропортах: А, В и С. Клиенты возвращают автомобили в эти аэропорты в соответствии с вероятностями, указанными в табл. 9.1.

Краткое введение в цепи Маркова

В 1998 году Лоуренс Пейдж, Сергей Брин, Раджив Мотвани и Терри Виноград опубликовали статью «The PageRank Citation Ranking: Bringing Order to the Web», в которой описали знаменитый теперь алгоритм PageRank, ставший фундаментом Google. Спустя чуть менее двух десятков лет Google стал гигантом, и даже несмотря на то, что его алгоритм сильно эволюционировал, PageRank по-прежнему является «символом» алгоритмов ранжирования Google (хотя только немногие люди могут действительно сказать, какой вес он сегодня занимает в алгоритме).

С теоретической точки зрения интересно заметить, что одна из стандартных интерпретаций алгоритма PageRank основывается на простом, но фундаментальном понятии цепей Маркова. Из статьи мы увидим, что цепи Маркова — это мощные инструменты стохастического моделирования, которые могут быть полезны любому эксперту по аналитическим данным (data scientist). В частности, мы ответим на такие базовые вопросы: что такое цепи Маркова, какими хорошими свойствами они обладают, и что с их помощью можно делать?

Краткий обзор

В первом разделе мы приведём базовые определения, необходимые для понимания цепей Маркова. Во втором разделе мы рассмотрим особый случай цепей Маркова в конечном пространстве состояний. В третьем разделе мы рассмотрим некоторые из элементарных свойств цепей Маркова и проиллюстрируем эти свойства на множестве мелких примеров. Наконец, в четвёртом разделе мы свяжем цепи Маркова с алгоритмом PageRank и увидим на искусственном примере, как цепи Маркова можно применять для ранжирования узлов графа.

Примечание. Для понимания этого поста необходимы знания основ вероятностей и линейной алгебры. В частности, будут использованы следующие понятия: условная вероятность, собственный вектор и формула полной вероятности.

Что такое цепи Маркова?

Случайные переменные и случайные процессы

Прежде чем вводить понятие цепей Маркова, давайте вкратце вспомним базовые, но важные понятия теории вероятностей.

Во-первых, вне языка математики случайной величиной X считается величина, которая определяется результатом случайного явления. Его результатом может быть число (или «подобие числа», например, векторы) или что-то иное. Например, мы можем определить случайную величину как результат броска кубика (число) или же как результат бросания монетки (не число, если только мы не обозначим, например, «орёл» как 0, а «решку» как 1). Также упомянем, что пространство возможных результатов случайной величины может быть дискретным или непрерывным: например, нормальная случайная величина непрерывна, а пуассоновская случайная величина дискретна.

Далее мы можем определить случайный процесс (также называемый стохастическим) как набор случайных величин, проиндексированных множеством T, которое часто обозначает разные моменты времени (в дальнейшем мы будем считать так). Два самых распространённых случая: T может быть или множеством натуральных чисел (случайный процесс с дискретным временем), или множеством вещественных чисел (случайный процесс с непрерывным временем). Например, если мы будем бросать монетку каждый день, то зададим случайный процесс с дискретным временем, а постоянно меняющаяся стоимость опциона на бирже задаёт случайный процесс с непрерывным временем. Случайные величины в разные моменты времени могут быть независимыми друг от друга (пример с подбрасыванием монетки), или иметь некую зависимость (пример со стоимостью опциона); кроме того, они могут иметь непрерывное или дискретное пространство состояний (пространство возможных результатов в каждый момент времени).

Разные виды случайных процессов (дискретные/непрерывные в пространстве/времени).

Марковское свойство и цепь Маркова

Существуют хорошо известные семейства случайных процессов: гауссовы процессы, пуассоновские процессы, авторегрессивные модели, модели скользящего среднего, цепи Маркова и другие. Каждое из этих отдельных случаев имеет определённые свойства, позволяющие нам лучше исследовать и понимать их.

Одно из свойств, сильно упрощающее исследование случайного процесса — это «марковское свойство». Если объяснять очень неформальным языком, то марковское свойство сообщает нам, что если мы знаем значение, полученное каким-то случайным процессом в заданный момент времени, то не получим никакой дополнительной информации о будущем поведении процесса, собирая другие сведения о его прошлом. Более математическим языком: в любой момент времени условное распределение будущих состояний процесса с заданными текущим и прошлыми состояниями зависит только от текущего состояния, но не от прошлых состояний (свойство отсутствия памяти). Случайный процесс с марковским свойством называется марковским процессом.

Марковское свойство обозначает, что если мы знаем текущее состояние в заданный момент времени, то нам не нужна никакая дополнительная информация о будущем, собираемая из прошлого.

На основании этого определения мы можем сформулировать определение «однородных цепей Маркова с дискретным временем» (в дальнейшем для простоты мы их будем называть «цепями Маркова»). Цепь Маркова — это марковский процесс с дискретным временем и дискретным пространством состояний. Итак, цепь Маркова — это дискретная последовательность состояний, каждое из которых берётся из дискретного пространства состояний (конечного или бесконечного), удовлетворяющее марковскому свойству.

Математически мы можем обозначить цепь Маркова так:

где в каждый момент времени процесс берёт свои значения из дискретного множества E, такого, что

Тогда марковское свойство подразумевает, что у нас есть

Снова обратите внимание, что эта последняя формула отражает тот факт, что для хронологии (где я нахожусь сейчас и где я был раньше) распределение вероятностей следующего состояния (где я буду дальше) зависит от текущего состояния, но не от прошлых состояний.

Примечание. В этом ознакомительном посте мы решили рассказать только о простых однородных цепях Маркова с дискретным временем. Однако существуют также неоднородные (зависящие от времени) цепи Маркова и/или цепи с непрерывным временем. В этой статье мы не будем рассматривать такие вариации модели. Стоит также заметить, что данное выше определение марковского свойства чрезвычайно упрощено: в истинном математическом определении используется понятие фильтрации, которое выходит далеко за пределы нашего вводного знакомства с моделью.

Характеризуем динамику случайности цепи Маркова

В предыдущем подразделе мы познакомились с общей структурой, соответствующей любой цепи Маркова. Давайте посмотрим, что нам нужно, чтобы задать конкретный «экземпляр» такого случайного процесса.

Сначала заметим, что полное определение характеристик случайного процесса с дискретным временем, не удовлетворяющего марковскому свойству, может быть сложным занятием: распределение вероятностей в заданный момент времени может зависеть от одного или нескольких моментов в прошлом и/или будущем. Все эти возможные временные зависимости потенциально могут усложнить создание определения процесса.

Однако благодаря марковскому свойству динамику цепи Маркова определить довольно просто. И в самом деле. нам нужно определить только два аспекта: исходное распределение вероятностей (то есть распределение вероятностей в момент времени n=0), обозначаемое

и матрицу переходных вероятностей (которая даёт нам вероятности того, что состояние в момент времени n+1 является последующим для другого состояния в момент n для любой пары состояний), обозначаемую

Если два этих аспекта известны, то полная (вероятностная) динамика процесса чётко определена. И в самом деле, вероятность любого результата процесса тогда можно вычислить циклически.

Пример: допустим, мы хотим знать вероятность того, что первые 3 состояния процесса будут иметь значения (s0, s1, s2). То есть мы хотим вычислить вероятность

Здесь мы применяем формулу полной вероятности, гласящую, что вероятность получения (s0, s1, s2) равна вероятности получения первого s0, умноженного на вероятность получения s1 с учётом того, что ранее мы получили s0, умноженного на вероятность получения s2 с учётом того, что мы получили ранее по порядку s0 и s1. Математически это можно записать как

И затем проявляется упрощение, определяемое марковским допущением. И в самом деле, в случае длинных цепей мы получим для последних состояний сильно условные вероятности. Однако в случае цепей Маркова мы можем упростить это выражение, воспользовавшись тем, что

получив таким образом

Так как они полностью характеризуют вероятностную динамику процесса, многие сложные события можно вычислить только на основании исходного распределения вероятностей q0 и матрицы переходной вероятности p. Стоит также привести ещё одну базовую связь: выражение распределения вероятностей во время n+1, выраженное относительно распределения вероятностей во время n

Цепи Маркова в конечных пространствах состояний

Представление в виде матриц и графов

Здесь мы допустим, что во множестве E есть конечное количество возможных состояний N:

Тогда исходное распределение вероятностей можно описать как вектор-строку q0 размером N, а переходные вероятности можно описать как матрицу p размером N на N, такую что

Преимущество такой записи заключается в том, что если мы обозначим распределение вероятностей на шаге n вектором-строкой qn, таким что его компоненты задаются

тогда простые матричные связи при этом сохраняются

(здесь мы не будем рассматривать доказательство, но воспроизвести его очень просто).

Если умножить справа вектор-строку, описывающий распределение вероятностей на заданном этапе времени, на матрицу переходных вероятностей, то мы получим распределение вероятностей на следующем этапе времени.

Итак, как мы видим, переход распределения вероятностей из заданного этапа в последующий определяется просто как умножение справа вектора-строки вероятностей исходного шага на матрицу p. Кроме того, это подразумевает, что у нас есть

Динамику случайности цепи Маркова в конечном пространстве состояний можно с лёгкостью представить как нормированный ориентированный граф, такой что каждый узел графа является состоянием, а для каждой пары состояний (ei, ej) существует ребро, идущее от ei к ej, если p(ei,ej)>0. Тогда значение ребра будет той же вероятностью p(ei,ej).

Пример: читатель нашего сайта

Давайте проиллюстрируем всё это простым примером. Рассмотрим повседневное поведение вымышленного посетителя сайта. В каждый день у него есть 3 возможных состояния: читатель не посещает сайт в этот день (N), читатель посещает сайт, но не читает пост целиком (V) и читатель посещает сайт и читает один пост целиком (R ). Итак, у нас есть следующее пространство состояний:

Допустим, в первый день этот читатель имеет вероятность 50% только зайти на сайт и вероятность 50% посетить сайт и прочитать хотя бы одну статью. Вектор, описывающий исходное распределение вероятностей (n=0) тогда выглядит так:

Также представим, что наблюдаются следующие вероятности:

  • когда читатель не посещает один день, то имеет вероятность 25% не посетить его и на следующий день, вероятность 50% только посетить его и 25% — посетить и прочитать статью
  • когда читатель посещает сайт один день, но не читает, то имеет вероятность 50% снова посетить его на следующий день и не прочитать статью, и вероятность 50% посетить и прочитать
  • когда читатель посещает и читает статью в один день, то имеет вероятность 33% не зайти на следующий день (надеюсь, этот пост не даст такого эффекта!), вероятность 33% только зайти на сайт и 34% — посетить и снова прочитать статью

Тогда у нас есть следующая переходная матрица:

Из предыдущего подраздела мы знаем как вычислить для этого читателя вероятность каждого состояния на следующий день (n=1)

Вероятностную динамику этой цепи Маркова можно графически представить так:

Представление в виде графа цепи Маркова, моделирующей поведение нашего придуманного посетителя сайта.

Свойства цепей Маркова

В этом разделе мы расскажем только о некоторых самых базовых свойствах или характеристиках цепей Маркова. Мы не будем вдаваться в математические подробности, а представим краткий обзор интересных моментов, которые необходимо изучить для использования цепей Маркова. Как мы видели, в случае конечного пространства состояний цепь Маркова можно представить в виде графа. В дальнейшем мы будем использовать графическое представление для объяснения некоторых свойств. Однако не стоит забывать, что эти свойства необязательно ограничены случаем конечного пространства состояний.

Разложимость, периодичность, невозвратность и возвратность

В этом подразделе давайте начнём с нескольких классических способов характеризации состояния или целой цепи Маркова.

Во-первых, мы упомянем, что цепь Маркова неразложима, если можно достичь любого состояния из любого другого состояния (необязательно, что за один шаг времени). Если пространство состояний конечно и цепь можно представить в виде графа, то мы можем сказать, что граф неразложимой цепи Маркова сильно связный (теория графов).

Иллюстрация свойства неразложимости (несокращаемости). Цепь слева нельзя сократить: из 3 или 4 мы не можем попасть в 1 или 2. Цепь справа (добавлено одно ребро) можно сократить: каждого состояния можно достичь из любого другого.

Состояние имеет период k, если при уходе из него для любого возврата в это состояние нужно количество этапов времени, кратное k (k — наибольший общий делитель всех возможных длин путей возврата). Если k = 1, то говорят, что состояние является апериодическим, а вся цепь Маркова является апериодической, если апериодичны все её состояния. В случае неприводимой цепи Маркова можно также упомянуть, что если одно состояние апериодическое, то и все другие тоже являются апериодическими.

Иллюстрация свойства периодичности. Цепь слева периодична с k=2: при уходе из любого состояния для возврата в него всегда требуется количество шагов, кратное 2. Цепь справа имеет период 3.

Состояние является невозвратным, если при уходе из состояния существует ненулевая вероятность того, что мы никогда в него не вернёмся. И наоборот, состояние считается возвратным, если мы знаем, что после ухода из состояния можем в будущем вернуться в него с вероятностью 1 (если оно не является невозвратным).

Иллюстрация свойства возвратности/невозвратности. Цепь слева имеет такие свойства: 1, 2 и 3 невозвратны (при уходе из этих точек мы не можем быть абсолютно уверены, что вернёмся в них) и имеют период 3, а 4 и 5 возвратны (при уходе из этих точек мы абсолютно уверены, что когда-нибудь к ним вернёмся) и имеют период 2. Цепь справа имеет ещё одно ребро, делающее всю цепь возвратной и апериодической.

Для возвратного состояния мы можем вычислить среднее время возвратности, которое является ожидаемым временем возврата при покидании состояния. Заметьте, что даже вероятность возврата равна 1, то это не значит, что ожидаемое время возврата конечно. Поэтому среди всех возвратных состояний мы можем различать положительные возвратные состояния (с конечным ожидаемым временем возврата) и нулевые возвратные состояния (с бесконечным ожидаемым временем возврата).

Стационарное распределение, предельное поведение и эргодичность

В этом подразделе мы рассмотрим свойства, характеризующие некоторые аспекты (случайной) динамики, описываемой цепью Маркова.

Распределение вероятностей π по пространству состояний E называют стационарным распределением, если оно удовлетворяет выражению

Так как у нас есть

Тогда стационарное распределение удовлетворяет выражению

По определению, стационарное распределение вероятностей со временем не изменяется. То есть если исходное распределение q является стационарным, тогда оно будет одинаковых на всех последующих этапах времени. Если пространство состояний конечно, то p можно представить в виде матрицы, а π — в виде вектора-строки, и тогда мы получим

Это снова выражает тот факт, что стационарное распределение вероятностей со временем не меняется (как мы видим, умножение справа распределения вероятностей на p позволяет вычислить распределение вероятностей на следующем этапе времени). Учтите, что неразложимая цепь Маркова имеет стационарное распределение вероятностей тогда и только тогда, когда одно из её состояний является положительным возвратным.

Ещё одно интересное свойство, связанное с стационарным распределением вероятностей, заключается в следующем. Если цепь является положительной возвратной (то есть в ней существует стационарное распределение) и апериодической, тогда, какими бы ни были исходные вероятности, распределение вероятностей цепи сходится при стремлении интервалов времени к бесконечности: говорят, что цепь имеет предельное распределение, что является ничем иным, как стационарным распределением. В общем случае его можно записать так:

Ещё раз подчеркнём тот факт, что мы не делаем никаких допущений об исходном распределении вероятностей: распределение вероятностей цепи сводится к стационарному распределению (равновесному распределению цепи) вне зависимости от исходных параметров.

Наконец, эргодичность — это ещё одно интересное свойство, связанное с поведением цепи Маркова. Если цепь Маркова неразложима, то также говорится, что она «эргодическая», потому что удовлетворяет следующей эргодической теореме. Допустим, у нас есть функция f(.), идущая от пространства состояний E к оси (это может быть, например, цена нахождения в каждом состоянии). Мы можем определить среднее значение, перемещающее эту функцию вдоль заданной траектории (временное среднее). Для n-ных первых членов это обозначается как

Также мы можем вычислить среднее значение функции f на множестве E, взвешенное по стационарному распределению (пространственное среднее), которое обозначается

Тогда эргодическая теорема говорит нам, что когда траектория становится бесконечно длинной, временное среднее равно пространственному среднему (взвешенному по стационарному распределению). Свойство эргодичности можно записать так:

Иными словами, оно обозначает, что в пределе ранее поведение траектории становится несущественным и при вычислении временного среднего важно только долговременное стационарное поведение.

Вернёмся к примеру с читателем сайта

Снова рассмотрим пример с читателем сайта. В этом простом примере очевидно, что цепь неразложима, апериодична и все её состояния положительно возвратны.

Чтобы показать, какие интересные результаты можно вычислить с помощью цепей Маркова, мы рассмотрим среднее время возвратности в состояние R (состояние «посещает сайт и читает статью»). Другими словами, мы хотим ответить на следующий вопрос: если наш читатель в один день заходит на сайт и читает статью, то сколько дней нам придётся ждать в среднем того, что он снова зайдёт и прочитает статью? Давайте попробуем получить интуитивное понятие о том, как вычисляется это значение.

Сначала мы обозначим

Итак, мы хотим вычислить m(R,R). Рассуждая о первом интервале, достигнутом после выхода из R, мы получим

Однако это выражение требует, чтобы для вычисления m(R,R) мы знали m(N,R) и m(V,R). Эти две величины можно выразить аналогичным образом:

Итак, у нас получилось 3 уравнения с 3 неизвестными и после их решения мы получим m(N,R) = 2.67, m(V,R) = 2.00 и m(R,R) = 2.54. Значение среднего времени возвращения в состояние R тогда равно 2.54. То есть с помощью линейной алгебры нам удалось вычислить среднее время возвращения в состояние R (а также среднее время перехода из N в R и среднее время перехода из V в R).

Чтобы закончить с этим примером, давайте посмотрим, каким будет стационарное распределение цепи Маркова. Чтобы определить стационарное распределение, нам нужно решить следующее уравнение линейной алгебры:

То есть нам нужно найти левый собственный вектор p, связанный с собственным вектором 1. Решая эту задачу, мы получаем следующее стационарное распределение:

Стационарное распределение в примере с читателем сайта.

Можно также заметить, что π( R ) = 1/m(R,R), и если немного поразмыслить, то это тождество довольно логично (но подробно об этом мы говорить не будем).

Поскольку цепь неразложима и апериодична, это означает, что в длительной перспективе распределение вероятностей сойдётся к стационарному распределению (для любых исходных параметров). Иными словами, каким бы ни было исходное состояние читателя сайта, если мы подождём достаточно долго и случайным образом выберем день, то получим вероятность π(N) того, что читатель не зайдёт на сайт в этот день, вероятность π(V) того, что читатель зайдёт, но не прочитает статью, и вероятность π® того, что читатель зайдёт и прочитает статью. Чтобы лучше уяснить свойство сходимости, давайте взглянем на следующий график, показывающий эволюцию распределений вероятностей, начинающихся с разных исходных точек и (быстро) сходящихся к стационарному распределению:

Визуализация сходимости 3 распределений вероятностей с разными исходными параметрами (синяя, оранжевая и зелёная) к стационарному распределению (красная).

Классический пример: алгоритм PageRank

Настало время вернуться к PageRank! Но прежде чем двигаться дальше, стоит упомянуть, что интерпретация PageRank, данная в этой статье, не единственно возможная, и авторы оригинальной статьи при разработке методики не обязательно рассчитывали на применение цепей Маркова. Однако наша интерпретация хороша тем, что очень понятна.

Произвольный веб-пользователь

PageRank пытается решить следующую задачу: как нам ранжировать имеющееся множество (мы можем допустить, что это множество уже отфильтровано, например, по какому-то запросу) с помощью уже существующих между страницами ссылок?

Чтобы решить эту задачу и иметь возможность отранжировать страницы, PageRank приблизительно выполняет следующий процесс. Мы считаем, что произвольный пользователь Интернета в исходный момент времени находится на одной из страниц. Затем этот пользователь начинает случайным образом начинает перемещаться, щёлкая на каждой странице по одной из ссылок, которые ведут на другую страницу рассматриваемого множества (предполагается, что все ссылки, ведущие вне этих страниц, запрещены). На любой странице все допустимые ссылки имеют одинаковую вероятность нажатия.

Так мы задаём цепь Маркова: страницы — это возможные состояния, переходные вероятности задаются ссылками со страницы на страницу (взвешенными таким образом, что на каждой странице все связанные страницы имеют одинаковую вероятность выбора), а свойства отсутствия памяти чётко определяются поведением пользователя. Если также предположить, что заданная цепь положительно возвратная и апериодичная (для удовлетворения этим требованиям применяются небольшие хитрости), тогда в длительной перспективе распределение вероятностей «текущей страницы» сходится к стационарному распределению. То есть какой бы ни была начальная страница, спустя длительное время каждая страница имеет вероятность (почти фиксированную) стать текущей, если мы выбираем случайный момент времени.

В основе PageRank лежит такая гипотеза: наиболее вероятные страницы в стационарном распределении должны быть также и самыми важными (мы посещаем эти страницы часто, потому что они получают ссылки со страниц, которые в процессе переходов тоже часто посещаются). Тогда стационарное распределение вероятностей определяет для каждого состояния значение PageRank.

Искусственный пример

Чтобы это стало намного понятнее, давайте рассмотрим искусственный пример. Предположим, что у нас есть крошечный веб-сайт с 7 страницами, помеченными от 1 до 7, а ссылки между этими страницами соответствуют следующему графу.

Ради понятности вероятности каждого перехода в показанной выше анимации не показаны. Однако поскольку подразумевается, что «навигация» должна быть исключительно случайной (это называют «случайным блужданием»), то значения можно легко воспроизвести из следующего простого правила: для узла с K исходящими ссылками (странице с K ссылками на другие страницы) вероятность каждой исходящей ссылки равна 1/K. То есть переходная матрица вероятностей имеет вид:

где значения 0.0 заменены для удобства на «.». Прежде чем выполнять дальнейшие вычисления, мы можем заметить, что эта цепь Маркова является неразложимой и апериодической, то есть в длительной перспективе система сходится к стационарному распределению. Как мы видели, можно вычислить это стационарное распределение, решив следующую левую задачу собственного вектора

Сделав так, мы получим следующие значения PageRank (значения стационарного распределения) для каждой страницы

Значения PageRank, вычисленные для нашего искусственного примера из 7 страниц.

Тогда ранжирование PageRank этого крошечного веб-сайта имеет вид 1 > 7 > 4 > 2 > 5 = 6 > 3.

Выводы

Основные выводы из этой статьи:

  • случайные процессы — это наборы случайных величин, часто индексируемые по времени (индексы часто обозначают дискретное или непрерывное время)
  • для случайного процесса марковское свойство означает, что при заданном текущем вероятность будущего не зависит от прошлого (это свойство также называется «отсутствием памяти»)
  • цепь Маркова с дискретным временем — это случайные процессы с индексами дискретного времени, удовлетворяющие марковскому свойству
  • марковское свойство цепей Маркова сильно облегчает изучение этих процессов и позволяет вывести различные интересные явные результаты (среднее время возвратности, стационарное распределение…)
  • одна из возможных интерпретаций PageRank (не единственная) заключается в имитации веб-пользователя, случайным образом перемещающегося от страницы к странице; при этом показателем ранжирования становится индуцированное стационарное распределение страниц (грубо говоря, на самые посещаемые страницы в устоявшемся состоянии должны ссылаться другие часто посещаемые страницы, а значит, самые посещаемые должны быть наиболее релевантными)

В заключение ещё раз подчеркнём, насколько мощным инструментом являются цепи Маркова при моделировании задач, связанных со случайной динамикой. Благодаря их хорошим свойствам они используются в различных областях, например, в теории очередей (оптимизации производительности телекоммуникационных сетей, в которых сообщения часто должны конкурировать за ограниченные ресурсы и ставятся в очередь, когда все ресурсы уже заняты), в статистике (хорошо известные методы Монте-Карло по схеме цепи Маркова для генерации случайных переменных основаны на цепях Маркова), в биологии (моделирование эволюции биологических популяций), в информатике (скрытые марковские модели являются важными инструментами в теории информации и распознавании речи), а также в других сферах.

Разумеется, огромные возможности, предоставляемые цепями Маркова с точки зрения моделирования и вычислений, намного шире, чем рассмотренные в этом скромном обзоре. Поэтому мы надеемся, что нам удалось пробудить у читателя интерес к дальнейшему изучению этих инструментов, которые занимают важное место в арсенале учёного и эксперта по данным.

Двумерная непрерывная случайная величина

Ранее мы разобрали примеры решений задач для одномерной непрерывной случайной величины. Перейдем к более сложному случаю — двумерной непрерывной случайной величине $(X,Y)$ (или двумерному вектору). Кратко выпишем основы теории.

Система непрерывных случайных величин: теория

Двумерная непрерывная СВ задается своей функцией распределения $F(x,y)=P(Xlt x, Ylt y)$, свойства которой аналогичны свойствам одномерной ФР. Эта функция должна быть непрерывна, дифференцируема и иметь вторую смешанную производную, которая будет как раз плотностью распределения вероятностей системы непрерывных случайных величин:

Зная плотность совместного распределения, можно найти одномерные плотности для $X$ и $Y$:

Вероятность попадания случайного вектора в прямоугольную область можно вычислить как двойной интеграл от плотности (по этой области) или через функцию распределения:

$$P(x_1 le X le x_2, y_1 le Y le y_2) = F(x_2, y_2)-F(x_1, y_2)-F(x_2, y_1)+F(x_1, y_1).$$

Как и для случая дискретных двумерных СВ вводится понятие условного закона распределения, плотности которых можно найти так:

Если для всех значений $(x,y)$ выполняется равенство

то случайные величины $X, Y$ называются независимыми (их условные плотности распределения совпадают с безусловными). Для независимых случайных величин выполняется аналогичное равенство для функций распределений:

Для случайных величин $X,Y$, входящих в состав случайного вектора, можно вычислить ковариацию и коэффициент корреляции по формулам:

В этом разделе мы приведем примеры задач с полным решением, где используются непрерывные двумерные случайные величины (системы случайных величин).

Примеры решений

Задача 1. Дана плотность распределения вероятностей системы $$ f(x)= left< begin C, mbox < в треугольнике>O(0,0), A(4,0), B(4,1)\ 0, mbox < в остальных точках>\ end right. $$ Найти:
$C, rho_1(x), rho_2(y), m_x, m_y, D_x, D_y, cov(X,Y), r_, F(2,10), M[X|Y=1/2]$.

Задача 2. Дана плотность распределения $f(x,y)$ системы $X,Y$ двух непрерывных случайных величин в треугольнике АВС.
1.1. Найдите константу с.
1.2. Найдите $f_X(x), f_Y(y)$ — плотности распределения с.в. Х и с.в. Y.
Выясните, зависимы или нет с.в. Х и Y. Сформулируйте критерий независимости системы непрерывных случайных величин.
1.3. Найдите математическое ожидание и дисперсию с.в. Х и с.в. Y. Поясните смысл найденных характеристик.
1.4. Найдите коэффициент корреляции с.в. Х и Y. Являются ли случайные величины коррелированными? Сформулируйте свойства коэффициента корреляции.
1.5. Запишите уравнение регрессии с.в. Y на Х и постройте линию регрессии в треугольнике АВС.
1.6. Запишите уравнение линейной среднеквадратичной регрессии с.в. Y на Х и постройте эту прямую в треугольнике АВС. $$ f(x,y)=csqrt, quad A(0;0), B(-1;-1), C(-1;0) $$

Задача 3. Интегральная функция распределения случайного вектора (X,Y): $$ F(x)= left< begin 0, mbox < при >x le 0 mbox < или >yle 0\ (1-e^<-2x>)(1-e^<-3y>), mbox < при >x gt 0 mbox < и >ygt 0\ end right. $$ Найти центр рассеивания случайного вектора.

Задача 4. Плотность совместного распределения непрерывной двумерной случайной величины (Х, У) $$f(x,y)=C e^<-x^2-2xy-4y^2>$$ Найти:
а) постоянный множитель С;
б) плотности распределения составляющих;
в) условные плотности распределения составляющих.

Задача 5. Задана двумерная плотность вероятности системы двух случайных величин: $f(x,y)=1/2 sin(x+y)$ в квадрате $0 le x le pi/2$, $0 le y le pi/2$, вне квадрата $f(x,y)=0$. Найти функцию распределения системы (X,Y).

Задача 6. Определить плотность вероятности, математические ожидания и корреляционную матрицу системы случайных величин $(X,Y)$, заданных в интервалах $0 le x le pi/2$, $0 le y le pi/2$, если функция распределения системы $F(x,y)=sin x sin y$.

Задача 7. Плотность вероятности системы случайных величин равна $$f(x,y) = c(R-sqrt), quad x^2+y^2 lt R^2.$$ Определить:
А) постоянную $c$;
Б) вероятность попадания в круг радиуса $alt R$, если центры обоих кругов совпадают с началом координат.

Задача 8. Совместная плотность вероятности системы двух случайных величин X и Y $$f(x,y)=frac<36+9x^2+4y^2+x^2y^2>.$$ Найти величину $с$; определить законы распределения $F_1(x)$, $F_2(y)$, $f_1(x)$, $f_2(y)$, $f(x/y)$; построить графики $F_1(x)$, $F_2(y)$; вычислить моменты $m_x$, $m_y$, $D_x$, $D_y$, $K_$.

Решебник по теории вероятности онлайн

Больше 11000 решенных и оформленных задач по теории вероятности:

источники:

http://habr.com/ru/post/455762/

http://www.matburo.ru/ex_tv.php?p1=tv2mn

Понравилась статья? Поделить с друзьями:
  • Как найти свои ответы вконтакте
  • Как найти детерминант матрицы 3х3
  • Как исправить герцовку монитора
  • Найти телефон iphone как работает
  • Как в контакте найти понравившиеся записи айфон