Форум Академгородка, Новосибирск > Нужна правильная цепь Маркова
Помощь - Поиск - Пользователи - Календарь
Полная версия этой страницы: Нужна правильная цепь Маркова
Форум Академгородка, Новосибирск > Образование > Задачник
Nox Metus
.
бледнотик
Я бы посоветовал начать с неплохой книжки Ван Кампена "Стохастические методы в физике и химии", там пара глав про свойства таких матриц. Если я правильно помню, то тут можно рассуждать примерно так:
Если N большое, то можно считать, что равновесие установилось. Следовательно вероятности переходов i->j можно уже посчитать в явном виде. Навскидку - выставленные вами требования на соотношения вероятностей переходов невыполнимы (полуинтуитивно, могу ошибаться)
Если лень думать - можно просто запрограммировать, вычисляя стохастически кол-во переходов при случайном векторе pi при фиксированном большом N, и посмотреть, реализуются ли похожие варианты.
бледнотик
Тогда еще один совет - включите переход i->i, математически дело принципиально упростится до тривиального в силу вырождения матрицы, а физически - ситуация осталась такая же, потом просто скорректируете счетчик переходов.
EVGен
Не строго: для выполнения 1 надо b = c, 2 и 3 не верно, 4 верно.
бледнотик
Цитата(Nox Metus @ 12.04.2012, 4:48) *
Или хотя бы более конретное, чем «почитай про цепи Маркова» указание где копать.

Цитата
Тогда еще один совет - включите переход i->i, математически дело принципиально упростится до тривиального в силу вырождения матрицы, а физически - ситуация осталась такая же, потом просто скорректируете счетчик переходов.

Если включить i->i, то w(i->j)= pi*pj. Очевидно, что выключение i->i обратно не нарушает принцип детального равновесия w(i->j)=wij=wji=ci*vij просто немного меняет населенности ci и эффективность перехода v(i->j)=vij.
1. Эффективность изменяется с vij=pj на vij=pj/(1-pi)
2. Населенность проще посчитать исходя из того, что wij=wji, а именно ci*vij=cj*vji => ci=(v1i/vi1)c1, где с1 находится из условия нормировки sum(ci)=1

Итого, ответ:
wij=vij*(v1i/vi1)c1, где vij=pj/(1-pi)

Надеюсь в индексах не напутал, ход решения изложен для самостоятельной проверки.
EVGен
Цитата(Nox Metus @ 12.04.2012, 4:48) *
Очевидно, нет. Например, возьмите a = 0, b и c — произвольные строго больше 0. Вы получите последовательность 9,4,9,4,9,4,9,4,9,4,... Следовательно, ваше утверждение не верно.

Если a = 0, то => b = c = 1. Отсюда вывод: нет контрпримера.

Цитата(Nox Metus @ 12.04.2012, 4:48) *
Цитата(EVGен @ 11.04.2012, 11:25) *
2 и 3 не верно, 4 верно.
Предыдущий пункт показывает, что вы гадаете. Я и сам гадаю, но пока, вроде, лучше. Интересна же строгая теория. Или хотя бы более конретное, чем «почитай про цепи Маркова» указание где копать.

Ваш пост показывает, что Вы гадаете. Моих знаний достаточно для того, чтобы делать такие оценки навскидку.
EVGен
Цитата(Nox Metus @ 12.04.2012, 20:40) *
Цитата(EVGен @ 12.04.2012, 6:47) *
Если a = 0, то => b = c = 1.
Ай-ай-ай. Подумайте ещё раз.


Цитата(EVGен @ 12.04.2012, 6:47) *
Ваш пост показывает, что Вы гадаете. Моих знаний достаточно для того, чтобы делать такие оценки навскидку.
Это хорошо, что вы убеждены в своих знаниях. Я пока нет grin.gif .

Мда.. Подумал про одно, написал про другое..
Если хотите доказать, то для начала надо найти мат ожидание количества 4-ок и мат ожидание количества 9-ок из N переходов.
McUrgd
Цитата(Nox Metus @ 10.04.2012, 7:07) *
В процессе работы возникла такая практическая задача. Есть объект, который может находится в состояниях 1,2,...,n. Мы генерируем случайным образом переходы из состояния в состояние. Генерация происходит так: на кажом шаге генерируется число от 1 до n с вероятностями p1, p2,...,pn.
...
Процесс описывается однородной цепью Маркова с матрицей переходов
Простите, а в чём зависимость от предыдущего состояния\состояний?

P.S.
Цитата
Вроде, сначала надо посчитать какова вероятность встретить переход i->j m раз с такой матрицей за N шагов. Но как?
Перебором вариантов. Для каждого i,j разбиваем N на 2m+1 слагаемых с перестановками. Пусть N=5, m=2, тогда 5=(1+1)+(2+1) + 0 задаёт два перехода i->j следующим образом:

Вероятность попасть в i на за один шаг * вероятность попасть из i->j * вероятность попасть из j в i за два шага * вероятность попасть из i -> j = вероятность дважды совершить переход из i->j, при условии, что эти переходы будут на 2 и 5-м шаге.
Потом по всем разбиениям суммируем, получаем нужную вероятность, по-моему.

Ещё вариант, то же самое, но более понятно:
берём N шагов
x1 -> x2 -> x3 -> x4 -> x5 -> x6
Перебираем все возможные расстановки переходов i ->j, например одна итерация
i -> j -> x3 -> i -> j -> x6
Перебираем все возможные x3, x6, например одна итерация
i -> j -> 1 -> i -> j ->1
Вычисляем вероятность такого перехода.

Выполнив оба цикла перебора, суммируем все получившиеся вероятности.
бледнотик
Цитата(Nox Metus @ 12.04.2012, 22:26) *
Цитата(бледнотик @ 11.04.2012, 21:07) *
Если включить i->i, то w(i->j)= pi*pj. Очевидно, что выключение i->i обратно не нарушает принцип детального равновесия w(i->j)=wij=wji=ci*vij просто немного меняет населенности ci и эффективность перехода v(i->j)=vij.
1. Эффективность изменяется с vij=pj на vij=pj/(1-pi)
2. Населенность проще посчитать исходя из того, что wij=wji, а именно ci*vij=cj*vji => ci=(v1i/vi1)c1, где с1 находится из условия нормировки sum(ci)=1

Итого, ответ:
wij=vij*(v1i/vi1)c1, где vij=pj/(1-pi)
Я не понимаю ваших обозначений. Что такое w и «эффективность перехода»?

wij - усредненная вероятность по ансамблю того, что следующий переход будет из состояния i в состояние j.
vij - усредненная вероятность по ансамблю того, что следующий переход будет в состояние j, если известно, что система находилась в состоянии i (vii=wii=0 по условию)
McUrgd
Цитата(Nox Metus @ 12.04.2012, 23:32) *
Цитата(McUrgd @ 12.04.2012, 9:17) *
Простите, а в чём зависимость от предыдущего состояния\состояний?
В том, что следующее состояние не может быть таким же, как предыдущее. В начале ветки приведена матрица перехода.
Тогда писать следует более строго, не
Цитата
Генерация происходит так: на кажом шаге генерируется число от 1 до n с вероятностями p1, p2,...,pn.

А "Генерация происходит так: если мы имеем состояние i, по мы переходим в состояние j с вероятностью p^i_j , где p^i_i=0". Возможно, вы это и имели ввиду, просто, согласитесь, это не одно и то же.

P.S. Исправил предыдущий свой пост.

P.P.S. А ещё индукция рулит =)
Предположим, что мы имеем формулы для вероятности за n меньше некоторой константы шагов получить k переходов i -> j. Обозначим эти вероятности, как P (n ,k,i ,j )
Тогда мы можем вычислить для n+1 вероятности P(n+1, k1 , i, j) для k1 по формуле

P (n+1 , k1 , i ,j) = Сумма по всем разбиениям (n+1=n1+n2) [ сумма по всем разбиениям (k1 = k11 + k12) { P(n1 ,k11 ,i, j) * P (n2 ,k12 ,i, j) } ]

P.P.P.S Впрочем, в формуле выше, возможно, потребуется задавать ещё стыковые значения, не уверен =/
McUrgd
Ещё вопрос
Цитата
1) все переходы случились бы приблизительно равное количество раз, кроме, например, перехода из состояния 9 в состояние 4
2) переход из состояния 9 в состояние 4 случился бы в k раз чаще.

В первом условии вам нужна сходимость к "равности количества раз" при N -> \infty ? Если да, то ничего не получится, потому в пределе должна получится цепь Маркова, соответственно, у неё будет таблица
0 , p12 , ... , p1n
p21 , 0 , ... , p2n
. . .
. . .
. . .
pn1, ... , 0

где pij = 1 / (n-1) , p94 = k /(n-1), но такая матрица не будет матрицей вероятностей.
McUrgd
Попробуйте b=1/16, c=1/2, a=5/(16*8).
бледнотик
Цитата(Nox Metus @ 13.04.2012, 11:13) *
Чтобы выполнялось условие эргодичности, нужно чтобы индексы принимали неравное значение, т.е. в i != j и k != l.

После этого всё просто. Нужно решить систему уравнений



— это искомые частоты переходов.

upd1. Небольшой вопрос - получается ли у вас, что wij/wik=pj/pk= wji/wki ?

upd2. Получается ли, что wij=pi*pj/G, где G = 1- sum(pi*pi, i) при условии sum(pi,i)=1
бледнотик
Цитата(Nox Metus @ 13.04.2012, 12:18) *
Цитата(бледнотик @ 12.04.2012, 23:02) *
Небольшой вопрос - получается ли у вас, что wij/wik=pi/pk ?
Из эмпирических экспериментов даже близко ничего подобного нет. Почему должна отсутствовать зависимость от j?

Ошибку в индексах поправил в предыдущем посте
бледнотик
Цитата(Nox Metus @ 13.04.2012, 12:38) *
Цитата(бледнотик @ 12.04.2012, 23:19) *
Ошибку в индексах поправил в предыдущем посте
Из экспериментов как-то приблизительно так получается. Является ли приблизительность стохастической не могу сказать точно.

Я довел свой предыдущий ответ до удобоваримой формы
wij=pi*pj/G, где G = 1- sum(pi*pi, i) при условии sum(pi,i)=1

EVGен
Цитата(Nox Metus @ 12.04.2012, 22:11) *
Цитата(EVGен @ 12.04.2012, 8:28) *
Мда.. Подумал про одно, написал про другое..
Важно то, что при a=0, b может быть равно 0<x<1, а c=1-x. На соотношение переходов 4->9 и 9->4 это не влияет, они равны.

На соотношение переходов конечно это никак не влияет, так как достаточно бросить взор на матрицу переходных вероятностей. Видно, что сообщающихся состояний всего два: 4 и 9, а остальные состояния - недостижимые. Вероятность перехода из состояния 4 в 9 = 1, аналогичная вероятность перехода из 9 в 4. Ровно об этом я и подумал, когда писал b = c = 1..

Цитата(Nox Metus @ 12.04.2012, 22:11) *
Я же даже программку, которая эмпирический эксперимент делает, пред ваши очи представил с результатом.

Давайте забудем про эмпирические результаты, веть вам нужна чистая теория..

Цитата(Nox Metus @ 12.04.2012, 22:11) *
Цитата(EVGен @ 12.04.2012, 8:28) *
Если хотите доказать, то для начала надо найти мат ожидание количества 4-ок и мат ожидание количества 9-ок из N переходов.
Оно очевидно разное. Из этого никак не следует, что частота переходов из 4->9 и 9->4 разная idontnow.gif.

Хорошо, что для Вас это очевидно, но не забывайте про то, что вероятности переходов из 4 в 9 и из 9 в 4 тоже разные..

Цитата(Nox Metus @ 12.04.2012, 22:11) *
Количество 9: 400, количество 4: 206. Количество 4->9: 151, количество 9->4: 147. Чему и как помогло вам матожидание idontnow.gif?

Если Вам нужен теоретический результат, то эмпирическое мат ожидание не подойдет, тем более 1-ой выборки сильно мало. Зачем это нужно? Всего лишь для того, что оно либо докажет ваши предположения, либо опровергнет.
EVGен
Цитата(Nox Metus @ 13.04.2012, 22:38) *
Цитата(EVGен @ 13.04.2012, 8:07) *
Хорошо, что для Вас это очевидно, но не забывайте про то, что вероятности переходов из 4 в 9 и из 9 в 4 тоже разные..
Вероятности переходов мне не интересны. Мне интересны частоты переходов. Вы о чём вообще idontnow.gif?

Давай начнем с того, что доказывать здесь надо при помощи ТВ. Количество переходов из 4 в 9 - это некая случайная величина. "Переходы 4->9 и 9->4 будут встречаться с одинаковой частотой" - можно перефразировать как: мат ожидание случайной величины "кси" (количество переходов из 4 в 9) = мат ожиданию случайной величины "эта" (количество переходов из 9 в 4). Остается найти необходимые мат ожидания. Искать сам их не собираюсь, так как много писать надо, а времени свободного не имею. Могу посодействовать в анализе, но не в писанине..

Цитата(Nox Metus @ 13.04.2012, 22:38) *
Цитата(EVGен @ 13.04.2012, 8:07) *
Если Вам нужен теоретический результат, то эмпирическое мат ожидание не подойдет
Обана, да вы мне просто глаза открыли!!! А я-то и не знал cbs_madlaugh.gif. Бросьте менторский тон. Иначе я буду черезвычайно для вас противен.

Вы пишете: Количество 9: 400, количество 4: 206. Количество 4->9: 151, количество 9->4: 147. Чему и как помогло вам матожидание idontnow.gif? Это можно понять так: "Я Вам привел мат ожидание, чем оно помогло?". Именно на это я Вам и ответил..
McUrgd
Цитата(Nox Metus @ 13.04.2012, 12:09) *
Переход из состояния ij->kl будем описывать тензором . Очевидно, что

где — матрица переходов исходного объекта.
В формуле зависимости от i нет, получается? Интересно.
P.S. Подумал, понял =) что по определению.
EVGен
Цитата(Nox Metus @ 14.04.2012, 6:20) *
2 EVGен
Частоты переходов получаются симметричными (частота i->j равна частоте j->i), и этот результат является строгим, чтобы вам там не казалось с вашими достаточными «знаниями». Извиняться за пургу и потерянное на вас время будете smile.gif?

Специально, Nox Metus, для Вас посчитал:
5 состояний: 1, 2, 3, 4, 5
5 вероятностей: 0.1, 0.3, 0.1, 0.4, 0.1
5 переходов
Мат ожидания переходов 2->4 и 4->2 отличаются. О какой симметричности может идти речь?
McUrgd
Цитата(EVGен @ 14.04.2012, 16:25) *
Специально, Nox Metus, для Вас посчитал:
5 состояний: 1, 2, 3, 4, 5
5 вероятностей: 0.1, 0.3, 0.1, 0.4, 0.1
5 переходов
Мат ожидания переходов 2->4 и 4->2 отличаются. О какой симметричности может идти речь?
А как вы считаете матожидание? Эксперименты показывают, что таки количество переходов почти совпадает. И кстати, вы учли, что величины зависимые?
EVGен
Цитата(McUrgd @ 14.04.2012, 16:23) *
А как вы считаете матожидание? Эксперименты показывают, что таки количество переходов почти совпадает. И кстати, вы учли, что величины зависимые?

Как считают мат ожидания дискретных случайных величин, по определению. Для расчета написал программу, которая генерирует все возможные 5-ти шаговые цепочки состояний. Да, забыл сказать, что за 0-ое состояние я принял состояние 1. Далее для каждой цепочки высчитываем количество переходов 2->4, количество переходов 4->2 и, собственно, вероятность самой цепочки. Теперь находим мат ожидания:
Ep2->4 = 0.69166
Ep4->2 = 0.70522
Возможно не самый удачный пример, но по нему видно, что симметричности нет. Или не так?
бледнотик
Цитата(EVGен @ 14.04.2012, 18:04) *
Как считают мат ожидания дискретных случайных величин, по определению. Для расчета написал программу, которая генерирует все возможные 5-ти шаговые цепочки состояний. Да, забыл сказать, что за 0-ое состояние я принял состояние 1. Далее для каждой цепочки высчитываем количество переходов 2->4, количество переходов 4->2 и, собственно, вероятность самой цепочки. Теперь находим мат ожидания:
Ep2->4 = 0.69166
Ep4->2 = 0.70522
Возможно не самый удачный пример, но по нему видно, что симметричности нет. Или не так?

Дело в том, что в строгом смысле ее никогда и не будет, если вы всегда стартуете из 0, в силу того, что на установление равновесной населенностей уровней требуется время (большое число шагов). Если увеличивать длину цепочек с 5 до бесконечности, то Ep2->4 будет сходиться к Ep4->2. Скорость сходимости оценить в целом трудно, возможны нюансы.
Видно, что 5 переходов уже вполне неплохо описываются равновесными параметрами, но ситуация ухудшится, если у вас среди pi будут маленькие числа много меньшие остальных pi, это в целом будет замедлять установление равновесия.
EVGен
Цитата(бледнотик @ 14.04.2012, 21:15) *
Цитата(EVGен @ 14.04.2012, 18:04) *
Как считают мат ожидания дискретных случайных величин, по определению. Для расчета написал программу, которая генерирует все возможные 5-ти шаговые цепочки состояний. Да, забыл сказать, что за 0-ое состояние я принял состояние 1. Далее для каждой цепочки высчитываем количество переходов 2->4, количество переходов 4->2 и, собственно, вероятность самой цепочки. Теперь находим мат ожидания:
Ep2->4 = 0.69166
Ep4->2 = 0.70522
Возможно не самый удачный пример, но по нему видно, что симметричности нет. Или не так?

Дело в том, что в строгом смысле ее никогда и не будет, если вы всегда стартуете из 0, в силу того, что на установление равновесной населенностей уровней требуется время (большое число шагов). Если увеличивать длину цепочек с 5 до бесконечности, то Ep2->4 будет сходиться к Ep4->2. Скорость сходимости оценить в целом трудно, возможны нюансы.
Видно, что 5 переходов уже вполне неплохо описываются равновесными параметрами, но ситуация ухудшится, если у вас среди pi будут маленькие числа много меньшие остальных pi, это в целом будет замедлять установление равновесия.

Так, а где доказательство факта "Если увеличивать длину цепочек с 5 до бесконечности, то Ep2->4 будет сходиться к Ep4->2" или это известный факт? Если известный, то дайте ссылку на литературу. А если доказательства этого факта нет, то как раз при больших N и будут хорошо проявляться расхождения. Ведь так?
бледнотик
Цитата(EVGен @ 15.04.2012, 2:46) *
Так, а где доказательство факта "Если увеличивать длину цепочек с 5 до бесконечности, то Ep2->4 будет сходиться к Ep4->2" или это известный факт? Если известный, то дайте ссылку на литературу. А если доказательства этого факта нет, то как раз при больших N и будут хорошо проявляться расхождения. Ведь так?

Это следует из теоремы Перрона и Фробениуса.
Либо из главы 5.3 книги Ван Кампен "Стохастические методы в физике и химии"
Для просмотра полной версии этой страницы, пожалуйста, пройдите по ссылке.
Русская версия IP.Board © 2001-2024 IPS, Inc.