Κατέβασμα παρουσίασης
Η παρουσίαση φορτώνεται. Παρακαλείστε να περιμένετε
ΔημοσίευσεΛυσιστράτη Μελετόπουλος Τροποποιήθηκε πριν 9 χρόνια
1
親の仕送り問題 <マルコフ決定過程>
2
問題設定 春から下宿生活をすることになった K 君。 4月から親の仕送りを受ける。 収入・支出のデータをもとに、できるだ け親の負担の少ない仕送り計画を設定す る。
3
収入例 : 仕送り、バイト代、奨学金 etc 支出例 : 生活費、家賃、授業料 etc 支出例 : 生活費、家賃、授業料 etc 授業料の支払い以外を確率的に変動するも のとみなす。 学生ローン: 金利 100r L % / 週 上限 10万円 c(x,y) : 学生ローンの金利負担分 c(x,y) : 学生ローンの金利負担分
4
第t月の月初めの預金残高( X t )に応 じて その月の仕送り額( Y t )を決定 し、 第1週末までに送ってもらう。 →X t 所与のもとで、 Y t の確率分布が示さ れる(マルコフ決定過程)。
5
授業料をふくめた家計負担の期待値(5. 12) Σ [ E { Y t } / (1+r) 4t-3 Σ [ E { Y t } / (1+r) 4t-3 + E { c( X t 、 Y t ) } / (1+r) 4t- 3 ] + E { c( X t 、 Y t ) } / (1+r) 4t- 3 ] +200,000 / (1+r) + … +200,000 / (1+r) + … ∞ t =1
6
線形計画問題 (5.13) 最小化 最小化 Σ [ E {Y t } / (1+r) 4t-3 Σ [ E {Y t } / (1+r) 4t-3 + E { c( X t 、 Y t ) } / (1+ r) 4t-3 ] + E { c( X t 、 Y t ) } / (1+ r) 4t-3 ] 条件 条件 Y t ; X t 所与のもとである 確率分布 として与え られる Y t ; X t 所与のもとである 確率分布 として与え られる ∞ t=1t=1t=1t=1
7
β =(1+r) -4 β =(1+r) -4 c ij = y j + c( x i, y j ) z ij = Σ(1+ r )³ ・ β t ・ P { X t = x i, Y t = y j } P ijk = P { X t+1 = x k | X t = x i, Y t = y j } 1 ij { X t,Y t } = 1, X t = x i, Y t = y j のとき 1 ij { X t,Y t } = 1, X t = x i, Y t = y j のとき 0, それ以外 0, それ以外 ∞ t=1
8
( 目的関数の変形 ) ( 目的関数の変形 ) = Σ Σ Σ (1+r) ³ ・ β t ・ c ij = Σ Σ Σ (1+r) ³ ・ β t ・ c ij ・ P { X t = x i,Y t = y j } ・ P { X t = x i,Y t = y j } = Σ Σ c ij ・ z ij (5.15) = Σ Σ c ij ・ z ij (5.15) t=1 ∞ i∈Ii∈Ii∈Ii∈I j ∈ Ji i∈Ii∈Ii∈Ii∈I j ∈ Jk
9
Σz kj = Σ Σ(1+r) ³ ・ β t ・ P { X t = x k, Y t = y j } = Σ Σ ・ β ・ P ijk ・ z ij + (1+r) ・ P{ X 1 = x k } よって Σz kj ー ΣΣβ ・ P ijk ・ z ij (5.17) よって Σz kj ー ΣΣβ ・ P ijk ・ z ij (5.17) = (1+r), x k = 0 のとき (k I ) = (1+r), x k = 0 のとき (k I ) 0 それ以外 0 それ以外 jJkjJkjJkjJk jJkjJkjJkjJk iIiIiIiI jJijJijJijJi iIiIiIiI jJijJijJijJi t=1 ∞ iIiIiIiI
10
線形計画問題(5.18) 最小化 Σ Σ c ij ・ z ij 条件 Σ z kj ー Σ Σ β ・ P ijk ・ z ij = (1+r), x k = 0 のとき ( k I) = (1+r), x k = 0 のとき ( k I) 0 それ以外 0 それ以外 z ij 0, j J i, I I z ij 0, j J i, I I ⇒最適解{ z ij *| j J i, i I } ⇒最適解{ z ij *| j J i, i I } iIiIiIiI j Ji j Jk iIiIiIiI j Ji
11
定理 実行可能基底解の中から最適解が選ばれ る 問題(5.18)の最適解は、定常かつ純 粋な仕送り計画 Y t = F*(X t ) に対応。
12
Y t = F*(X t ) のもとでの {X t |t 1 } の ①推移確率 ①推移確率 P i k * =P{X t+1 = x k |X t =x i,Y t =F * (x i )} P i k * =P{X t+1 = x k |X t =x i,Y t =F * (x i )} ②状態確率 π i * (t)=P{X t = x i } π i * (t)=P{X t = x i } →π k * (t+I)=Σπ i * (t) ・ P ik * (5. 20) →π k * (t+I)=Σπ i * (t) ・ P ik * (5. 20) IiIIiI
13
t→∞ π k * =Σπ i * ・ P ik *,k I π k * =Σπ i * ・ P ik *,k I Σπ i * =1 (5.21) Σπ i * =1 (5.21) iIiI
14
rLrLrLrL
15
Y t = F*(X t ) のもとでの {Y t |t 1 } の 状態確率 状態確率 ρ j * (t)=P{F * (X t )=y j }=P{X t F *-1 (y j )} (5. 19) ρ j * (t)=P{F * (X t )=y j }=P{X t F *-1 (y j )} (5. 19) 仕送り額の定常分布{ ρ j * }は(5.21) より ρ j * =Σπ i * (5.22) ρ j * =Σπ i * (5.22) ( A j * ={i I|x i F *-1 (y j ) ) ( A j * ={i I|x i F *-1 (y j ) ) iAj*iAj*
16
rLrLrLrL
17
問題の最適解 rLrLrLrL (x i, y j ) z ij 0.001(0,0) (-20,000, 10,000) (-30,000, 0) (-40,000, 20,000) (-50,000, 30,000) (-60,000, 40,000) (-70,000, 40,000) (-80,000, 40,000) (-90,000, 70,000) 0.9990.8295.329168.3965.30728.1161.06633.6791.061
18
(-100,000, 90,000) 5.591 0.01 (30,000, 20,000) (0, 50,000) (-10,000, 60,000) 207.8140.99941.562 0.1 (40,000, 20,000) (0, 60,000) 207.81442.561
Παρόμοιες παρουσιάσεις
© 2024 SlidePlayer.gr Inc.
All rights reserved.