Η παρουσίαση φορτώνεται. Παρακαλείστε να περιμένετε

Η παρουσίαση φορτώνεται. Παρακαλείστε να περιμένετε

親の仕送り問題 <マルコフ決定過程>. 問題設定  春から下宿生活をすることになった K 君。  4月から親の仕送りを受ける。  収入・支出のデータをもとに、できるだ け親の負担の少ない仕送り計画を設定す る。

Παρόμοιες παρουσιάσεις


Παρουσίαση με θέμα: "親の仕送り問題 <マルコフ決定過程>. 問題設定  春から下宿生活をすることになった K 君。  4月から親の仕送りを受ける。  収入・支出のデータをもとに、できるだ け親の負担の少ない仕送り計画を設定す る。"— Μεταγράφημα παρουσίασης:

1 親の仕送り問題 <マルコフ決定過程>

2 問題設定  春から下宿生活をすることになった K 君。  4月から親の仕送りを受ける。  収入・支出のデータをもとに、できるだ け親の負担の少ない仕送り計画を設定す る。

3  収入例 : 仕送り、バイト代、奨学金 etc  支出例 : 生活費、家賃、授業料 etc  支出例 : 生活費、家賃、授業料 etc  授業料の支払い以外を確率的に変動するも のとみなす。  学生ローン: 金利 100r L % / 週 上限 10万円 c(x,y) : 学生ローンの金利負担分 c(x,y) : 学生ローンの金利負担分

4  第t月の月初めの預金残高( X t )に応 じて その月の仕送り額( Y t )を決定 し、 第1週末までに送ってもらう。 →X t 所与のもとで、 Y t の確率分布が示さ れる(マルコフ決定過程)。

5 授業料をふくめた家計負担の期待値(5. 12) Σ [ E { Y t } / (1+r) 4t-3 Σ [ E { Y t } / (1+r) 4t-3 + E { c( X t 、 Y t ) } / (1+r) 4t- 3 ] + E { c( X t 、 Y t ) } / (1+r) 4t- 3 ] +200,000 / (1+r) + … +200,000 / (1+r) + … ∞ t =1

6 線形計画問題 (5.13) 最小化 最小化 Σ [ E {Y t } / (1+r) 4t-3 Σ [ E {Y t } / (1+r) 4t-3 + E { c( X t 、 Y t ) } / (1+ r) 4t-3 ] + E { c( X t 、 Y t ) } / (1+ r) 4t-3 ] 条件 条件 Y t ; X t 所与のもとである 確率分布 として与え られる Y t ; X t 所与のもとである 確率分布 として与え られる ∞ t=1t=1t=1t=1

7  β =(1+r) -4  β =(1+r) -4  c ij = y j + c( x i, y j )  z ij = Σ(1+ r )³ ・ β t ・ P { X t = x i, Y t = y j }  P ijk = P { X t+1 = x k | X t = x i, Y t = y j } 1 ij { X t,Y t } = 1, X t = x i, Y t = y j のとき 1 ij { X t,Y t } = 1, X t = x i, Y t = y j のとき 0, それ以外 0, それ以外 ∞ t=1

8 ( 目的関数の変形 ) ( 目的関数の変形 ) = Σ Σ Σ (1+r) ³ ・ β t ・ c ij = Σ Σ Σ (1+r) ³ ・ β t ・ c ij ・ P { X t = x i,Y t = y j } ・ P { X t = x i,Y t = y j } = Σ Σ c ij ・ z ij (5.15) = Σ Σ c ij ・ z ij (5.15) t=1 ∞ i∈Ii∈Ii∈Ii∈I j ∈ Ji i∈Ii∈Ii∈Ii∈I j ∈ Jk

9  Σz kj = Σ Σ(1+r) ³ ・ β t ・ P { X t = x k, Y t = y j } = Σ Σ ・ β ・ P ijk ・ z ij + (1+r) ・ P{ X 1 = x k } よって Σz kj ー ΣΣβ ・ P ijk ・ z ij (5.17) よって Σz kj ー ΣΣβ ・ P ijk ・ z ij (5.17) = (1+r), x k = 0 のとき (k  I ) = (1+r), x k = 0 のとき (k  I ) 0 それ以外 0 それ以外 jJkjJkjJkjJk jJkjJkjJkjJk iIiIiIiI jJijJijJijJi iIiIiIiI jJijJijJijJi t=1 ∞ iIiIiIiI

10 線形計画問題(5.18)  最小化 Σ Σ c ij ・ z ij  条件 Σ z kj ー Σ Σ β ・ P ijk ・ z ij = (1+r), x k = 0 のとき ( k  I) = (1+r), x k = 0 のとき ( k  I) 0 それ以外 0 それ以外 z ij  0, j  J i, I  I z ij  0, j  J i, I  I ⇒最適解{ z ij *| j  J i, i  I } ⇒最適解{ z ij *| j  J i, i  I } iIiIiIiI j  Ji j  Jk iIiIiIiI j  Ji

11 定理  実行可能基底解の中から最適解が選ばれ る  問題(5.18)の最適解は、定常かつ純 粋な仕送り計画 Y t = F*(X t ) に対応。

12  Y t = F*(X t ) のもとでの {X t |t  1 } の ①推移確率 ①推移確率 P i k * =P{X t+1 = x k |X t =x i,Y t =F * (x i )} P i k * =P{X t+1 = x k |X t =x i,Y t =F * (x i )} ②状態確率 π i * (t)=P{X t = x i } π i * (t)=P{X t = x i } →π k * (t+I)=Σπ i * (t) ・ P ik * (5. 20) →π k * (t+I)=Σπ i * (t) ・ P ik * (5. 20) IiIIiI

13  t→∞ π k * =Σπ i * ・ P ik *,k  I π k * =Σπ i * ・ P ik *,k  I Σπ i * =1 (5.21) Σπ i * =1 (5.21) iIiI

14 rLrLrLrL

15  Y t = F*(X t ) のもとでの {Y t |t  1 } の 状態確率 状態確率 ρ j * (t)=P{F * (X t )=y j }=P{X t  F *-1 (y j )} (5. 19) ρ j * (t)=P{F * (X t )=y j }=P{X t  F *-1 (y j )} (5. 19) 仕送り額の定常分布{ ρ j * }は(5.21) より ρ j * =Σπ i * (5.22) ρ j * =Σπ i * (5.22) ( A j * ={i  I|x i  F *-1 (y j ) ) ( A j * ={i  I|x i  F *-1 (y j ) ) iAj*iAj*

16 rLrLrLrL

17 問題の最適解 rLrLrLrL (x i, y j ) z ij 0.001(0,0) (-20,000, 10,000) (-30,000, 0) (-40,000, 20,000) (-50,000, 30,000) (-60,000, 40,000) (-70,000, 40,000) (-80,000, 40,000) (-90,000, 70,000) 0.9990.8295.329168.3965.30728.1161.06633.6791.061

18 (-100,000, 90,000) 5.591 0.01 (30,000, 20,000) (0, 50,000) (-10,000, 60,000) 207.8140.99941.562 0.1 (40,000, 20,000) (0, 60,000) 207.81442.561


Κατέβασμα ppt "親の仕送り問題 <マルコフ決定過程>. 問題設定  春から下宿生活をすることになった K 君。  4月から親の仕送りを受ける。  収入・支出のデータをもとに、できるだ け親の負担の少ない仕送り計画を設定す る。"

Παρόμοιες παρουσιάσεις


Διαφημίσεις Google