親の仕送り問題 ＜マルコフ決定過程＞

問題設定  春から下宿生活をすることになった K 君。  ４月から親の仕送りを受ける。  収入・支出のデータをもとに、できるだ け親の負担の少ない仕送り計画を設定す る。

 収入例 ： 仕送り、バイト代、奨学金 etc  支出例 ： 生活費、家賃、授業料 etc  支出例 ： 生活費、家賃、授業料 etc  授業料の支払い以外を確率的に変動するも のとみなす。  学生ローン： 金利 １００ｒ L ％ / 週 上限 １０万円 c(x,y) : 学生ローンの金利負担分 c(x,y) : 学生ローンの金利負担分

 第ｔ月の月初めの預金残高（ X t ）に応 じて その月の仕送り額（ Y t ）を決定 し、 第１週末までに送ってもらう。 →X t 所与のもとで、 Y t の確率分布が示さ れる（マルコフ決定過程）。

授業料をふくめた家計負担の期待値（５． １２） Σ ［ E { Y t } / （１＋ｒ） 4t-3 Σ ［ E { Y t } / （１＋ｒ） 4t-3 + E { ｃ（ X t 、 Y t ） } / （１＋ｒ） 4t- 3 ］ + E { ｃ（ X t 、 Y t ） } / （１＋ｒ） 4t- 3 ］ ＋２００，０００ / （１＋ｒ） ＋ … ＋２００，０００ / （１＋ｒ） ＋ … ∞ t ＝１

線形計画問題 （５．１３） 最小化 最小化 Σ ［ E {Y t } / （１＋ｒ） 4t-3 Σ ［ E {Y t } / （１＋ｒ） 4t-3 ＋ E { ｃ（ X t 、 Y t ） } / （１＋ ｒ） 4t-3 ］ ＋ E { ｃ（ X t 、 Y t ） } / （１＋ ｒ） 4t-3 ］ 条件 条件 Y t ； X t 所与のもとである 確率分布 として与え られる Y t ； X t 所与のもとである 確率分布 として与え られる ∞ t＝1t＝1t＝1t＝1

 β ＝（１＋ｒ） -4  β ＝（１＋ｒ） -4  c ij = y j + c( x i, y j )  z ij = Σ(1+ r )³ ・ β ｔ ・ P { X t = x i, Y t = y j }  P ijk = P { X t+1 = x k | X t = x i, Y t = y j } 1 ij { X t,Y t } = 1, X t = x i, Y t = y j のとき 1 ij { X t,Y t } = 1, X t = x i, Y t = y j のとき 0, それ以外 0, それ以外 ∞ ｔ＝１

( 目的関数の変形 ) ( 目的関数の変形 ) = Σ Σ Σ （１＋ｒ） ³ ・ β t ・ c ij = Σ Σ Σ （１＋ｒ） ³ ・ β t ・ c ij ・ P { X t = x i,Y t = y j } ・ P { X t = x i,Y t = y j } = Σ Σ c ij ・ z ij (5.15) = Σ Σ c ij ・ z ij (5.15) t=1 ∞ i∈Ii∈Ii∈Ii∈I j ∈ Ji i∈Ii∈Ii∈Ii∈I j ∈ Jk

 Σz kj = Σ Σ(1+r) ³ ・ β t ・ P { X t = x k, Y t = y j } ＝ Σ Σ ・ β ・ P ijk ・ z ij + (1+r) ・ P{ X 1 = x k } よって Σz kj ー ΣΣβ ・ P ijk ・ z ij （５．１７） よって Σz kj ー ΣΣβ ・ P ijk ・ z ij （５．１７） = (1+r), x k = 0 のとき （ｋ  I ） = (1+r), x k = 0 のとき （ｋ  I ） 0 それ以外 0 それ以外 jJkjJkjJkjJk jJkjJkjJkjJk iIiIiIiI jJijJijJijJi iIiIiIiI jJijJijJijJi t=1 ∞ iIiIiIiI

線形計画問題（５．１８）  最小化 Σ Σ c ij ・ z ij  条件 Σ z kj ー Σ Σ β ・ P ijk ・ z ij = (1+r), x k = 0 のとき ( k  I) = (1+r), x k = 0 のとき ( k  I) 0 それ以外 0 それ以外 z ij  0, j  J i, I  I z ij  0, j  J i, I  I ⇒最適解｛ z ij *| j  J i, i  I ｝ ⇒最適解｛ z ij *| j  J i, i  I ｝ iIiIiIiI j  Ji j  Jk iIiIiIiI j  Ji

定理  実行可能基底解の中から最適解が選ばれ る  問題（５．１８）の最適解は、定常かつ純 粋な仕送り計画 Y t = F*(X t ) に対応。

 Y t = F*(X t ) のもとでの {X t ｜ｔ  １ } の ①推移確率 ①推移確率 P i ｋ * =P{X t+1 = ｘ k |X t =x i,Y t =F * (x i )} P i ｋ * =P{X t+1 = ｘ k |X t =x i,Y t =F * (x i )} ②状態確率 π i * (t)=P{X t = ｘ i } π i * (t)=P{X t = ｘ i } →π k * (t+I)=Σπ i * (t) ・ P ik * （５． ２０） →π k * (t+I)=Σπ i * (t) ・ P ik * （５． ２０） IiIIiI

 t→∞ π k * =Σπ i * ・ P ik *,k  I π k * =Σπ i * ・ P ik *,k  I Σπ i * =1 （５．２１） Σπ i * =1 （５．２１） iIiI

rLrLrLrL

 Y t = F*(X t ) のもとでの {Y t ｜ｔ  １ } の 状態確率 状態確率 ρ j * (t)=P{F * (X t )=y j }=P{X t  F *-1 (y j )} （５． １９） ρ j * (t)=P{F * (X t )=y j }=P{X t  F *-1 (y j )} （５． １９） 仕送り額の定常分布｛ ρ j * ｝は（５．２１） より ρ ｊ * =Σπ i * （５．２２） ρ ｊ * =Σπ i * （５．２２） ( A j * ={i  I|x i  F *-1 (y j ) ) ( A j * ={i  I|x i  F *-1 (y j ) ) iAj*iAj*

rLrLrLrL

問題の最適解 rLrLrLrL (x i, y j ) z ij 0.001(0,0) (-20,000, 10,000) (-30,000, 0) (-40,000, 20,000) (-50,000, 30,000) (-60,000, 40,000) (-70,000, 40,000) (-80,000, 40,000) (-90,000, 70,000)

(-100,000, 90,000) (30,000, 20,000) (0, 50,000) (-10,000, 60,000) (40,000, 20,000) (0, 60,000)