跳到主要内容
版本:2024.05

Appendix Ⅲ: model compression verification

model compress 方案,将sijs_{ij}取值范围分成LL等份,则共有l+1l+1个插值点,分别记为x1,x2,,xl+1x_1,x_2,\cdots,x_{l+1}。对于每个[xl,xl+1)[x_l,x_{l+1})区间,采用如下的五阶多项式替代 embedding network: gml(x)=amlx5+bmlx4+cmlx3+dmlx2+emlx+fmlg^l_m(x)=a^l_mx^5+b^l_mx^4+c^l_mx^3+d^l_mx^2+e^l_mx+f^l_m 注意:此时多项式的自变量xx值应为sijxls_{ij}-x_l。在每个网格点上,都需要满足如下三个边界条件:

函数值一致

yl=Gm(xl)y_l=\mathcal{G}_m(x_l)

函数一阶导数一致

yl=Gm(xl)y'_l=\mathcal{G}'_m(x_l)

函数二阶导数一致

yl=Gm(xl)y''_l=\mathcal{G}''_m(x_l)

由此可得六个系数值分别为

aml=12Δt5[12h6(yl+1+yl)Δt+(yl+1yl)Δt2]a^l_m=\frac{1}{2\Delta t^5}[12h-6(y'_{l+1}+y'_l)\Delta t+(y''_{l+1}-y''_l)\Delta t^2]

bml=12Δt4[30h+(14yl+1+16yl)Δt+(2yl+1+3yl)Δt2]b^l_m=\frac{1}{2\Delta t^4}[-30h+(14y'_{l+1}+16y'_l)\Delta t+(-2y''_{l+1}+3y''_l)\Delta t^2]

cml=12Δt3[20h(8yl+1+12yl)Δt+(yl+13yl)Δt2]c^l_m=\frac{1}{2\Delta t^3}[20h-(8y'_{l+1}+12y'_l)\Delta t+(y''_{l+1}-3y''_l)\Delta t^2]

dml=12yld^l_m=\frac{1}{2}y''_l

eml=yle^l_m=y'_l

fml=ylf^l_m=y_l

其中 h=yl+1ylh=y_{l+1}-y_lΔt=xl+1xl\Delta t=x_{l+1}-x_l

验证

需满足的条件是当sij=xl,xl+1s_{ij}=x_l,\,x_{l+1}时,函数值、一阶导数、二阶导数值均与 embedding network 的值相等,此时对应的xx值分别为0,Δt0,\,\Delta t。五阶多项式函数值为

gml(x)=x52Δt5[12h6(yl+1+yl)Δt+(yl+1yl)Δt2]+x42Δt4[30h+(14yl+1+16yl)Δt+(2yl+1+3yl)Δt2]+x32Δt3[20h(8yl+1+12yl)Δt+(yl+13yl)Δt2]+12ylx2+ylx+yl\begin{aligned} g^l_m(x) &= \frac{x^5}{2\Delta t^5}[12h-6(y'_{l+1}+y'_l)\Delta t+(y''_{l+1}-y''_l)\Delta t^2]\\ &+\frac{x^4}{2\Delta t^4}[-30h+(14y'_{l+1}+16y'_l)\Delta t+(-2y''_{l+1}+3y''_l)\Delta t^2]\\ &+\frac{x^3}{2\Delta t^3}[20h-(8y'_{l+1}+12y'_l)\Delta t+(y''_{l+1}-3y''_l)\Delta t^2]\\ &+\frac{1}{2}y''_lx^2+y'_lx+y_l \end{aligned}

一阶导数为

gml(x)=x42Δt55[12h6(yl+1+yl)Δt+(yl+1yl)Δt2]+x32Δt44[30h+(14yl+1+16yl)Δt+(2yl+1+3yl)Δt2]+x22Δt33[20h(8yl+1+12yl)Δt+(yl+13yl)Δt2]+ylx+yl\begin{aligned} g^l_m(x) &=\frac{x^4}{2\Delta t^5}5[12h-6(y'_{l+1}+y'_l)\Delta t+(y''_{l+1}-y''_l)\Delta t^2]\\ &+\frac{x^3}{2\Delta t^4}4[-30h+(14y'_{l+1}+16y'_l)\Delta t+(-2y''_{l+1}+3y''_l)\Delta t^2]\\ &+\frac{x^2}{2\Delta t^3}3[20h-(8y'_{l+1}+12y'_l)\Delta t+(y''_{l+1}-3y''_l)\Delta t^2]\\ &+y''_lx+y'_l \end{aligned}

二阶导数为

gml(x)=x32Δt520[12h6(yl+1+yl)Δt+(yl+1yl)Δt2]+x22Δt412[30h+(14yl+1+16yl)Δt+(2yl+1+3yl)Δt2]+x2Δt36[20h(8yl+1+12yl)Δt+(yl+13yl)Δt2]+yl\begin{aligned} g^l_m(x)&=\frac{x^3}{2\Delta t^5}20[12h-6(y'_{l+1}+y'_l)\Delta t+(y''_{l+1}-y''_l)\Delta t^2]\\ &+\frac{x^2}{2\Delta t^4}12[-30h+(14y'_{l+1}+16y'_l)\Delta t+(-2y''_{l+1}+3y''_l)\Delta t^2]\\ &+\frac{x}{2\Delta t^3}6[20h-(8y'_{l+1}+12y'_l)\Delta t+(y''_{l+1}-3y''_l)\Delta t^2]\\+y''_l \end{aligned}

x=0x=0 时,显然满足需求;下面验证当 x=Δtx=\Delta t 时的结果,函数值为

gml(Δt)=12[12h6(yl+1+yl)Δt+(yl+1yl)Δt2]+12[30h+(14yl+1+16yl)Δt+(2yl+1+3yl)Δt2]+12[20h(8yl+1+12yl)Δt+(yl+13yl)Δt2]+12ylΔt2+ylΔt+yl=hylΔt12ylΔt2+12ylΔt2+ylΔt+yl=yl+1\begin{aligned} g^l_m(\Delta t&)=\frac{1}{2}[12h-6(y'_{l+1}+y'_l)\Delta t+(y''_{l+1}-y''_l)\Delta t^2]\\ &+\frac{1}{2}[-30h+(14y'_{l+1}+16y'_l)\Delta t+(-2y''_{l+1}+3y''_l)\Delta t^2]\\ &+\frac{1}{2}[20h-(8y'_{l+1}+12y'_l)\Delta t+(y''_{l+1}-3y''_l)\Delta t^2]\\ &+\frac{1}{2}y''_l\Delta t^2+y'_l\Delta t+y_l\\ &=h-y'_l\Delta t-\frac{1}{2}y''_l\Delta t^2+\frac{1}{2}y''_l\Delta t^2+y'_l\Delta t+y_l\\ &=y_{l+1} \end{aligned}

一阶导数值为

gml(Δt)=52Δt[12h6(yl+1+yl)Δt+(yl+1yl)Δt2]+42Δt[30h+(14yl+1+16yl)Δt+(2yl+1+3yl)Δt2]+32Δt[20h(8yl+1+12yl)Δt+(yl+13yl)Δt2]+ylΔt+yl=yl+1ylylΔt+ylΔt+yl=yl+1\begin{aligned} g^l_m(\Delta t)&=\frac{5}{2\Delta t}[12h-6(y'_{l+1}+y'_l)\Delta t+(y''_{l+1}-y''_l)\Delta t^2]\\ &+\frac{4}{2\Delta t}[-30h+(14y'_{l+1}+16y'_l)\Delta t+(-2y''_{l+1}+3y''_l)\Delta t^2]\\ &+\frac{3}{2\Delta t}[20h-(8y'_{l+1}+12y'_l)\Delta t+(y''_{l+1}-3y''_l)\Delta t^2]\\ &+y''_l\Delta t+y'_l\\ &=y'_{l+1}-y'_l-y''_l\Delta t+y''_l\Delta t+y'_l\\ &=y'_{l+1} \end{aligned}

二阶导数值为

gml(Δt)=202Δt2[12h6(yl+1+yl)Δt+(yl+1yl)Δt2]+122Δt2[30h+(14yl+1+16yl)Δt+(2yl+1+3yl)Δt2]+62Δt2[20h(8yl+1+12yl)Δt+(yl+13yl)Δt2]+yl=yl+1yl+yl=yl+1\begin{aligned} g^l_m(\Delta t)&=\frac{20}{2\Delta t^2}[12h-6(y'_{l+1}+y'_l)\Delta t+(y''_{l+1}-y''_l)\Delta t^2]\\ &+\frac{12}{2\Delta t^2}[-30h+(14y'_{l+1}+16y'_l)\Delta t+(-2y''_{l+1}+3y''_l)\Delta t^2]\\ &+\frac{6}{2\Delta t^2}[20h-(8y'_{l+1}+12y'_l)\Delta t+(y''_{l+1}-3y''_l)\Delta t^2]\\ &+y''_l\\ &=y''_{l+1}-y''_l+y''_l\\ &=y''_{l+1} \end{aligned}