Notes

기본적으로 SVDF Layer의 계산은 Time step t마다, DNN의 각 node 마다, rank-1 SVDF Layer를 통과시켜서, a_t의 output을 내는 것이다.

Feature (F(=feature dim(LMFB 40dim))) 의 context window(T=(r+1+l)를 포함하는 연속적인 input vector를 준비한다. 그리고 N nodes의 SVDF Layer에 대해 NxT 1-D convolutions of the feature filter (β) 를 수행하고, (input feature frames에 대해, N filter들 각각을 sliding), size T의 Time filter (α) 를 이용하여 N node 개의 output vectors 각각을 filtering 한다.

구체적으로, 각 노드들 m 마다, 인풋인 X_t 이 feature filter (β (m)) 를 통과하고, 결과 scalar 값은, 미리 계산된 이전 T-1 만큼의 inference steps 의 값들과 concatenation된다. 그 후, 이전 state 들의 정보를 활용하기 위해 time filter (α (m)) 가 적용된다.

다음은 정리해둔 PPT파일이다.

https://docs.google.com/presentation/d/1k4vDh-q-dM_QMd8sivK_15KOXxllusByKWOVW12A4Q8/edit#slide=id.p