Preserving Dynamic Attention for Long-Term Spatial-Temporal Prediction

Traffic 笔记

Journal(Venue) and Author

期刊会议及作者

KDD 2020 , Haoxing Lin, Rufan Bai

Summary

用自己语言对文章的概述，便于以后查阅。

1. 无用信息会带来误差，由于误差会在传播中累计，此模型使用了大量attention来挑选有用信息降低误差。主要是在全局输入和局部输入之间做attentio来捕捉远处信息
2. 模型是 CNN+LSTM+Attention，没有用到GNN。

Research Objective

作者的研究目标。

1. 空间信息中有很多无效信息会造成干扰：
   
   图中有效信息只有离得很近的（绿色的）或者远但比较独特的点才会对中间的点有较大影响；通常采用控制采样范围的方法，但是也会带来信息丢失的问题。

Problem Statement

问题陈述，需要解决的问题是什么？

还是把地图划分为特定大小的格子；都是输入历史上每个格子的特征序列（NYC-Bike是入流和出流），预测未来的特征序列；

Method(s)

作者解决问题的方法/算法是什么？是否基于前人的方法？

1. 核心结构DSAN,$X$和$X_{d}$分别是全域输入和某个点附近的输入
   
2. DAE，各自做self_attention后再做一次全域attention,这样就号称能同时捕捉远处区域的信息与附近的信息:
   
3. Multi-space attention(MSA)，就是普通的多头attention把输出的softmax改成拼接，目的是给后面的动态选择attention（SAD）用的。(我觉得有点扯)
   Attention 机制（参考）：
   
4. STEP空间时间位置编码 包含了 SPE与TPE，SPE用三角函数编码(NLP中常用)
   
   TPE时间编码，其中r包含了星期几，时间切片，天气信息
   
   最后，$STPE \in \mathbb{R}^{h \times N \times d}$由TPE与SPE广播得到

5. Dynamic Attention Encoder
   用于从golbal input 中提取对$v_{i}$有强烈影响的信息，%X_{D}%是

6. 提出包含DSAN（动态切换注意力）的结构来过滤输入和转播过程中的误差噪音

相关工作：
图结构的时空预测：
1. DCGRU
2. STGCN : 多重图卷积结构
3. GSTNET
4. LRGCN,RGCN
5. GMAN

Evaluation

作者如何评估自己的方法，实验的setup是什么样的，有没有问题或者可以借鉴的地方。

这文章里ST-ResNet的RMSE比9都高

但是在ST-ResNet的原文里只有6.33

附录C中说是用了对应作者的源代码，但是这个MRSE差的有点多。

Conclusion

作者给了哪些结论，哪些是strong conclusions, 哪些又是weak的conclusions?

Question

阅读过程遇到的问题和想法

1. 现在的工作都是把整个地图划分为多个格子（大多数直接划分，少数用主路划分），这个划分方法上有没有什么文章

2. 能不能把路网结构和现在的地图划分结合起来？ 路网上每个路口是可以与所在格子连接起来的：
   

3. 延续2，这样就有了类似应马尔可夫的概念，左侧低分辨率的是观测值，右侧高分辨率的是隐藏值，在图卷积中利用类似的信息。

4. 现在的卷积传播只是在格子的领域上传播的，传播没有权重(虽然有后天学习出来的attention)，如果强迫信息通过底层的路网轨道传播，则这样的传播时更加符合交通流的实际情况的(如空旷地区之间的流通性明显应该低于城市区域)；这篇文章只是用了attention来捕捉领域空间对当前位置的影响

Reference(optional)

列出相关性高的文献，以便之后可以继续track下去

STDN可能要看一下