全息交通流数据集介绍

1.研究背景

      从1937年交通工程师利用人工计数方式进行断面数据获取以来，交通系统理论的发展总是受到交通测量数据获取能力的约束与推动，这是由交通科学的实验科学本质所决定的。随着以移动互联、泛在感知与计算、人工智能等为代表的新一轮信息技术发展的日新月异，交通科学理论迎来了代际变革的新机遇，已经成为了交通工程学界与业界的普遍共识，而变革的核心在于：人们对于交通系统测量能力已经由上一代的抽样、集计型测量，提升为全量全时全域、个体标签型测量。新的交通科学数据集是新的交通理论发展的关键，为了推动新型个体标签型感知环境下的交通科学新理论的研究工作，中山大学智能交通团队提出了全息交通流数据的概念，并探索如何通过时空稀疏的个体车辆标签检测信息，重构出（世界上首个）城市级的全息交通流数据集，相关论文已于2023年1月在Nature杂志子刊Scientific Data发表。该论文组织、重构并以隐私安全的方式开放了一个城市规模的全部机动车辆一个月的连续轨迹。该数据集得益于宣城公安智慧警务赋能技术研发联合实验室相关研究工作的支持，在对电警卡口过车检测数据进行对齐、汇聚的基础上，重构了日均8万辆车30万车次的出行。在保证车辆在交叉口的通过时刻准，且不引入行驶路径估计偏差的前提下，该研究重现了城市规模交通流的连续演变。该数据集将能够支撑数据融合、出行模式发现、检测器最优布局等多个研究方向。
 

     基于交通流运动的重构结果，本研究采用重采样的方式提供全市连续30天的交通数据开放共享，包括预采样数据集与地图交互式采集平台两种方式。预采样数据包括市内所有路段连续30天内的流量与平均车速数据（统计间隔5分钟），500辆运营车辆的浮动车轨迹数据（采样间隔10秒）。除此以外，使用者还可以利用免费开放的虚拟交通流检测平台，在城市级路网上任意设置检测装置与采样条件，获得个人定制化检测结果。
 

图1. 期刊论文封面
论文链接：https://www.nature.com/articles/s41597-022-01850-0。

2.全息数据的含义与生成方法

     全息图技术使用连续介质来记录物体的光学信息，并通过重构光路的方式在三维空间种重现物体的光场。受此启发，本研究将全息交通流数据定义为全域范围内所有车辆的连续轨迹，包括全量的个体信息，完整的空间信息，完备的行为信息。这样的数据将为交通研究提供新的视角，促进新理论的提出和新规律的发现，并能够支撑现实世界的交通控制、路径规划和决策过程研究。因此，获取全息交通流数据的方法及开放数据均具有重要的意义。

     为了获得全息交通流数据，团队首次提出完备观测的概念并构建完备观测网络，在此基础上进行了出行轨迹重构，得到了车辆连续地出行轨迹，最后团队提出了虚拟测量的概念并提供了多模式（线圈、浮动车等）交互式测量平台来方便对数据进行定制化获取。
 

图2. 车辆个体状态空间示意图

     （1）完备观测：车辆个体在不同的观测尺度下呈现的行为各有差异。对于指定区域范围内的中长期观察，车辆除了在途行驶，还存在着驻停与非在网（驶离观测区域）共三种状态，如上图所示。本研究提出的全息记录，尤其注重个体状态记录的连贯性——因为失去连贯性将会导致车辆在观察区域中凭空消失或出现。因此，本研究中的出行网络对象除了传统的道路以外，还包括道路分割得到的封闭区域，即图2中的绿色区域，在本研究中称为虚拟小区。此时，车辆在给定的观测空间内的状态变化，可以被连贯地描述为“出行-驻停”的循环。

     （2）全息重构：图3展示的本文提出的全息交通流构建可分为三个部分：出行测量、轨迹重构和虚拟交通流检测。在出行检测阶段，本研究通过完备出行网络的建模，将离散的出行时空序列，划分为以“出行-驻留”模式循环的观察连续、起终点闭合的路径级出行数据，数据由（起点小区、终点小区、路径、交叉口通过时刻）四元组构成。经过完备出行网络上的出行检测，我们可以获得车辆连续、准确的路段位置信息，即任意时刻车辆所在路段（或小区）的记录。在此基础上，还需要通过交通流运动重构生成连续的运动轨迹。本研究利用交通波理论，以“行驶-排队”循环的方式描述车辆在城市道路上的运动，并通过轨迹回溯的方法，结合速密函数等交通流模型完成连续轨迹的插值。

图3. 全息交通流构建方法

     由于采用直接观测来得到的轨迹数据具有其局限性，因此基于重构的方法对于全息交通流至关重要。考虑到成本、误差等因素，高空视频识别以及浮动车轨迹均不能满足重构需求。浮动车数据时空覆盖范围广泛，多用于大规模范围的交通状态估计与预测，但是由于浮动车检测并不是对全部车辆进行检测，其采样率较低，并且会随时间变化。因此，尽管浮动车数据在对宏观交通状态的重构上表现良好，由浮动车数据扩样得到的微观交通流运动普遍存在失真问题。相对的，所有的车辆在通过特定检测位置时，其号牌信息与经过时刻均能被车辆号牌自动检测设备（AVI）自动捕捉，从而形成出行的离散时空序列。随着交通摄像头数量的增加，AVI检测器几乎在中国城市的每个交叉口都有部署。例如目前宣城的卡口覆盖率达到了97%（图4）。这样全面的带有身份信息的交通出行数据，可以生成细节丰富的交通流微观运动。本研究正是基于离散的AVI观测序列完成了全息轨迹的重构。
 

 
图4. 宣城市道路网络与电子卡口布设

     （3）交互式虚拟测量：在数据的共享方面，本研究在Scientific Data上提供传统的宏观交通流数据静态下载服务。除此以外，为了发挥全息数据的优势，考虑到研究者在测量位置的需求差异，本研究还提供了全时空域内的交互式自由测量与下载服务。与传统数据集共享相比，交互式测量支持在任意位置进行虚拟检测器布设，检测器的检测参数（如漏检率等）支持定制化设置，可以为研究者提供多样化的数据支持。目前测量平台免费对所有的交通研究者开放，支持欧拉和拉格朗日两种视角下的交通流检测模拟，如通过设置虚拟线圈探测器检测交通流量与车速，以及模拟浮动车的实时位置检测。详见后文“数据的开放使用”。

3. 数据的有效性
 

    为了验证数据集的可靠性与可用性，本文从交通流和出行两个角度进行了大量实验。从交通流的角度，全息交通流数据首先揭示了城市早高峰的主干道流量分布呈放射状。接着本文统计了基于全息交通流数据和人工计数的所得的宣城主干道断面流量。通过相关性的计算发现二者具有较高的一致性（相关系数达到0.75）。除断面流量外，本文还对比重构数据与高德地图等发布的路段旅行时间。实验表明，无论是工作日还是高峰时段，全息交通流数据均与高德地图、百度地图数据具有显著相关性（相关系数为0.75）。另外，全息交通流还反应了交通流运行的日夜特征，如夜间车速较低，这与先验一致。上述实验表明全息交通流数据具有可靠性。从出行的角度，本文重点关注了出行需求的时空分布及出行规律的呈现。通过对个体出行时间的统计和分析，能够明确地区分除具有不同出行模式的人群，如“家—工作地”，“家-工作地-家-工作地”。另外通过对车辆出行具体的统计分析发现，城市中20%的车辆进行了80%的出行具体，通过了洛伦兹定律验证。因此从出行角度，全息交通流数据也是合理可用的。

 
 
图5. 全息交通流数据有效性展示

4. 数据的开放使用
 

     通过本文开放的城市级全息交通流数据集可在数据开放平台figshare开放获取（链接见文末）。同时为了方便数据的定制化获取，团队已联合天河二号超算中心完成了基于该全息数据的虚拟测量平台Vsensor (http://vsensor.openits.cn/)的开发与部署。天河二号共有170个机柜，每个机柜容纳64块主板，共计16,000个计算节点，312万个计算核心，12.4PiB的存储，主要为中国大陆、港澳地区，及国际上的其它科学研究机构合作并提供高性能运算服务，合计为120多家用户提供超过300项运算项目。本研究依托天河二号完成了数据场景进行可视化，并提供了虚拟线圈、浮动车等检测方式，支持使用者进行局部路网和时间片段的定制化数据采集。
 

图6. Vsensor虚拟测量平台界面展示

5. 总结

     在交通研究对数据产生大量需求而高质量数据不易获取的背景下，本文提出了一种全息交通流数据的构建方法，并开放了宣城市大时间跨度的城市级全息交通流数据集。在方法层面，本文创造性地提出了完备观测网络等概念，将交通网络进行数字化描述，并在此基础上提出了全息重构理论。另一方面，本文开放的全息交通流数据集具有全量、高分辨率等特点，并在交通流和出行特征上均表现合理可用，能够满足当今交通前沿研究对与高质量数据需求，从而推动交通领域的发展。

- 静态数据集：

    figshare 链接 https://doi.org/10.6084/m9.figshare.c.5796776.v1 （若以上链接访问不畅，可直接登录下载本站的数据镜像。）

- 交互式采集平台：

    VSensor平台 http://vsensor.openits.cn/ （免费注册使用）

- 论文引用: 

    Wang, Y., Chen, Y., Li, G. et al. City-scale holographic traffic flow data based on vehicular trajectory resampling. Sci Data 10, 57 (2023). https://doi.org/10.1038/s41597-022-01850-0

数据集：

•    xc_resample_dataset_mirror_figshare.zip