深度模型的训练通常依赖于大量数据，因此实现夜间真彩到白天可见光之间非配对的跨域视频转换任务需要更大规模的数据集。然而，现有的红外相关数据集要么是针对其他特定研究领域，要么规模较小。为此，我们捕获红外和可见光视频来建立红外城市数据集InfraredCity，这是迄今为止最大的红外相关数据集，包含将近60万帧数据。此外，我们人工选择了InfraredCity部分内容进行精简，制作了InfraredCity-Lite用于实验研究。

论文链接：https://arxiv.org/abs/2204.12367

代码地址：https://github.com/BIT-DA/ROMA

InfraredCity:

InfraredCity包括夜间红外视频、夜间可见视频和白天可见视频。夜间红外线和夜间可见光视频是通过双目红外线彩色照相机(DTC 300设备)捕获的，它可以在硬件水平上对齐红外和可见光的视频。

夜间红外和夜间可见光视频：根据热相关成像原理，红外传感器可分为近红外摄像机和长波红外摄像机。与近红外摄像头相比，长波红外摄像头符合夜间识别和车辆驾驶场景的要求。因此，我们利用一种长波设备DTC300来捕捉红外视频。夜间可见光的视频也通过DTC300设备捕获。由于我们在硬件水平上对红外和可见光摄像机进行了对齐，因此夜间红外和夜间可见光视频在场景和长度上基本上是相同的。

为了适用于夜间的实际应用，我们拍摄交通和监控视频构建InfraredCity，交通视频包括城市和高速公路的场景。城市视频的内容越多样化，模型就越难收敛。因此，InfraredCity捕捉的场景集中在我们日常生活中驾驶时可以观察到的各种事物，如建筑物和汽车。另一方面，运动偏移也是视频相关数据集面临的挑战之一。因此，我们也捕捉了高速公路场景的快速移动变化情况。此外，由于红外传感器被广泛用于监测，我们也收集了监控视频内容作为数据集的一部分。这里没有固定角度，而是在各个方向上旋转相机，以实现多样性和运动位移。

白天可见的视频：为了获取高质量的白天可见光转换效果，我们选在晴朗天气时拍摄白天可见光视频。白天可见光的视频仍然包含了城市、高速公路和监控的场景。虽然白天可见视频中的所有场景都对应于夜间红外视频中的场景，但每个场景都有很大的差异。例如，在夜间道路上的车辆更少，利于卡车出行，所以卡车在晚上比在白天更常见。此外，夜间红外视频与日间可见光视频拍摄时间的不一致，也给数据集带来了巨大的挑战。

InfraredCity-Lite:

虽然InfraredCity具备多样性和大规模，但由于数据集包含大量相似帧且多场景混合，可能不适合实验研究。在这种情况下，我们选择了其中一部分数据制作了InfraredCity-Lite。

方案：为了满足大多数图像或视频翻译方法的输入要求，在InfraredCity-Lite上设计了三种方案分类：单帧、双帧和三帧。其中三者的比例控制在3：2：1左右。以三帧为例，我们从10个连续帧中选择3个连续帧，构成了InfraredCity-Lite中的监控部分。该策略减少了在我们的数据集上相似帧的重复，它在尺寸和结构上更适合作为研究的实验数据集。

结构：与InfraredCity上混合所有场景不同，InfraredCity-Lite中的场景被分为City、Highway和Monitor，它们对应于城市场景、公路场景和工厂监控场景。需要注意的时，城市和高速公路上的夜间红外视频是在晴天和阴天两种天气条件下拍摄的。晴天条件是红外传感器使用的理想天气，而阴天的条件可能会影响温度的对比度。因此，同时考虑晴天和阴天可以帮助InfraredCity-Lite更适用于实际场景。此外，由于监控场景的主要挑战是监控器的不同角度，所以我们向各个方向旋转监控器，并收集了名为Monitor的视频。

完整的数据集结构示意图如下所示：

研究者

这项研究的研究者是：

刘晴( qing.liu@raysense.com )

王水根( shuigen.wang@raysense.com )

版权声明

-----------版权声明始于此------------

版权所有 (c) 2021 山东省烟台睿创微纳技术股份有限公司，

保留所有权利。

特此授予未经任何书面许可，本许可没有许可费或许可使用费，您可以处于任何正当目的的使用、复制、修改和分发该数据库及其文档，但前提是必须遵守以下内容：它的全部内容都应存在该数据库的所有副本中，并且该数据库的原始来源是烟台睿创微纳技术股份有限公司，在任何使用该数据库报告研究成果的出版物中均得到明示。 烟台睿创微纳技术股份有限公司在任何情况下不对因使用该数据库及其文档而引起的直接、间接、特殊、偶发或继发的损害承担任何责任，即使您已经处于在睿创微纳技术股份有限公司进行过咨询使用的前提下。当您使用该数据库时，本公司将默认您已熟知此版权声明。

烟台睿创微纳技术股份有限公司不作任何保证，包括但不仅限于适销性和特定用途适用性的默示保证。这里提供的数据库是按“原样”提供的，睿创微纳公司没有义务进行强制维护、支持、更新、增强或修改。

-----------版权声明以该行结尾------------

下载

我们正在向大众免费提供红外城市数据集。如果您在研究中使用了此数据库，恳请您对我方公司做出的研究表示感谢：

烟台睿创微纳技术股份有限公司

数据库申请

-姓名为2-10位汉字或字母- -邮箱格式有误- -机构为4-30位汉字或字母- -手机号码输入不合法- -行业为4-30位汉字或字母- -岗位为2-20位汉字或字母-

  

您可以填写上方表单信息向我方提交使用此数据库的申请表(若机构为国内院校，请填写中国教育部公示的大学名称)，待审核通过后会将本数据库下载地址发送至您的邮箱。

若您在本数据集的下载、查看、使用等方面遇到各种问题，请联系本网站的维护人员:( 邮箱： chunlei.guan@raysense.com 、微信号：gcl1353 )