人类视觉经常受到复杂环境因素的不利影响，尤其是在夜视场景中。因此，通常利用红外摄像机通过检测周围环境中的红外辐射来帮助增强视觉效果，但由于缺乏详细的语义信息，红外视频是不可取的。在这种情况下，迫切需要一种有效的从红外域到可见光域的视频到视频转换方法，以克服红外域和可见光域之间固有的巨大差距。

为了解决这个具有挑战性的问题，我们提出了一种红外到可见光 (I2V) 视频转换方法 I2V-GAN，通过给定的未配对红外视频生成细粒度和时空一致的可见光视频。从技术上讲，我们的模型利用了三种类型的约束：1) 生成与真实帧相似的合成帧的对抗性约束。2) 与引入的感知损失的循环一致性，以实现有效的内容转换和风格保存。 3) 跨域和域内的相似性约束以增强内容和运动空间和时间空间的细粒度一致性。此外，目前公开可用的红外和可见光数据集主要用于物体检测或跟踪，有些由不适合视频任务的不连续图像组成。因此，我们为 I2V 视频翻译提供了一个新的数据集，名为 IRVI。具体来说，它有12个连续的车辆和监控场景视频片段，红外和可见光视频都可以分割成24352帧。综合实验验证，I2V-GAN 在翻译 I2V 视频方面优于对比的 SOTA 方法，具有更高的流畅度和更精细的语义细节。

本数据集将以“论文+git”的形式对外开放，详情请见下方链接：

论文地址：https://arxiv.org/abs/2108.00913

数据集地址：https://github.com/BIT-DA/I2V-GAN

研究者

这项研究的研究者是：

陈凯( kai.chen@raysense.com )

王水根( shuigen.wang@raysense.com )

版权声明

-----------版权声明始于此------------

版权所有 (c) 2021 山东省烟台睿创微纳技术股份有限公司，

保留所有权利。

特此授予未经任何书面许可，本许可没有许可费或许可使用费，您可以处于任何正当目的的使用、复制、修改和分发该数据库及其文档，但前提是必须遵守以下内容：它的全部内容都应存在该数据库的所有副本中，并且该数据库的原始来源是烟台睿创微纳技术股份有限公司，在任何使用该数据库报告研究成果的出版物中均得到明示。 烟台睿创微纳技术股份有限公司在任何情况下不对因使用该数据库及其文档而引起的直接、间接、特殊、偶发或继发的损害承担任何责任，即使您已经处于在睿创微纳技术股份有限公司进行过咨询使用的前提下。当您使用该数据库时，本公司将默认您已熟知此版权声明。

烟台睿创微纳技术股份有限公司不作任何保证，包括但不仅限于适销性和特定用途适用性的默示保证。这里提供的数据库是按“原样”提供的，睿创微纳公司没有义务进行强制维护、支持、更新、增强或修改。

-----------版权声明以该行结尾------------