本文提出了一种新的条件像素合成模型，并在物体计数这个下游任务中有关键优势

related works

我们提出了一种像素合成模型,它学习了一个有条件的2D空间坐标网格以及连续的时间维度,这对遥感应用很合适,因为同一位置可以由不同设备(如NAIP或Sentinel-2)在不同时间(如2016年或2018年)捕获。

problem set

输入:我们给定了同一位置的高分辨率(HR)和低分辨率(LR)两个时间序列。直观地说,我们希望利用HR图像中丰富的信息和LR图像的高时间频率,以获得两者的最佳效果

输出：某时刻t的HR

method

1. 图像特征映射器(Image Feature Mapper)

   首先对低分辨率图像进行最近邻重采样,得到拼接后的输入图像 I_cat(一层HR，一层LR，2C x H x W)

   使用邻域编码器 F_E 和全局编码器 F_A 提取图像特征,得到特征图 I_fea（C_fea x H x W）

2. 位置编码器(Positional Encoder)

   使用傅里叶特征和空间坐标嵌入,得到位置编码 E(x,y,t)

3. 像素合成器(Pixel Synthesizer)

   根据 I_fea、E(x,y,t) 和随机向量 z,独立地合成每个像素值

   具体来说,G_p 包含以下几个关键组件:

   1. 映射函数 g_z:
      • 它将位置编码 E(x,y,t) 映射到一个 C_fea 维的向量。
      • 这个映射函数帮助 G_p 学习如何利用位置信息来生成对应位置的像素值。
   2. 样式注入模块:
      • 首先使用一个多层感知机 M 将噪声向量 z 映射到一个样式向量 w。
      • 然后在 G_p 的多个全连接层中注入这个样式向量 w,以保持生成像素之间的样式一致性。
   3. 逐像素生成:
      • 对于每个坐标(x,y,t),G_p 根据 I_fea(x,y)、g_z(E(x,y,t)) 和 w 独立地生成对应的像素值。
      • 这种逐像素、条件独立的生成方式使得 G_p 可以并行高效地生成整张高分辨率图像。

   使用多层感知机和样式注入的方式生成最终的高分辨率图像

4. 对抗训练

   引入判别器 D 进行对抗训练,以提高生成图像的质量

//todo

试了一下用AutoDL做训练

我的流程大概是这样的：

如何使用自定义的数据集训练自己的control net：

abstract and introduction

control net：为大型预训练的文本到图像扩散模型（文中使用的是Stable Diffusion）添加空间条件控制（空间定位的输入条件）

Today, as I delved into a paper on dense shape matching and downloaded the dataset, I found myself interested in how these datasets pertaining to shape matching store correspondences between pairs of shapes. Namely, I am curious about how they preserve the ground truth of these correspondences. Then I chose SMAL dataset to conduct my research on this issue. It’s a dataset containing information on animals.

CLIP

input：文字和图片的成对输入（一个正样本）

todo

It has been 6 months since I visited Singapore for a summer school program at NTU. I must write something about that month there, which left a lasting impact on me. With that being said, I don’t want to delve too deeply into it and just show something I encountered.

In this part, I will write about the flight, living and studying aspects.

Tours, eating and other sections will be included in the next part.

got on board a southbound seven eighty-seven