Local Implicit Image Function [Kor]

Chen et al. / Learning Continuous Image Representation with Local Implicit Image Function / CVPR 2021

English version of this article is available.

šŸ“‘ 1. Problem Definition

Image as a Function

Image Representation에 ėŒ€ķ•œ źø°ģ“ˆėŠ” ģ“ėÆøģ§€ė„¼ ķ•Øģˆ˜ė”œ ė‚˜ķƒ€ė‚“ėŠ”ė°ģ„œ ģ‹œģž‘ķ•©ė‹ˆė‹¤. ķ•Øģˆ˜ėŠ” ģž…ė „ģ„ ė„£ģœ¼ė©“ 묓언가 ź°’ģ„ ė°˜ķ™˜ķ•“ģ£¼ėŠ” 거죠. XX에 ė”°ė¼ģ„œ YYģ˜ ź°’ģ“ ė°”ė€ŒėŠ”ė°, Figure 1ģ˜ ė‹¤ķ•­ķ•Øģˆ˜, ģ§€ģˆ˜ķ•Øģˆ˜, ģ‚¼ź°ķ•Øģˆ˜ģ²˜ėŸ¼ ģ‰¬ģšø ģˆ˜ė„ ģžˆź³ , ģ•„ė‹ˆė©“ Figure 2 처럼 묓지 ė³µģž”ķ•  ģˆ˜ė„ ģžˆģŠµė‹ˆė‹¤.

Figure 1
Figure 2

ė‹Øģˆœķ•œ ķ˜•ķƒœģ˜ ķ•Øģˆ˜ėŠ” ķ•Øģˆ˜ģ‹ģ„ ģœ ģ¶”ķ•˜źø° ģ‰½ģŠµė‹ˆė‹¤.

ģ“ėÆøģ§€ģ²˜ėŸ¼ 각 픽섹 ģœ„ģ¹˜ģ— ėŒ€ķ•“ģ„œ RGBź°’ģ“ ė‹¤ģ–‘ķ•œ 경우, ģœ„ģ¹˜ź°€ ģ£¼ģ–“ģ”Œģ„ ė•Œ, R,G,B넼 ė§µķ•‘ķ•˜ėŠ” ķ•Øģˆ˜ė„¼ ģ°¾ėŠ” ź²ƒģ€ ģ–“ė ¤ģŠµė‹ˆė‹¤.

Image -> Function : ģ“ėÆøģ§€ėŠ” 픽셀 (x,y)(x,y) ģ¢Œķ‘œģ— ėŒ€ķ•“ģ„œ RGB ź°’ģ„ ė°˜ķ™˜ķ•˜ėŠ” ķ•Øģˆ˜ė”œ ģƒź°ķ•  수 ģžˆģŠµė‹ˆė‹¤. Figure 2 처럼 ģ“ėÆøģ§€ ķ•Øģˆ˜ėŠ” ķ•œėˆˆģ— ė“ė„ źµ‰ģž„ķžˆ ė³µģž”ķ•˜ź³ , 여기에 ė§žėŠ” ė‹¤ķ•­ķ•Øģˆ˜ė‚˜ Sine,CosiseSine, Cosise ķ•Øģˆ˜ė„¼ ģ°¾ėŠ” ź²ƒģ€ ė¶ˆź°€ėŠ„ģ— ź°€ź¹ģŠµė‹ˆė‹¤. ź·øėŸ¬ėÆ€ė”œ ģ“ėÆøģ§€ģ˜ ź°’ģ„ ėŒ€ģ‘ģ‹œķ‚¤ėŠ” ķ•Øģˆ˜ė„¼ ģ°¾ėŠ” ź²ƒģ€ ź²°ģ½” ģ‰¬ģš“ 게 ģ•„ė‹ˆź³ , ģ“ė„¼ ģøź³µģ‹ ź²½ė§ģœ¼ė”œ ķ•™ģŠµķ•˜ė ¤ėŠ” ģ‹œė„ź°€ ģžˆģ—ˆģŠµė‹ˆė‹¤. ģ“ 분야넼 Neural Implicit Represenation (NIR) ģ“ė¼ź³  ķ•©ė‹ˆė‹¤.

Why we need NIR??

źµ³ģ“ ģ“ėÆøģ§€ė„¼ ķ•Øģˆ˜ė”œ ķ•™ģŠµģ‹œķ‚¤ėŠ” ėŖ©ģ ģ€ ė‹¤ģŒź³¼ ź°™ģ“ 2가지가 ģžˆģŠµė‹ˆė‹¤.

  1. Neural Networkģ˜ ķŒŒė¼ėÆøķ„° ģˆ˜ź°€ ģ“ėÆøģ§€ ė°ģ“ķ„° ģ‚¬ģ“ģ¦ˆė³“ė‹¤ ģž‘ė‹¤ė©“ ė°ģ“ķ„° ģ••ģ¶•ķšØź³¼ź°€ ģžˆģŠµė‹ˆė‹¤.

  2. ģ“ėÆøģ§€ėŠ” 기본적으딜 Discrete (Pixel 1, Pixel 2, ...) ģøė°, ģ—°ģ†ģ ģø ķ•Øģˆ˜ė”œ ė‚˜ķƒ€ėƒ„ģœ¼ė”œģØ 픽셀 ģ‚¬ģ“ģ˜ ģœ„ģ¹˜ģ— ėŒ€ķ•œ RGB넼 ģ•Œ 수 ģžˆģŠµė‹ˆė‹¤. (⭐)

ķ¬ģŠ¤ķŒ…ģ—ģ„œ ģ†Œź°œķ•˜ėŠ” ė…¼ė¬øė„ CVPR 2021에 출판된 NIR ꓀련 ė…¼ė¬øģœ¼ė”œ (⭐) 두 번째 목적 (Continuous Representation)ģ„ ė‹¤ė¤˜ģŠµė‹ˆė‹¤.ė³ø ķ¬ģŠ¤ķŒ…ģ€ ė…¼ė¬øģ˜ 두 가지 contributionģ„ ģ„¤ėŖ…ķ•©ė‹ˆė‹¤.

  • Discrete Image넼 Continuous ķ•œ ģ“ėÆøģ§€ ķ‘œķ˜„ģœ¼ė”œ ķ•™ģŠµģ‹œķ‚¤ėŠ” 방법

  • Continuous Representationģ„ 통핓 ė” ė†’ģ€ Resolutionģ„ ė§Œė“œėŠ” 방법

šŸ“‘ 2. Local Implicit Image Function (LIIF)

Definition

픽셀 xx 에 ėŒ€ķ•“ģ„œ RGB ź°’ģ„ ģœ ģ¶”ķ•˜ėŠ” ķ•Øģˆ˜ėŠ” s=fĪø(x)s = f_\theta (x) 딜 ė‚˜ķƒ€ė‚¼ 수 ģžˆģŠµė‹ˆė‹¤. ėŖØėøģ€ 픽셀 ģœ„ģ¹˜ 정볓넼 기반으딜 RGBź°’(ķ˜¹ģ€ Grey scale)ģ„ ģœ ģ¶”ķ•©ė‹ˆė‹¤. ģ œģ•ˆķ•œ ėŖØėøģø Local Implicit Image Function(LIIF) ėŠ” Latent Code넼 ģ“ģš©ķ•˜ģ—¬ Image 에 ėŒ€ķ•œ 정볓 M∈RHƗWƗDM \in \mathbb{R}^{H\times W \times D} ź°€ ģžˆģ„ ė•Œ, ģ“ė„¼ Continuous image II 딜 ķ•™ģŠµģ‹œķ‚¤ėŠ” ź²ƒģ„ 목적으딜 ķ•©ė‹ˆė‹¤. ģœ„ģ¹˜ 정볓 xx 뿐만 ģ•„ė‹ˆė¼, Latent Codeģ—ė„ ģ˜ģ”“ģ‹œķ‚Ø LIIFģ˜ ėŖØėøģ€ ė‹¤ģŒź³¼ ź°™ģŠµė‹ˆė‹¤.

s=fĪø(z,x)s = f_\theta (z,x)

Latent Code for continuous position

Latent CodeėŠ” [0,H]Ɨ[0,W][0,H]\times [0,W] ģ“ėÆøģ§€ź°€ ģžˆģ„ ė•Œ, 각 ķ”½ģ…€ė§ˆė‹¤ Latent Codeź°€ ģžˆģŠµė‹ˆė‹¤. ė”°ė¼ģ„œ 전첓 HƗWH \times W ź°œģ˜ Latent Codeź°€ ģžˆģŠµė‹ˆė‹¤. ģ“ė¦„ģ“ Latent Codeģø ģ“ģœ ėŠ”, HƗWH\times W ź°€ Low Resolution ģ“ėÆøģ§€ģ— ėŒ€ķ•œ ķ¬źø°ģ“źø° ė•Œė¬øģ—, ģ›ėž˜ ģ“ėÆøģ§€ė³“ė‹¤ 픽셀 ģˆ˜ź°€ 적기 ė•Œė¬øģž…ė‹ˆė‹¤. ģ“ė”œė¶€ķ„° ģ›ķ•˜ėŠ” continuous ģœ„ģ¹˜ xx ź°€ ģžˆģ„ ė•Œ, ź°€ź¹Œģš“ Latent code넼 ģ„ ķƒķ•“ģ£¼ė©“ ė©ė‹ˆė‹¤. Figure 4ģ—ģ„œėŠ” xx ģœ„ģ¹˜ģ— ėŒ€ķ•“ģ„œ 1ź°œź°€ ģ•„ė‹Œ 4 ź°œģ˜ Latent Code넼 ģ„ ķƒķ•˜ģ˜€ėŠ”ė°, ģ“ė„¼ ė…¼ė¬øģ—ģ„œėŠ” Local ensembleģ“ė¼ź³  ė¶€ė¦…ė‹ˆė‹¤. ģ“ė„¼ ģ‚¬ģš©ķ•˜ėŠ” ģ“ģœ ėŠ” 4.3 ģ—ģ„œ ė‹¤ė£Øź² ģŠµė‹ˆė‹¤.

Figure 3
Figure 4

전첓 4x4 Pixelģ“ ģžˆģ„ ė•Œ, Latent CodeėŠ” 4x4 ź°œź°€ 각 ģœ„ģ¹˜ė³„ė”œ 고넓게 ė¶„ķ¬ė˜ģ–“ ģžˆģŠµė‹ˆė‹¤.

continuous ķ•œ ģœ„ģ¹˜ xx 에 ėŒ€ķ•“ģ„œ zāˆ—z^* ėŠ” xx ģ—ģ„œ ź°€ź¹Œģš“ 4ź°œģ˜ Latent Code딜 ģ •ķ•“ģ§‘ė‹ˆė‹¤.

🧐 Latent code값에 ėŒ€ķ•œ ėŖ‡ 가지 ģ˜ė¬øģ ģ„ ģ§‘ź³  ė„˜ģ–“ź°€ź² ģŠµė‹ˆė‹¤.

Q1. Latent Codeź°’(ķ˜¹ģ€ ģ“ˆźø°ź°’)ģ€ ė¬“ģ—‡ģøź°€?

A1. Pretrained Encoder(EDSR ķ˜¹ģ€ RDN)딜 ģ“ėÆøģ§€ė„¼ ģøģ½”ė”© 후 ģ–»ģ€ Feature Vector

Q2. ģ—¬ėŸ¬ ģ“ėÆøģ§€ź°€ ģžˆģ„ ė•Œ, Latent CodeėŠ” ź³µģœ ė˜ėŠ”ź°€?

A2. (No) Pretrained Modelė”œė¶€ķ„° ģ“ėÆøģ§€ė„¼ ģøģ½”ė”©ķ•˜źø° ė•Œė¬øģ— ģ“ėÆøģ§€ė§ˆė‹¤ Latent Codeź°€ ģƒźø“ė‹¤.

Q3. LIIF Training ģ‹œ Latent CodeėŠ” ė³€ķ•˜ėŠ”ź°€?

A3. (Yes), Freezing ķ•˜ģ§€ ģ•ŠėŠ”ė‹¤.

Continuous Representation using Latent Code

ģ“ėÆøģ§€ģ— ėŒ€ķ•œ Latent Codeź°€ ź³ ģ •ė˜ģ–“ ģžˆģœ¼ėÆ€ė”œ ģ“ė„¼ 기반으딜 Continuous Imageģ˜ xx ģ¢Œķ‘œģ— ėŒ€ķ•œ RGB ź°’ģ€ Latent Codeģ˜ ģœ„ģ¹˜ vāˆ—v* 와 xxģ˜ ģ°Øģ“ė„¼ ģž…ė „ģœ¼ė”œ ė„£ģ–“ģ„œ ź³„ģ‚°ė©ė‹ˆė‹¤. Latent code와 ģƒėŒ€ģœ„ģ¹˜ė„¼ ė„£ėŠ” continous representationģ€ ė‹¤ģŒź³¼ ź°™ģŠµė‹ˆė‹¤.

I(x)=āˆ‘t∈{00,01,10,11}StSā‹…fĪø(ztāˆ—,xāˆ’vtāˆ—)I(x) = \sum_{t \in \{ 00, 01,10,11 \}} \frac{S_t}{S} \cdot f_\theta (z_t^*, x - v_t^*)

ģž…ė „ģœ¼ė”œ Latent Codeģ™€ģ˜ 거리 ģ°Øģ“ź°€ 주얓지기 ė•Œė¬øģ—, continuous ķ•œ 거리 ģ°Øģ“ė„¼ ģž…ė „ģœ¼ė”œ ė„£ź²Œ ėœė‹¤ė©“, ģ“ėÆøģ§€ģ— ėŒ€ķ•œ continuous representation ģ„ ģ–»ź²Œ ė©ė‹ˆė‹¤. Figure 5 ģ—ģ„œ ė‚˜ķƒ€ė‚˜ė“Æģ“, ģ—°ģ†ģ ģø xxė“¤ģ„ ė‹¤ģ–‘ķ•˜ź²Œ ģ„ ķƒķ•  수 ģžˆź³ , continousķ•œ ģƒėŒ€ģœ„ģ¹˜ xāˆ’vtāˆ—x - v_t^* ź°’ģ“ ź³„ģ‚°ė©ė‹ˆė‹¤.

Figure 5

šŸ“‘ 3. Pipeline

ģœ„ģ—ģ„œ Latent Code와 LIIF ķ•Øģˆ˜ģ˜ ģ˜ėÆøė„¼ ģ‚“ķŽ“ė“¤ģŠµė‹ˆė‹¤. 주얓진 ė°ģ“ķ„°ģ— ėŒ€ķ•“ģ„œ 핓당 ėŖØėøģ„ ķ•™ģŠµģ‹œķ‚¤źø° ģœ„ķ•“ģ„œ ģ €ģžėŠ” Self-Supervised Learning ė°©ė²•ģ„ ģ œģ•ˆķ•˜ģ˜€ģŠµė‹ˆė‹¤. ė°ģ“ķ„°ģ™€ ķ•™ģŠµ 방법에 ėŒ€ķ•“ģ„œ ģ•Œģ•„ė³“ź² ģŠµė‹ˆė‹¤.

  1. āœ”ļø Data Preparation 단계

  2. āœ”ļø Training 단계

Data Preparation

Data Preparationģ—ģ„œėŠ” Down-sampling된 ģ“ėÆøģ§€(ģ“ėÆøģ§€ģ˜ 픽셀 수 ź°ģ†Œ)와 ģ˜ˆģø”ķ•  pixel ģœ„ģ¹˜ xhrx_{hr} 와 RGB ź°’ shrs_{hr} ģ„ ģ¤€ė¹„ķ•©ė‹ˆė‹¤. Figure 6 에 ė‚˜ķƒ€ė‚˜ģžˆė“Æģ“, 주얓진 ģ“ėÆøģ§€ė„¼ Down-samplingķ•˜ģ—¬ 크기넼 ģ¤„ģ“ź³  ģ“ ģ •ė³“ė”œė¶€ķ„° ģ‚¬ģ“ģ¦ˆź°€ 큰 ģ›ėž˜ ģ“ėÆøģ§€ģ˜ 픽셀에 ėŒ€ķ•œ RGB넼 ģ˜ˆģø”ķ•©ė‹ˆė‹¤. 즉, Higer resolutionģ„ ķƒ€ź²ŸķŒ…ķ•˜ģ—¬ ķ•™ģŠµķ•˜ź³ ģž ķ•©ė‹ˆė‹¤. 픽셀에 ėŒ€ķ•œ ė‚“ģš©ģ€ ė°‘ģ—ģ„œ 씰금 ė” ģžģ„øķžˆ ģ„¤ėŖ…ķ•˜ź² ģŠµė‹ˆė‹¤.

Figure 6

Training

ķ•™ģŠµķ•  ė•ŒėŠ” Down-sampling된 ģ“ėÆøģ§€(48Ɨ4848\times48)넼 pretrained encoder에 ė„£ģ–“ģ„œ feature vector넼 ė½‘ģ•„ģ¤ė‹ˆė‹¤. ģ“ ź°’ģ“ Latent Code ģ—­ķ• ģ„ ķ•˜ė©°, pretrained encoderėŠ” ģ“ėÆøģ§€ģ˜ ģ‚¬ģ“ģ¦ˆė„¼ ź·øėŒ€ė”œ ģœ ģ§€ķ•“ģ¤ė‹ˆė‹¤. Figure 7 처럼 Data Preparation ė‹Øź³„ģ—ģ„œ ģ–»ģ€ xhrx_{hr} ź³¼ Latent Codeė“¤ģ„ LIIF model에 ė„£ģ–“ģ¤Œģœ¼ė”œģØ, ģ›ķ•˜ėŠ” RGBź°’ shrs_{hr}ģ„ ģ˜ˆģø”ķ•©ė‹ˆė‹¤. ģ“ķ›„ ģ‹¤ģ œ ź°’ź³¼ L1L1 Loss딜 계산핓주멓 ķ•™ģŠµģ“ ė©ė‹ˆė‹¤.

Figure 7

🧐 inputģ˜ ķ¬źø°ėŠ” 48x48 ģøė°, 224x224 넼 ģ–»ėŠ” ė°©ė²•ģ€ ė¬“ģ—‡ģ¼ź¹Œ?

šŸ“‘ 4. Additional Engineering

LIIF 방법에 ģ¶”ź°€ģ ģø ė°©ė²•ė“¤ģ„ ķ†µķ•“ģ„œ ģ„±ėŠ„ģ„ 올릓 수 ģžˆģŠµė‹ˆė‹¤. ģ—¬źø°ģ„œėŠ” ģ“ 3ź°œģ˜ ė°©ė²•ģ“ ģ œģ•ˆė˜ė©°, 셋다 ģ‚¬ģš©ķ–ˆģ„ ė•Œ, ź°€ģž„ ģ¢‹ģ€ ģ„±ėŠ„ģ„ ė³“ģž…ė‹ˆė‹¤.

  1. āœ”ļø Featuer Unfolding : Latent Code넼 주변 3x3 Latent Code 와 Concatenation

  2. āœ”ļø Local Ensemble : continuous position xx에 ėŒ€ķ•“ģ„œ 4ź°œģ˜ Latetn Code ģ„ ķƒ

  3. āœ”ļø Cell Decoding : RGB넼 Predictionķ•  ė•Œ, ģ›ķ•˜ėŠ” cell size 추가.

Feature Unfolding

Encoderė”œė¶€ķ„° ė‚˜ģ˜Ø Feature (Latent Code)에 ėŒ€ķ•“ģ„œ, 주변 3x3에 ėŒ€ķ•œ concatenationģ„ ķ•Øģœ¼ė”œģØ, ģœ„ģ¹˜ģ— ėŒ€ķ•œ ķ‘œķ˜„ė „ģ„ ė†’ģž…ė‹ˆė‹¤. ģ“ 경우, inputģ˜ dimesion에 ėŒ€ķ•œ sizeėŠ” 9ė°° ģ¦ź°€ķ•˜ź²Œ ė©ė‹ˆė‹¤.

M^jk=Concat({Mj+l,k+m}l,m∈{āˆ’1,0,1})\hat{M}_{jk} = Concat(\{ M_{j+l, k+m} \}_{l,m \in \{-1,0,1\}})

Local Ensemble

거리 기반으딜 Latent Code넼 ģ„ ķƒķ•˜ėŠ”ė° ķ•œ 가지 ė¬øģ œģ ģ“ ģžˆģŠµė‹ˆė‹¤. 거리 기반으딜 ģ„ ķƒķ•˜ź²Œ ėœė‹¤ė©“ Figure 8 처럼 ė‹¤ģŒ Latent Code딜 ė„˜ģ–“ź°€ź²Œ ė˜ėŠ” ģ‹œģ ģ—ģ„œ 두 xx ģ‚¬ģ“ģ˜ 거리가 źµ‰ģž„ķžˆ ź°€ź¹Œģšøģ§€ė¼ė„ Latent Codeź°€ 다넼 수 ģžˆė‹¤ėŠ” 것 ģž…ė‹ˆė‹¤. ģ“ė„¼ ķ•“ź²°ķ•˜źø° ģœ„ķ•“ģ„œ Figure 9처럼 주변 4ź°œģ˜ Latent Codes넼 ģ„ ķƒķ•˜ėŠ” ė°©ė²•ģž…ė‹ˆė‹¤.

Figure 8
Figure 9

ė§Œģ¼ ź°€ģž„ ź°€ź¹Œģš“ Latent Code ķ•˜ė‚˜ė§Œ 고넸다멓, ė²”ģœ„ė„¼ ė„˜ģ–“ź°€ė©“ģ„œ Latent Codeź°€ źø‰ė³€ķ•˜ėŠ” ķ˜„ģƒģ“ ė‚˜ķƒ€ė‚©ė‹ˆė‹¤.

사분멓에 ėŒ€ķ•“ģ„œ ź°€ź¹Œģš“ 4개넼 고넸다멓 ģ„ ķƒģ— ėŒ€ķ•œ ė²”ģœ„ė„¼ ė„˜ģ–“ź°ˆ ė•Œ 절반만 ė°”ė€Œź²Œ ė©ė‹ˆė‹¤. 왼쪽 xx 에 ėŒ€ķ•“ģ„œėŠ” ź°€ź¹Œģš“ ģœ„ģ¹˜ģ— ģžˆėŠ” z12,z13,z22,z23z_{12}, z_{13}, z_{22}, z_{23} Latent Codeź°€ ģ„ ķƒė˜ė©°, 오넸쪽 x에 ėŒ€ķ•“ģ„œėŠ” ź°€ź¹Œģš“ ģœ„ģ¹˜ģ— ģžˆėŠ” z13,z14,z23,z24z_{13}, z_{14}, z_{23}, z_{24}ź°€ ģ„ ķƒė©ė‹ˆė‹¤.

Cell Decoding

LIIF ėŖØėøģ€ ģœ„ģ¹˜ģ— ėŒ€ķ•œ 정볓와 근처 Latent Codeģ˜ 정볓넼 ģ¤ė‹ˆė‹¤. ķ•˜ģ§€ė§Œ ģš°ė¦¬ź°€ ģ–“ėŠ ģ •ė„ģ˜ Resolutionģ„ ėŖ©ķ‘œė”œ ķ•˜ėŠ”ģ§€ ģ•Œė ¤ģ£¼ģ§€ ėŖ»ķ•©ė‹ˆė‹¤. 예넼 ė“¤ģ–“ģ„œ, 48Ɨ4848\times 48 ģ—ģ„œ 224Ɨ224224 \times 224 딜 ķ•“ģƒė„ė„¼ ė†’ģ¼ ė•Œ, ģ¢Œķ‘œģ— ėŒ€ķ•œ ģ •ė³“ėŠ” ģ£¼ģ§€ė§Œ, ģš°ė¦¬ź°€ ėŖ©ķ‘œė”œ ķ•˜ėŠ” Decoding Cellģ˜ ģ‚¬ģ“ģ¦ˆė„¼ 주지 ėŖ»ķ•©ė‹ˆė‹¤. ģ˜ˆģ‹œģ—ģ„œėŠ” 핓당 ģœ„ģ¹˜ė”œė¶€ķ„° 2Ɨ22\times2ģ˜ 크기넼 ģ›ķ•œė‹¤ėŠ” ź²ƒģ„ ģ•Œė ¤ģ¤˜ģ•¼ ķ•©ė‹ˆė‹¤. Cell Decodingģ„ ķ¬ķ•Øķ•œ LIIF ėŠ” ė‹¤ģŒź³¼ ź°™ģŠµė‹ˆė‹¤. 기씓 Pixcel값에 Cell 크기넼 ģ¶”ź°€ģ ģœ¼ė”œ ė¶™ģ—¬ģ„œ ģž…ė „ģœ¼ė”œ ė„£ģ–“ģ¤ė‹ˆė‹¤.

s=fcell(z,[x,c])s = f_{cell} (z, [x,c])

šŸ“‘ 5. Experiments

High Resolution Benchmark

Figure 10 ģ€ High Resolution Benchmarkģø DIV2K ė°ģ“ķ„°ģ…‹ģ— ėŒ€ķ•“ģ„œ ģ„±ėŠ„ģ„ ė³“ģ—¬ģ¤ė‹ˆė‹¤. 첫 번째 Row Groupģ€ EDSR ģøģ½”ė”ė„¼, 두 번째 Row Groupģ€ RDN ģøģ½”ė”ė„¼ ģ‚¬ģš©ķ•œ 경우넼 ė‚˜ķƒ€ėƒ…ė‹ˆė‹¤.

  • EDSR ģ„ ģ‚¬ģš©ķ•œ 경우, 다넸 High Resolution ė°©ģ‹ė“¤ė³“ė‹¤ ė” ė†’ģ€ ģ„±ėŠ„ģ„ ė³“ģž…ė‹ˆė‹¤. ė˜ķ•œ Out-of-distribution에 ėŒ€ķ•“ģ„œėŠ” ģ œģ•ˆėœ ėŖØėøģ“ ė”ģš± ė†’ģ€ ģ„±ėŠ„ģ„ ė³“ģž…ė‹ˆė‹¤. ģ“ėŠ” x1~x4배딜 high resolutionģ„ ė§Œė“¤ė„ė” ķ•™ģŠµķ•œ ėŖØėøģ— ė” ė†’ģ€ resoltuionģ„ ģš”źµ¬ķ•œ ź²½ģš°ģž…ė‹ˆė‹¤. LIIFėŖØėøģ“ ė” ė†’ģ€ ģ„±ėŠ„ģ„ ė³“ģ“ėŠ” ź²ƒģ€ Latent codeģ˜ ģƒėŒ€ ģœ„ģ¹˜ė„¼ 기반으딜 ģ˜ˆģø”ķ•˜źø° ė•Œė¬øģœ¼ė”œ ģ¶”ģø”ķ•©ė‹ˆė‹¤.

  • RDN ģøģ½”ė”ė„¼ ģ‚¬ģš©ķ•œ ź²½ģš°ėŠ”, in-distribution에 ėŒ€ķ•“ģ„œ ė¹„ģŠ·ķ•œ ģ„±ėŠ„ģ„ ė³“ģ“ģ§€ė§Œ ė§ˆģ°¬ź°€ģ§€ė”œ out-of-distribution에 ėŒ€ķ•“ģ„œ ė†’ģ€ ģ„±ėŠ„ģ„ ė³“ģž…ė‹ˆė‹¤.

šŸ’” 결과적으딜 LIIF ėŖØėøģ€ ė” ė†’ģ€ resolutionģ„ ģš”źµ¬ķ•˜ėŠ” 경우, 다넸 ėŖØėøģ— ė¹„ķ•“ģ„œ ģ›”ė“±ķ•œ ģ„±ėŠ„ģ„ ė³“ģøė‹¤ėŠ” ź²ƒģ„ ķ™•ģøķ•  수 ģžˆģŠµė‹ˆė‹¤.

Figure 10

🧐 Difference between RDN and EDSR

RDNģ€ Residual Deep Network넼 ė‚˜ķƒ€ė‚“ė©° EDSRģ€ Enhanced Deep Residual Networks으딜 RDN ģ“ķ›„ 개발된 ėŖØėøģž…ė‹ˆė‹¤. ė‘˜ 다 Low Resolutionģœ¼ė”œė¶€ķ„° High Resolutionģ„ ķƒ€ź²ŸķŒ…ķ•˜ėŠ” CNN + Upsampling źµ¬ģ”°ģø ź²ƒģ€ ė™ģ¼ģ§€ķžˆė§Œ, EDSRģ€ Batch-Normalizaitonģ„ ģ‚¬ģš©ķ•˜ģ§€ ģ•Šģœ¼ė©°, ķŒŒė¼ėÆøķ„° ģˆ˜ź°€ RDN볓다 ģ ģœ¼ė©“ģ„œ ė” ģ¢‹ģ€ ģ„±ėŠ„ģ„ ė‚“ėŠ” ėŖØėøģž…ė‹ˆė‹¤. High Resolutionģ„ ģœ„ķ•“, ģ“ėÆøģ§€ė„¼ ģøģ½”ė”©ķ•˜ėŠ” ėŒ€ķ‘œģ ģø ėŖØėøģž…ė‹ˆė‹¤.

Continuous Representation

Continuous Representationģ„ ģž˜ ķ•™ģŠµķ–ˆė‹¤ė©“ ģ“ėÆøģ§€ė„¼ ķ™•ėŒ€ķ–ˆģ„ ė•Œė„ ėŠźø°ģ§€ ģ•Šź³  ģ œėŒ€ė”œ 볓여야 ķ•©ė‹ˆė‹¤. 다넸 NIRģ“ė‚˜ High resolution ėŖØėøė“¤ź³¼ ė¹„źµķ–ˆģ„ ė•Œ, LIIFģ˜ ģ“ėÆøģ§€ėŠ” ė”ģš± ģ—°ģ†ģ ģø ķ˜•ķƒœė”œ ė‚˜ķƒ€ė‚˜ź²Œ ė©ė‹ˆė‹¤. 다넸 ėŖØėøė“¤ģ“ ģ•½ź°„ģ˜ ėŠźø°ėŠ” ķ˜„ģƒģ“ė‚˜, Blur ķšØź³¼ź°€ ģžˆėŠ” 반멓, LIIF ėŖØėøģ€ ģƒģ„±ėœ ģ“ėÆøģ§€ź°€ źµ‰ģž„ķžˆ ė¶€ė“œėŸ¬ģš“ ź²ƒģ„ ķ™•ģøķ•  수 ģžˆģŠµė‹ˆė‹¤.

Figure 11

šŸ“‘ 6. Conclusion

ģ“ ė…¼ė¬øģ—ģ„œėŠ” ģ—°ģ†ģ ģø ģ“ėÆøģ§€ ķ‘œķ˜„ģ„ ģœ„ķ•œ Local Implicit Image Function(f(z,xāˆ’v)f(z, x-v))ģ„ ģ œģ•ˆķ•˜ģ˜€ģŠµė‹ˆė‹¤. Latent codeģ˜ ģœ„ģ¹˜ģ—ģ„œ ķŠ¹ģ • ģœ„ģ¹˜ź¹Œģ§€ ė–Øģ–“ģ§„ ģ ģ˜ RGB ź°’ģ„ ģœ ģ¶”ķ•Øģœ¼ė”œģØ continuous image representationģ„ ź°€ėŠ„ķ•˜ź²Œ ė§Œė“¤ģ—ˆģŠµė‹ˆė‹¤. ė˜ķ•œ ģ“ėÆøģ§€ ź°œė³„ģ“ ģ•„ė‹Œ, ģ“ėÆøģ§€ė„¼ pre-trained encoder넼 ģ‚¬ģš©ķ•˜ģ—¬ ģ“ėÆøģ§€ģ— ėŒ€ķ•œ feature vector넼 latent codeģ˜ 기반으딜 ģ‚¬ģš©ķ•Øģœ¼ė”œģØ, ė‹¤ģ–‘ķ•œ ģ“ėÆøģ§€ģ— ėŒ€ķ•“ ģ ģš©ź°€ėŠ„ķ•œ Training źø°ė²•ģ„ ģ œģ•ˆķ•˜ģ˜€ģŠµė‹ˆė‹¤.

ģ“ėÆøģ§€ėŠ” 픽셀 ģœ„ģ¹˜ģ— ėŒ€ķ•“ģ„œ RGB ź°’ģ„ 가지기 떄문에, ė„ˆė¬“ 큰 ģ“ėÆøģ§€ėŠ” ė°ģ“ķ„°ģ˜ ģš©ėŸ‰ģ— ėŒ€ķ•œ ģ“ģŠˆė”œ ģ €ģž„ķ•˜źø° ģ–“ė ¤ģš“ ģ ģ“ ģžˆģŠµė‹ˆė‹¤. ė§Œģ¼ NIRģ“ ė”ģš± ė°œė‹¬ķ•˜ģ—¬, 훨씬 ģ ģ€ ėŖØėøė”œ ģ“ėÆøģ§€ė„¼ ģ™øģšø 수 ģžˆėŠ” ėŖØėøģ“ ģžˆė‹¤ė©“, ė°ģ“ķ„° 전솔 ģ‹œ, ģ“ėÆøģ§€ė„¼ ė³“ė‚“ėŠ” ź²ƒģ“ ģ•„ė‹ˆė¼, Neural Network넼 ė³“ė‚“ėŠ” ź²ƒė„ ķ–„ķ›„ģ—ėŠ” ź°€ėŠ„ķ•  것 ź°™ģŠµė‹ˆė‹¤.

Take Home Message

볓통 Implicit Neural Represenationģ€ 주얓진 ė°ģ“ķ„°ė”œė¶€ķ„° ė°”ė”œ ķ•Øģˆ˜ė„¼ ķ•™ģŠµģ‹œķ‚¤ėŠ” ź²ƒģ„ ėŖ©ķ‘œė”œ ķ•©ė‹ˆė‹¤. ź·øėž˜ģ„œ ė°ģ“ķ„°ź°€ ģžˆģ„ ė•Œė§ˆė‹¤ ķ•Øģˆ˜ė„¼ 새딜 ķ•™ģŠµķ•“ģ•¼ ķ•˜ģ£ . ė”„ėŸ¬ė‹ģ„ ģ“ģš©ķ•˜ė©“, ģ“ėÆøģ§€ė”œė¶€ķ„° Feature Vector넼 ė½‘ģ„ 수 ģžˆźø°ģ—, Feature Vector넼 input으딜 ģ¼ė°˜ķ™”ģ‹œģ¼œģ„œ ķ•™ģŠµģ‹œķ‚¤ėŠ” ź²ƒģ“ ź°€ėŠ„ķ•œ ź²ƒģ„ ģ“ ė…¼ė¬øģ—ģ„œ ķ™•ģøķ•  수 ģžˆģ—ˆģŠµė‹ˆė‹¤. ė˜ķ•œ Continuous Domainģ„ Featureė”œė¶€ķ„° 거리딜 ķ•“ģ„ķ•œ ź²ƒė„ ģ¢‹ģ€ ģ ‘ź·¼ė²•ģž…ė‹ˆė‹¤.

šŸ“‘ Author / Reviewer information

Author

  1. 박범진 (Bumjin Park): KAIST / bumjin@kaist.ac.kr

Reviewer

  • None

šŸ“° References & Additional materials

Last updated

Was this helpful?