NeSyXIL [Kor]
Stammer et al. / Right for the Right Concept - Revising Neuro-Symbolic Concepts by Interacting with their Explanations / CVPR 2021
English version of this article is available.
1. Problem definition
๋ฅ๋ฌ๋ ๋ถ์ผ์ ์ค๋ช ๋ฐฉ๋ฒ์ ๋๋ถ๋ถ ์๋ ์ ๋ ฅ ๊ณต๊ฐ์ ๋ํ ๋ชจ๋ธ์ ์์ธก์ ๋ํ ์ค์๋๋ฅผ ์ถ์ ํ๋ ๋ฐฉ์์ ๋๋ค.
์ด๋ฌํ "์๊ฐ์ " ์ค๋ช ์ ๋ชจ๋ธ์ด ์ด๋ป๊ฒ ๊ฒฐ์ ํ๊ณ ์๋์ง์ ๋ํ ์๋ฏธ๋ก ์ ์ธ ์ค๋ช ์ ํ์ง ์๊ณ ์์ต๋๋ค.
CLEVER-Hans์ ๊ฐ์ด ๋ชจ๋ธ์ด ์๋ชป๋ ๊ฒฐ์ ์ ๋ฐฐ์ธ ๋, ์๋ฏธ๋ก ์ ์ธ ์ค๋ช ์ ํตํด ๋ชจ๋ธ์ ํ๋์ ๊ฐ์ ํ๋ ๊ฒ์ด ์ด๋ ต์ต๋๋ค.
Grad-CAM๊ณผ ๊ฐ์ "์๊ฐ์ " ์ค๋ช ์ ํ์ฉํด ํผ๋๋ฐฑ์ ์ฃผ๋ ๋ฐฉ์์ด ์๋๋ผ "์๋ฏธ๋ก ์ ์ธ" ํผ๋๋ฐฑ์ ํตํด ๋ชจ๋ธ์ ๊ฐ์ ์ ํ ์ ์๋ ๋ฐฉ๋ฒ๋ก ์ด ํ์ํฉ๋๋ค.
CLEVER-Hans
https://simple.wikipedia.org/wiki/Clever_Hans
ML ๋ชจ๋ธ๋ค์ ํน์ ํ์คํฌ๋ฅผ ํ๊ธฐ ์ํด ์๋ชป๋ feature๋ฅผ ํ์ตํ์ง๋ง ์ฑ๋ฅ์ ์ข์ ๊ฒฝ์ฐ๊ฐ ์์ต๋๋ค. ์ด๊ฐ์ ์๊ฐ๋ค์ Clever-Hans Moment๋ผ๊ณ ์ ๋ ผ๋ฌธ์์๋ ์ง์นญํ๊ณ ์์ต๋๋ค.
2. Motivation
Related work
์ค๋ช ๊ฐ๋ฅํ ์ธ๊ณต์ง๋ฅ (Explainable AI, XAI)
์ผ๋ฐ์ ์ผ๋ก ์ค๋ช ๊ฐ๋ฅํ ์ธ๊ณต์ง๋ฅ (XAI) ๋ฐฉ๋ฒ๋ก ์ ๋ชจ๋ธ์ ์ค๋ช ์ ์ฌ๋์ด ์ดํดํ ์ ์๋ ๋ฐฉ์์ผ๋ก ๋ํ๋ด์ด, (๋ธ๋๋ฐ์ค ํํ) ๋ชจ๋ธ์ ๊ฒฐ์ ์ ๋ํ ์ด์ ๋ฅผ ๊ฒ์ฆํ๋ ๋ฐ ์ฌ์ฉ๋ฉ๋๋ค.
๋ค์ํ XAI ๋ฐฉ๋ฒ๋ก ์ด ์์ง๋ง, ๋๋ถ๋ถ ์ค๋ช ํ๋ ๋ฐฉ์์ด ์ ๋ ฅ ๊ณต๊ฐ ๋ ๋ฒจ์์ ์ด๋ฃจ์ด์ง๋ ์ค๋ช ์ ์๊ฐํํ๋ ํํ๋ก ์ด๋ฃจ์ด์ง๋๋ค.
[52, 2]: ์ญ์ ํ๋ฅผ ํ์ฉํ์ฌ ์ ๋ ฅ ๊ณต๊ฐ์ ๋ํด ์๊ฐ์ ์ผ๋ก ํํํฉ๋๋ค.
[28]: ๋ชจ๋ธ์ ๊ฒฐ์ ์ ๋ํ ์ค๋ช ์ prototype ํํ๋ก ํํํฉ๋๋ค.
๊ทธ๋ฌ๋ ์๊ฐ์ ์ผ๋ก ์ค๋ช ํ๋ ๋ฐฉ๋ฒ๋ค๊ณผ๋ ๋ค๋ฅธ ๋ฐฉ๋ฒ์ผ๋ก ์ค๋ช ์ ๋ง๋ค์ด๋ด๋ ์ฐ๊ตฌ๋ค๋ ์์ง๋ง, ์ด๋ค ์ฐ๊ตฌ๋ ๋ชจ๋ธ์ ๊ฐ์ ์ ์ํ ์๋จ์ผ๋ก์จ ์ค๋ช ์ ํ์ฉํ๋ ์ฐ๊ตฌ๋ ์์์ต๋๋ค.
์ค๋ช ์ ํตํ ๋ํํ ํ์ต (Explanatory interactive learning, XIL)
XIL = XAI + Active Learning
ํ์ต ๊ณผ์ ์์ ๋ชจ๋ธ์ด ๊ฒฐ์ ํ ์ค๋ช ๋ค๊ณผ ๊ต๋ฅํ๋ฉด์ ์ฌ์ฉ์์ XAI๊ฐ ํ๋ ฅํ๋ ํํ๋ก ๋ณผ ์ ์์ต๋๋ค.
์ฌ์ฉ์๋ XIL์ ํตํด ๋ชจ๋ธ์ด ๊ฒฐ์ ํ ์ด์ ๋ฅผ ๋ฌผ์ด๋ณผ ์ ์๊ณ , ํ์ํ ๊ฒฝ์ฐ ๋ชจ๋ธ์ ์์ ํ ์๋ ์๊ณ , ์ค๋ช ์ ๋ํด ๊ฐ์ ๋ ํผ๋๋ฐฑ์ ์ ๊ณตํ ์ ์์ต๋๋ค.
๋ด๋ก-์ฌ๋ณผ๋ฆญ ์ํคํ ์ฒ (Neuro-Symbolic architectures)
๋ด๋ก-์ฌ๋ณผ๋ฆญ ๋ถ์ผ๋ ๊ธฐํธ์ (symbolic) ๋ชจ๋ธ๊ณผ ๋น๊ธฐํธ์ (sub-symbolic) ๋ชจ๋ธ์ ์ฅ์ ์ ๊ฒฐํฉํ์ฌ ๊ฐ๋ณ ํ์ ์์คํ ์ ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ๋ ๋ฐฉ๋ฒ์ผ๋ก ์ต๊ทผ ๋ช ๋ ๋์ ์ ์ ๋ ๊ด์ฌ์ ๋ฐ๊ณ ์๋ ๋ถ์ผ์ ๋๋ค.
๋ด๋ก-์ฌ๋ณผ๋ฆญ ์ํคํ ์ฒ๋ ํฌ๊ฒ ๋ค์๊ณผ ๊ฐ์ ํน์ง์ ๊ฐ๊ณ ์์ต๋๋ค.
๋ฐ์ดํฐ ์ค์ฌ (data-driven)
๋น๊ธฐํธ์ ์ธ ํํ (sub-symbolic representation)
๊ธฐํธ์ ์ถ๋ก ์์คํ (symbolic based reasoning system)
Motivating Example: Color-MNIST
์ด ์ฐ๊ตฌ์์ ๋ค๋ฃจ๊ณ ์๋ ํต์ฌ์ ์ ๋ฌํ๊ธฐ ์ํด, ์ ์๋ค์ ์ ์๋ ค์ง Color-MNIST ๋ฐ์ดํฐ์ ์ ํตํด ์ค๋ช ํฉ๋๋ค. ColorMNIST๋ ๊ธฐ์กด MNIST ๋ฐ์ดํฐ์ ์ ์์์ด ์ถ๊ฐ๋ ํ ์ด ๋ฐ์ดํฐ์ ์ ๋๋ค. ์ด ๋ฐ์ดํฐ์ ๋ด ํ์ต ์ ์์, ๊ฐ ์ซ์๋ ํน์ ์์์ผ๋ก ์น ํด์ ธ ์๋ ๋ฐ๋ฉด์, ํ ์คํธ ์ ์์๋ ์์์ด๋ผ๋ ์์ฑ์ ์์ด๊ฑฐ๋ ๋ฐ์ ๋ฉ๋๋ค.
ColorMNIST ๋ฐ์ดํฐ์ ์ ๋ํด, ๊ฐ๋จํ CNN ๋ชจ๋ธ์ ํ๋ จ ์ ์์๋ 100% ์ ํ๋์ ๋๋ฌํ ์ ์์ง๋ง ํ ์คํธ ์ธํธ์์๋ 23%์ ๋ถ๊ณผํฉ๋๋ค. ์ด๋ ๋ชจ๋ธ์ด ์ซ์ ์์ฒด๋ณด๋ค ์ ํํ ์์ธก์ ์ํด ์์์ ํฌ๊ฒ ์ง์คํ๋ ๋ฒ์ ๋ฐฐ์ ์์ ์ ์ ์์ต๋๋ค.
Figure 2๋ 9๋ก ์์ธก๋๋ 0์ ๋ํ Grad-CAM ๊ฒฐ๊ณผ๋ฅผ ์๊ฐํํ ๊ทธ๋ฆผ์ ๋๋ค. ์ฆ, ๋ชจ๋ธ์ ์ 0์ด๋ผ๋ ์ซ์๋ฅผ 9๋ก ์์ธกํ๋๊ฐ์ "์๊ฐ์ ์ค๋ช "์ ๋ณด์ฌ์ฃผ๊ณ ์์ต๋๋ค. ์ด ๋, 0์ด๋ผ๋ ํํ๋ฅผ ๋ชจ๋ธ์ด ์ง์คํด์ ๋ณด๊ณ ์๋ ๊ฒ์ ๋ณผ ์ ์์ง๋ง, ์ด๋ค ์๋ฏธ๋ก ์ ์ธ ๊ทผ๊ฑฐ์ ์ํด 9๋ก ์์ธกํ๋์ง ์ ์ ์์ต๋๋ค.
๋ฐ๋ผ์, ์๊ฐ์ ์ค๋ช ์ ํตํด ๋ชจ๋ธ์ด ์ฌ๋ฐ๋ฅธ ๋ฌผ์ฒด์ ์ด์ ์ ๋ง์ถ๊ณ ์๋ค๋ ๊ฒ์ ๋ถ๋ช ํ์ง๋ง, ๋ชจ๋ธ์ด ์๋ชป๋ ์ซ์๋ฅผ ์์ธกํ๋ ์ด์ ๋ ๊ธฐ๋ณธ ํ์ต ๋ฐ์ดํฐ ๋ถํฌ์ ๋ํ ์ดํด ์์ด๋ ๋ช ํํ์ง ์์ ๊ฒ์ ๋๋ค.
์ค์ํ ๊ฒ์ ๋ชจ๋ธ์ด ํ๋ฆฌ๋๋ผ๋, ์ด๋ฌํ ์๊ฐ์ ์ธ ์ค๋ช ๋ง์ ๋ฐํ์ผ๋ก XIL์ ์ฌ์ฉํด ๋ชจ๋ธ์ ๊ฒฐ์ ์ ์์ ํ๋ ๊ฒ์ ๊ฝค ์ฌ๊ฐํ ๋ฌธ์ ๋ก ๋ณผ ์ ์์ต๋๋ค.
Idea
Color-MNIST ์์์์ ๋ณผ ์ ์๋ฏ์ด, ์ ์๋ค์ ๊ธฐ์กด์ Grad-CAM๊ณผ ๊ฐ์ ์๊ฐ์ ์ธ ์์ค์ ์ค๋ช ๋ง์ผ๋ก ๋ชจ๋ธ์ ๊ฒฐ์ ์ ํด์ํ๊ณ ๋ ๋์๊ฐ ๊ฐ์ ํ๋ ๊ฒ์ ํ๋ค๋ค๊ณ ์๊ฐํ์ต๋๋ค.
๋ฐ๋ผ์, ์๋ฏธ๋ก ์ (semantic) ์์ค์์ ๋ชจ๋ธ์ ์์ ํ ์ ์๋ ๋ด๋ก-์ฌ๋ณผ๋ฆญ (Neuro-Symbolic) ๋ฐฉ๋ฒ๋ก ์ ์ ์ํ์ต๋๋ค.
์ด ๋ฐฉ๋ฒ์ ํตํด ๋ชจ๋ธ์๊ฒ "๊ฒฐ์ ์ ๋ด๋ฆด ๋๋ ์์์ ์ ๋ ๋ณด๊ณ ๊ฒฐ์ ํ์ง ๋ง๋ผ."๋ผ๋ ๋ฑ์ ๊ฐ์ ์ด ๊ฐ๋ฅํด์ง๋๋ค.
3. Method
Neuro-Symbolic Architecture (Figure 3์ ์๋จ ๋ถ๋ถ)
ํฌ๊ฒ concept embedding module๊ณผ reasoning module 2๊ฐ์ง ๋ชจ๋๋ก ๊ตฌ์ฑ๋์ด ์์ต๋๋ค.
concept module์ ๊ฒฝ์ฐ, ์ฌ๋์ด ์ดํดํ ์ ์๋ ๊ธฐํธ์ ์ธ ํํ์ผ๋ก ๋งคํํ๋ ์ญํ ์ ํ๊ณ ์์ต๋๋ค.
์ด๋ ๊ฒ ๋งคํ๋ ๊ธฐํธ์ ์ธ ํํ์ ๊ธฐ๋ฐํ์ฌ ๋ชจ๋ธ์ ์์ธกํ๊ฒ ํ๋ ๊ฒ์ด reasoning module์ ์ญํ ์ ๋๋ค.
Retrieving Neuro-Symbolic Explanations (Figure 3์ ํ์ ํ์ดํ)
concept embedding module๊ณผ reasoning module์ด ์ฃผ์ด์ก์ ๋, ๊ฐ๊ฐ์ ๋ง๋ ์ค๋ช ๋ค์ ์ถ์ถํ ์ ์์ต๋๋ค.
Figure 3์์, Semantic Explanier๋ฅผ ํตํด ๋์จ ํ์ ๊ฐ์ผ๋ก ํด์ํ ์ ์์ต๋๋ค.
Figure 3์์, Visual Explanier๋ฅผ ํตํด ๋์จ ํ์ ๊ฐ์ผ๋ก ํด์ํ ์ ์์ต๋๋ค.
Neuro-Symbolic Concepts
explanatory loss term
Reasoning Module
์ด๋ฏธ์ง๊ฐ concep embedding module์ ์ง๋๋ฉด, ๋์ค๋ ์ถ๋ ฅ๊ฐ์ ์์๊ฐ ์๋ ์งํฉ์ ๋๋ค.
๋ฐ๋ผ์ ์ด์ ๋ง๋ ์ ๋ ฅ์ ๋ค๋ฃจ๊ธฐ ์ํด, Set Transformer๋ฅผ ํ์ฉํ์ฌ ๊ฒฐ๊ณผ ๊ฐ์ ์์ธกํฉ๋๋ค.
๋ฐ๋๋ก, reasoning module์ ๋ํ ์ค๋ช ์ ์ถ์ถํ๊ธฐ ์ํด์๋ ์ฃผ์ด์ง symoblic representation์ ๋ํด Set Transformer์ ์ค๋ช ์ ๋ง๋ค์ด์ผ ํฉ๋๋ค.
์ด๋ฅผ ์ํด gradient-based Integrated Gradients exaplanation ๋ฐฉ๋ฒ์ ์ฌ์ฉํฉ๋๋ค.
(Slot) Attention is All You Need (for object-based explanations)
(Gradient-based Integrated Gradients explanation, Set Transformer, Slot Attention์ ๋ํด ์์ธํ๊ฒ ๋ค๋ฃจ์ง๋ ์์์ต๋๋ค.)
4. Dataset & Experiment & Result
Dataset: CLEVER-Hans
Dataset
CLEVER-Hans3
์๋์ ๊ฐ์ 3๊ฐ์ ํด๋์ค ๊ท์น์ ํฌํจํ๊ณ ์๊ณ , ๊ทธ ์ค 2๊ฐ ํด๋์ค ๊ท์น์ confounder๋ก ์์ฉํฉ๋๋ค.
class rule 1: large (gray) cube and large cylinder (training/validation set์์๋ ๊ดํธ์ ์์ฑ(gray)์ ํด๋นํ๋ ์ด๋ฏธ์ง๊ฐ ํฌํจ๋์ด ์์ง๋ง, test set์์๋ ๊ดํธ์ ์์ฑ์ด ์๋ ์ด๋ฏธ์ง๋ ํฌํจํ๊ฒ ๋ฉ๋๋ค.)
class rule 2: small metal cube and small (metal) sphere (training/validation set์์๋ ๊ดํธ์ ์์ฑ(metal)์ ํด๋นํ๋ ์ด๋ฏธ์ง๊ฐ ํฌํจ๋์ด ์์ง๋ง, test set์์๋ ๊ดํธ์ ์์ฑ์ด ์๋ ์ด๋ฏธ์ง๋ ํฌํจํ๊ฒ ๋ฉ๋๋ค.)
class rule 3: large blue sphere and small yellow sphere (training/validation/test set ๋ชจ๋ ๋์ผํฉ๋๋ค.)
CLEVER-Hans7
CLEVER-Hans3๊ณผ ๋น์ทํ๊ฒ 7๊ฐ์ ํด๋์ค ๊ท์น์ ํฌํจํ๊ณ ์๊ณ , ๊ทธ ์ค 4๊ฐ ํด๋์ค ๊ท์น์ confounder๋ก ์์ฉํฉ๋๋ค.
Experimental setting
Dataset
CLEVER-Hans3
CLEVER-Hans7
Baselines
CNN (Default): ResNet-based CNN ์ฌ์ฉ
CNN (XIL): ResNet-based CNN์ XIL ์ ์ฉ
์ด ๋ ์ฌ์ฉ๋ CNN์ ์ค๋ช ๋ฐฉ๋ฒ๋ก ์ (๋ ผ๋ฌธ์์ ๋งํ๋ ์๊ฐ์ ์ค๋ช ์ ์์๋ก) Grad-CAM์ ์ฌ์ฉํ์์ต๋๋ค.
NeSy (Default): Neuro Symbolic Architecture ์ฌ์ฉ
NeSy (XIL): Neuro Symbolic Architecture์ XIL ์ ์ฉ
์ด ๋ ์ฌ์ฉ๋ NeSy์ ์ค๋ช ๋ฐฉ๋ฒ๋ก ์ ๋ ผ๋ฌธ์์ ์ ์ํ ๋ฐฉ์์ด๋ฉฐ, ์ด๋ ์๊ฐ์ ๊ณผ ์๋ฏธ๋ก ์ ์ค๋ช ์ ๋ ๋ค ์ฌ์ฉํฉ๋๋ค.
Training setup
Default: Cross Entropy Loss๋ฅผ ์ฌ์ฉํ ์ผ๋ฐ์ ์ธ ์ด๋ฏธ์ง ๋ถ๋ฅ ๋ฌธ์ ๋ฅผ ํธ๋ ์ธํ
XIL: Explanatory Loss๋ฅผ ์ถ๊ฐ์ ์ผ๋ก ์ฌ์ฉํ์ฌ ๋ชจ๋ธ์ ํ์ต์ ๊ฐ์ ์ ํ๋ ์ธํ
Evaluation metric
Classification accuracy
Result
Table 2: CLEVER-Hans3 ๋ฐ์ดํฐ์
๊ณผ CLEVER-Hans7 ๋ฐ์ดํฐ์
์์ ์คํ ๊ฒฐ๊ณผ
๊ด์ฐฐ 1: CNN ๋ชจ๋ธ์ Clever-Hans์ ๊ฐ์ ์๊ฐ์ ๊ฒช๊ณ ์๋ ๊ฒ์ ๋ณด์ฌ์ค๋๋ค.
๊ทผ๊ฑฐ: Table2์์ CNN(Default)์ validation ์ฑ๋ฅ์ ๊ฑฐ์ ์๋ฒฝ์ ๊ฐ๊น์ง๋ง, ๊ทธ์ ๋นํด test ์ฑ๋ฅ์ด ๋ฎ์
๊ด์ฐฐ 2: ์๊ฐ์ ์ธ ์ค๋ช ์ ํ์ฉํ๋ XIL์ CLEVER-Hans ๋ฐ์ดํฐ์ ์ ๋ํด ์คํจํ ๋ชจ์ต์ ๋ณด์ฌ์ค๋๋ค.
๊ทผ๊ฑฐ: Table2์์ CNN(XIL)์ validation ์ฑ๋ฅ์ ๊ฑฐ์ ์๋ฒฝ์ ๊ฐ๊น์ง๋ง, ๊ทธ์ ๋นํด test ์ฑ๋ฅ์ด (XIL์ ์ ์ฉํ์์๋) ์ฌ์ ํ ๋ฎ์
๊ด์ฐฐ 3: Neuro-Symbolic ๋ชจ๋ธ์ CNN ๋ชจ๋ธ์ ๋นํด test accuracy๊ฐ ๋์ต๋๋ค.
๊ทผ๊ฑฐ: Table2์์ NeSy(Default)์ test ์ฑ๋ฅ์ด CNN(Default)์ test ์ฑ๋ฅ๋ณด๋ค ๊ฝค ๋์ ๊ฒ์ ํ์ธํ ์ ์์
๊ด์ฐฐ 4: XIL๋ก ๊ฐ์ ํ๊ธฐ ์ด์ ์, Neuro-Symbolic ๋ชจ๋ธ ์ญ์ Clever-Hans์ ๊ฐ์ ์๊ฐ์ ๊ฒช๊ณ ์๋ ๊ฒ์ ๋ณด์ฌ์ค๋๋ค.
๊ทผ๊ฑฐ: Table2์์ NeSy(Default)์ test ์ฑ๋ฅ์ด ์๋ฒฝ์ ๊ฐ๊น์ด validation ์ฑ๋ฅ์ ๋ง์ด ๋ชป ๋ฏธ์น๊ณ ์๋ ๋ชจ์ต์ ํ์ธํ ์ ์์
๊ด์ฐฐ 5: Neuro-Symbolic ๋ชจ๋ธ์ ํตํด ์๋ฏธ๋ก ์ ์ธ ์ค๋ช ๊น์ง ํ์ฉํ๋ XIL์ ๊ฒฝ์ฐ Clever-Hans ๋ฐ์ดํฐ์ ๊ณผ ๊ฐ์ ๋ฌธ์ ๋ฅผ ๋ง์ด ํด๊ฒฐํ์์ ๋ณด์ฌ์ค๋๋ค.
๊ทผ๊ฑฐ: Table2์์ NeSy(XIL)์ test ์ฑ๋ฅ์ด validation ์ฑ๋ฅ ๊ทผ์ฒ๋ก ๊ฐ์ฅ ๊ฐ๊น๊ฒ ์จ ๊ฒ์ ํ์ธํ ์ ์์
=> ์ ์๋ค์ ์ ์ํ ๋ฐฉ๋ฒ์ด ํจ๊ณผ์ ์
=> ๋ค๋ฅธ ์๋ฏธ๋ก, ์๋ฏธ๋ก ์ ์ธ ์ค๋ช ์ด CLEVER-Hans์ ๊ฐ์ ์๊ฐ์ ํจ๊ณผ์ ์
Figure 5: CLEVER-Hans3์์ ํ์ต๋ ๋ชจ๋ธ๋ค์ ์๋ก ๋ค๋ฅธ ์ ์ฑ์ ๊ฒฐ๊ณผ
Figure 5์์๋ ์๋ก ๋ค๋ฅธ 2๊ฐ์ง ๋ชจ๋ธ์ด ์ผ๋ฐ์ ์ผ๋ก ํ์ตํ ๊ฒฝ์ฐ (Default), ์ฌ๋์ด ๊ฐ์ ํ ๊ฒฝ์ฐ (XIL)์ ๋ํด์ ์ด๋ป๊ฒ ํด๋น ์ค๋ช ๋ค์ด ๋ฐ๋๊ณ ์๋์ง ๋ณด์ฌ์ฃผ๊ณ ์๋ ๊ทธ๋ฆผ์ ๋๋ค.
CNN(Default), CNN(XIL), NeSY(Default) ๋ชจ๋ ์ฌ๋ฐ๋ฅด๊ฒ ์์ธกํ์ง ๋ชปํ ๋ชจ์ต์ ๋ณผ ์ ์๊ณ , NeSY(XIL) ๊ฒฝ์ฐ๋ง ์ฌ๋ฐ๋ฅด๊ฒ ์์ธกํ ๋ชจ์ต์ ๋ณผ ์ ์์ต๋๋ค.
CNN ๋ชจ๋ธ์ ๊ฒฝ์ฐ, ์ด๋ค ์ด์ ๋ก ์ธํด ๋ชจ๋ธ์ด ๊ฒฐ์ ํ๋์ง ์๋ฏธ๋ก ์ ์ผ๋ก ํด์ํ ์ ์์ต๋๋ค.
NeSY ๋ชจ๋ธ์ ๊ฒฝ์ฐ, ์๋ฏธ๋ก ์ ์ผ๋ก ๋ชจ๋ธ์ด ์ด๋ค ์์ธก์ ํ๊ณ ์๋์ง ํ์ธํ ์ ์์ต๋๋ค.
5. Conclusion
์ ์๋ค์ ์๋ฏธ๋ก ์ (semantic) ์์ค์์ ๋ชจ๋ธ์ ์์ ํ ์ ์๊ฒ ํ๋, ๋ด๋ก-์ฌ๋ณผ๋ฆญ (Neuro-Symbolic) ์ฅ๋ฉด ํํ (scene representaiton) ๊ณต๊ฐ์ ๊ฐ์ ํ๋ ๋ฐฉ๋ฒ๋ก ์ ์ ์ํฉ๋๋ค.
๋ชจ๋ธ์ ํจ๊ณผ๋ฅผ ์ ์ฆํ๊ธฐ ์ํด, ์๋ก์ด ๊ต๋๋ ๋ฐ์ดํฐ์ ์ธ CLEVER-Hans3๊ณผ CLEVER-Hans7์ ๊ตฌ์ถํ์ต๋๋ค.
"์๊ฐ์ " ์ค๋ช ๋ง์ผ๋ก ์๋ณํ ์ ์๋ ๊ต๋์์ธ์ "์๋ฏธ๋ก ์ " ์ค๋ช ์ ํตํด ์๋ณํ ์ ์์์ ๋ณด์ฌ์ฃผ์์ต๋๋ค.
๊ฒฐ๊ณผ์ ์ผ๋ก, ์ด ์๋ฏธ๋ก ์ ์์ค์ ๋ํ ํผ๋๋ฐฑ์ ํตํด ํด๋น ์๋ฏธ์ ์ด์ ์ ๋ง์ถ์ด ๋ชจ๋ธ์ ์์ ํ ์ ์๊ฒ ๋์์ต๋๋ค.
Take home message (์ค๋์ ๊ตํ)
์ด ๋ ผ๋ฌธ์ Color-MNIST๋ผ๋ motivated example์ ๊ฑธ์ณ, ๋ชจ๋ธ์ ๊ฐ์ ํ ๋ ์ ๊ธฐํธ์ ์ธ ํํ์ ์ด์ฉํ๋ ๊ฒ์ด ์ค์ํ์ง ๋ณด์ฌ์ค ๋ ผ๋ฌธ์ ๋๋ค.
์ฒ์์ผ๋ก XIL์ Neural Symbolic Architecture๋ฅผ ์ ์ํ์ฌ, Grad-CAM๊ฐ์ ์๊ฐ์ ์ค๋ช ๋ค๋ณด๋ค๋ ํจ๊ณผ์ ์ผ๋ก ๋ชจ๋ธ์ ๊ฐ์ ์ด ๊ฐ๋ฅํจ์ ์คํ ๊ฒฐ๊ณผ๋ฅผ ํตํด ๋ณด์ฌ์ฃผ์์ต๋๋ค.
์ด์ฒ๋ผ ๋ฅ๋ฌ๋์์ ๋น๊ธฐํธ์ ์ธ ํํ๋ฟ๋ง ์๋๋ผ ๊ธฐํธ์ ์ธ ํํ์ ์ ํ์ฉํ ์ ์๋ค๋ฉด, ์ฌ๋์ด ์ง๊ฐํ๊ณ ์ธ์งํ๋ ๋ฅ๋ ฅ์ ํ์ฉํ๋๋ฐ ํฐ ๋์์ด ๋ ์ ์์ ๊ฒ ๊ฐ์ต๋๋ค.
Author / Reviewer information
Author
๋ฐฐ์ฑ์
KAIST AI
contact: seongsu@kaist.ac.kr
Reviewer
Korean name (English name): Affiliation / Contact information
Korean name (English name): Affiliation / Contact information
...
Reference & Additional materials
Last updated
Was this helpful?