[연구 분야 조사] Causal Machine Learning

https://medium.com/@karanbhutani477/the-causal-revolution-in-machine-learning-moving-beyond-correlation-to-causation-07c4531c2cc0

The Causal Revolution in Machine Learning: Moving Beyond Correlation to Causation

위 블로그를 읽고 정리한 글임을 밝힙니다.

 

인과적 머신러닝의 이해

인과적 머신러닝은 단순히 통계적 패턴을 인식하는 것이 아니라, 데이터 내에서 인과 관계를 식별하고 활용하는 데 중점이 있다.

 전통적인 머신러닝은 상관 관계를 찾고 과거 데이터 패턴을 기반으로 예측하는 데 뛰어나다. 하지만 이러한 상관 관계가 진정한 인과 관계를 나타내는지 본질적으로 구별할 수 없다.(?) 

$\leftarrow$ 상관 관계와 인과 관계는 구별할 수 있지 않나?

https://velog.io/@euisuk-chung/%EA%B0%9C%EB%85%90%EC%A0%95%EB%A6%AC-%EC%83%81%EA%B4%80%EA%B4%80%EA%B3%84-vs-%EC%9D%B8%EA%B3%BC%EA%B4%80%EA%B3%84

[개념정리] 상관관계 vs 인과관계

이 블로그에 상관관계와 인과관계가 어떻게 구분될 수 있는지 쉽게 설명되어 있다.

상관 관계 예시

"공부 시간이 증가할수록 시험 점수가 향상되는 경향이 있다." 

"적절한 수면 시간이 확보될수록 업무 생산성이 증가하는 경향이 있다."  

원인과 결과가 불명확하다., 양방향 설명 가능, 제 3의 요인의 영향이 있을 수 있다.

가령 첫 번째 예시의 경우 공부 시간 증가라는 사건 이전에 대치동 학원에 등록했다는 사건이 있을 수 있다.

인과 관계 예시

"물을 마시면 직접적으로 갈증이 해소된다."

"독감 예방 접종을 받으면 독감 감염 위험이 직접적으로 감소한다 ."

원인과 결과가 명확하고, 단방향 설명 밖에 할 수 없음, 제 3요인의 영향 없음

이를 머신러닝에 확장하면 답할 수 있는 질문 유형에서 차이를 볼 수 있다.

기존 Machine learning은 특정 약물을 복용하는 환자가 더 빨리 회복하는 경향이 있다고 말할 수 있지만, causal machine learning은 약물이 실제로 더 빠른 회복을 유발하는지 또는 다른 요인이 원인인지 확인하려고 한다,

 이는 단순히 학문적인 것이 아니라, 데이터 분석에 기반한 의사 결정을 내리는 방식에 심오한 의미를 갖는다.

인과 관계 연구의 선구자인 주데아 펄(Judea Pearl)은 상관 관계에서 인과 관계로의 진행을 서령하는데 도움이 되는 "인과관계 사다리 (ladder of causation)"라는 개념적 프레임워크를 개발했다. 이 사다리에는 세 가지 수준이 있다.연관성(association, 패턴 보기), 개입(intervention, 실행), 반사실적(counterfactuals, 상상하기). 기존 ML은 주로 연관 수준에서 작동하지만, 인과적 ML은 개입과 반사실적 사실을 이해하기 위해 더 높은 수준으로 올라간다.

연관성 수준에서는 치약을 사는 쇼핑객이 치실도 살 가능성이 더 높다는 것을 관찰할 수 있다. 개입 수준에서는 치약 가격을 두 배로 올리면 어떻게 될지 묻는다. 반사실적 수준에서는 환자가 다른 치료를 받았다면 어떻게 되었을지 고려한다. 

인과관계 ML은 인과 관계 그래프, 구조적 인과 모델, 반사실적 추론과 같은 기술을 통합하여 이러한 인과 관계를 표현하고 분석한다. 이러한 방법을 사용하면 기계가 인간의 사고방식과 더 유사한 방식으로 원인과 결과에 대해 추론하여 데이터에서 더 미묘하고 실행 가능한 통찰력을 얻을 수 있다.

기존 머신 러닝의 한계

전통적인 머신 러닝은 강력한 예측 능력을 통해 산업을 혁신했지만, 인과관계보다는 상관관계에 의존하기 때문에 잘못된 의사 결정으로 이어질 수 있는 상당한 한계가 있다.

과거 데이터에서 머신러닝 모델은 온도가 더운 날에는 토양 수분 수치가 지속적으로 높다는 것을 관찰했다. 이러한 상관 관계에 근거하여, 알고리즘은 더운 날씨에는 관개를 하지 말것을 권장한다.

하지만 농부들은 일반적으로 더운 날씨에 더 많이 관개하기 때문에 토양 수분 수치가 높다. 

머신 러닝 모델은 이러한 인과 관계를 파악하지 않고 과거 데이터의 패턴에만 의존한다. 

이러한 한계는 기존 machine learning이 상관 관계와 인과 관계를 구별하지 못하는 데서 비롯된다. 이러한 구별이 없다면 "만약에" 시나리오에 안정적으로 답할 수 없다. ("새로운 치료 전략을 구현한다면?", "가격 책정 전략을 변경한다면?") 

 

인과적 ML이 데이터 분석을 어떻게 변화시키는가

Causal macine learning은 데이터 분석을 예측에서 결과의 원인을 이해하는 방향으로 전환하여 더 나은 의사 결정과 개입 전략을 수립할 수 있도록 해준다. 본질적으로, causal meachine learning은 causal inference method를 통해 연관성과 인과관계를 구별한다. 예를 들어, 의료 분야에서 causal machine learning은 단순히 어떤 환자가 합병증을 앓을지 예측하는 데 그치지 않고, 특정 환자 프로필에 대한 합병증을 예방할 치료법을 식별할 수있다. 

이 접근 방식의 핵심 기술은 변인 간의 관계를 명시적으로 매핑하는 구조적 인과 모델이다. (structural causal models, SCMs) 이를 통해 분석가는 다양한 시나리오를 시뮬레이션하고 기존 machine learning model 보다 더 정확하게 '가정' 질문에 답할 수 있다.

 

Counterfactual Reasoning: A Game-Changer

Causal machine learning의 또 다른 혁신적인 측면은 반사실적 추론 (counterfactual reasoning)으로, 다른 조건에서 결과가 어떻게 변할지 시뮬레이션 한다. 의료 분야에서 이를 통해 제공자는 비용이 많이 들고 위험한 임상 시험 없이도 다른 치료 프로토콜이 환자 결과에 어떤 영향을 미칠지 추정할 수 있다.

또한 Causal machine learning은 도메인 지식을 통합하여 데이터 요구 사항을 줄인다. 방대한 데이터 세트에만 의존하는 대신, causal model은 변수 간의 관계에 대한 사전 지식을 활용하여 더 적은 데이터로 더 정확한 예측을 이룬다. 

 

Causal ML vs. Traditional ML: A Deeper Comparison

Traditional ML Approach:

- Identifies patterns in historical data to flag customers at risk of leaving.

- Find correlations (e.g., fequent custormer service calls correlate with churn(이탈)).

- Provides useful predictions but does not explain why custormers churn.

Causal ML Approach:

- Determines which factors cause churn rather than just correlate with it.

- Distinguishes between symptoms (e.g., customer compaints) and root causes (e.g., product issues).

- Helps business design interventions that directly impact retention (e.g., improving customer service or loyalty programs).

즉, 머신러닝은 상관 관계를 찾음으로서 예측에 큰 도움을 주지만, 원인을 찾지는 못하는 반면, 인과 ML은 고객 이탈을 유발하는 직접적인 요인을 찾아서, 기업이 고객 유지에 직접적으로 영향을 미치는 개입을 설계하는 데 도움을 준다.

 

Real-World Applications of Causal ML at Netflix

넷플릭스는 궁금했다. 

"작품 썸네일에 사람 얼굴이 들어가면, 그 작품을 더 많이 클릭하게 만드는 원인이 될까?"

- 과거 연구들은 "사람 얼굴이 있으면 시선이 더 간다"고 말하지만, 넷플릭스는 이게 진짜 인과 효과인지, 단순한 우연한 상관관계인지 구분하고 싶었다.

인과 분석을 위한 5단계 접근 

1. 성공 지표 정하기

   - "작품 클릭 비율 (Take Rate)"을 성공 척도로 정함

   - 단, 유명한 작품일수록 클릭률이 높을 수 있으니, 인기도는 보정해서 공정하게 비교함

2. 데이터 수집 & 전처리

   - 넷플릭스는 AI 비전 모델을 사용해 썸네일 속에 얼굴이 있는지를 자동으로 분석 (정확도 92%)

   - 얼굴 외에도 배경 구성, 글자 위치, 폰트 크기, 색상 등 다양한 정보를 추출

3. 가설 수립

   - "썸네일에 얼굴이 있으면, 클릭률(engagement)이 올라갈 것이다"

   - 초기 분석에는 얼굴과 클릭률 사이에 상관 관계가 있었지만, 진짜 원인이 얼굴인지는 아직 확신할 수 없음 $\rightarrow$ 인과 분석 필요

4. 인과 분석 전제 조건 검토

   - 넷플릭스는 인과 추론이 가능한지 아래 조건들을 점검했다.

조건 이름	설명
Consistency	얼굴 탐지 모델이 정확하게 얼굴을 잡아내는가?
Positivity	썸네일마다 얼굴이 들어갈 확률이 다양한가? (한쪽에 쏠리지 않는가? $\rightarrow$ 라벨이 불균형 하면 안되는 건가 ?)
SUTVA	한 썸네일의 성과가 다른 썸네일에 영향을 안 미치는가?
Conditional Exchangeability	얼굴이 있는지 여부 외에 숨겨진 영향 요인 (confounder)가 없는가?

   - 이 조건이 충족되어야 얼굴의 "인과적 영향"을 제대로 분석할 수 있다.

 

5. 인과 ML 모델 적용

   - Double Machine Learning (Double ML)

   - Causal Forest

   - Causal Neural Networks

 

 

6. 결론 및 인사이트

   - 썸네일에 사람의 얼굴이 포함되면 해당 콘텐츠의 선택 확률이 유의미하게 증가 

   - 특히, 콘텐츠의 분위기와 일치하는 표정이 품부한 얼굴이 있는 썸네일이 더 높은 참여를 유도했다. 예를 들어, 코미디 장르는 웃는 얼굴이, 스릴러 장르는 긴장된 표정이 효과적이었다.

   - 대부분의 장르에서 얼굴이 포함된 썸네일이 긍정적인 영향을 미쳤지만, 애니메이션이나 다큐멘터리와 같은 특정 장르에서는 그 효과가 상대적으로 약했다.  

 

Causal Machine Learning 구현의 과제 및 고려사항

1.가정이 틀리면 결론도 틀린다.

   - 인과 모델은 '어떤 것이 원인이다'라고 가정을 세워서 분석하는데, 이 가정이 틀리면 결과도 완전히 틀어짐

   - 예: 질병의 원인이라고 가정한 지표가 사실은 증상이었다면? 잘못된 치료가 이루어질 수 있다.

2. 데이터가 부족하거나 설계가 미비하면 인과 추론이 어렵다.

   - 인과 추론에는 무작위 실험(RCT)이나 자연 실험 같은 특별한 데이터가 필요하다.

   - 일반적인 관측 데이터로는 진짜 인과 관계를 알기 어렵고, 검증 불가능한 가정에 많이 의존하게 됨

3. 편향된 데이터는 인과 모델도 잘못되게 만듦

   - 학습 데이터 자체에 역사적인 편향(특정 집간이 더 적게 치료를 추천받은 기록)이 있다면, 인과 모델도 그 편향을 따라가게 되고, 불평등을 더 강화할 수도 있다.

4. 전문 지식이 꼭 필요하다.

   - 도메인 지식 + 인과 추론 기법에 대한 전문성 둘 다 필요하다.

5. 검증이 어렵다.

   - 일반 ML 모델은 accuracy, loss 같은 지표로 성능을 쉽게 평가할 수 있지만, 인과 모델은 "진짜로 원인이 맞는지"를 확인하려면 실제로 개입(실험)을 해봐야 한다.

   - 예: A 기능이 클릭을 늘린다고 해도, 직접 실험하기 전엔 확신할 수 없음

 6. 연산량이 많다.

   - 인과 모델은 특히 변수가 많거나 구조가 복잡하면 연산량이 폭발적으로 증가한다.

7. 기존 ML 시스템과 호환이 안 됨

   - 많은 조직이 기존에 전통적인 ML 파이프라인을 갖고 있음

   - 여기에 인과모델을 추가하려면 시스템 구조도 바꾸고, 팀도 변화해야 하므로 기술적/조직적 비용이 크다.   

 

 

후기

인과 추론이 기존 머신 러닝이 할 수 없는 한계를 뛰어 넘을 수 있다는 것에는 큰 매력이 있다. 그럼에도, 데이터를 잘 구축해야한다는 점과, 필요한 전제 조건을 충족해야하고, 인과 머신러닝 기법을 통해 원인을 추론했다 하더라도, 그것을 검증하기 위해서는 자연 실험이나 기존 논문, 임상 지식과 비교를 해야한다.

연구의 도구로써 인과 추론이 기여점을 가지려면, 희귀병 같이 잘 알려져 있지 않은 사례에 대해 밝혀내야 하지 않을까? 그렇지 않다면 이미 알려져 있는 원인을 수고스럽게 복잡한 모델링으로 찾는 꼴이다. 찾았다 하더라도 그 가치가 얼마나 있을지는 모르겠다.  

이러한 고민을 chatgpt에게 물어봤다.

즉, 이미 알려진  사실을 검증하고 계량화 하는 데에도 사용될 수도 있다.

하지만 진짜 인과 추론이 가치를 가지려면, 경영 전략 수립 같은 중요한 의사 결정 문제에서 기존에 레퍼런스가 없는 것에 대해 원인을 밝히려 해야한다. 의료 분야에서는 이런 상황이 있나? 인과 추론을 방법론으로 선택할 만한 문제를 정의할 수 있나? 를 고민해보고 연구주제를 정해야 할 것 같다.