오늘은 전처리 이후 모델링 단계의 전체 흐름을 정리하고, Feature 비교 실험 중 MACCS166 결과를 분석했다.
전체 모델링 과정은 다음과 같이 정리했다.
모델링 전 검수 → 데이터 분할 → Baseline → Feature 비교 → 알고리즘 비교 → 튜닝 및 Threshold 결정 → Test 최종 평가
특히 Feature와 알고리즘을 동시에 바꾸지 않고, 먼저 Logistic Regression OVR을 고정한 상태에서 Feature만 비교하기로 했다. 이를 통해 성능 차이가 분자를 표현하는 방식 때문인지 명확하게 확인할 수 있도록 했다.
MACCS166 Feature 실험
내가 담당한 Feature는 MACCS166이며 다음 두 가지 실험을 진행했다.
- MACCS166 단독
- MACCS166 + Descriptor9
RDKit으로 전체 7,206개 분자의 MACCS166을 생성했고 실패한 분자는 0개였다. 따라서 MACCS 생성 과정에서 추가적인 데이터 손실은 발생하지 않았다.
MACCS는 166개의 특정 부분구조 존재 여부를 0과 1로 표현하는 Fingerprint이다. 전체 비트에서 1의 비율은 약 **12.1%**로 확인되어 비교적 sparse한 데이터라는 것도 확인했다.
주요 결과
| Descriptor9 | 0.1852 | 0.2341 |
| MACCS166 | 0.2475 | 0.3585 |
| MACCS166 + Descriptor9 | 0.2639 | 0.3805 |
MACCS166이 Descriptor9 단독보다 높은 성능을 보여, 분자량·LogP 등의 단순 물성보다 분자가 어떤 부분구조를 가지고 있는지가 향취 예측에 더 중요한 정보가 될 수 있음을 확인했다.
또한 Descriptor9을 MACCS와 결합했을 때 Macro AP와 Precision@10이 추가로 상승했다.
따라서 현재까지는 다음과 같이 해석했다.
부분구조 정보가 주된 예측 신호이고, 분자 전체의 물성 정보가 이를 보완할 가능성이 있다.
다만 모든 향취가 동일하게 개선되지는 않았다. 예를 들어 MUSK는 Descriptor를 추가했을 때 AP가 크게 증가했지만 일부 향취는 오히려 성능이 감소했다. 따라서 전체 평균뿐만 아니라 향취별 Feature 효과도 함께 확인해야 한다는 점을 알게 되었다.
평가 지표에 대한 이해
우리 프로젝트의 목적은 단순히 향취를 맞히는 것이 아니라,
사용자가 목표 향취를 선택했을 때 적합한 후보 분자를 우선순위로 추천하는 것
이다.
따라서 단순 Accuracy보다는 다음 지표가 중요하다고 정리했다.
- Macro AP: 41개 향취를 균형 있게 얼마나 잘 순위화하는지
- Precision@10: 추천한 상위 10개 후보 중 실제 목표 향취를 가진 분자가 얼마나 있는지
- Top-3 Hit: 실제 향취가 모델의 상위 예측 안에 포함되는지
특히 향후 서비스가 Top-N 후보 추천 형태이기 때문에 Precision@10과 같은 순위 기반 지표를 중요하게 볼 예정이다.
ODORLESS 처리 방향
향취 라벨 중 ODORLESS를 메인 모델에서 제외하는 방향도 논의했다.
ODORLESS를 잘못된 데이터로 보는 것이 아니라, 다른 향취와 문제의 성격이 다르기 때문이다.
- FRUITY, FLORAL, CITRUS → 어떤 향인가?
- ODORLESS → 향이 있는가 없는가?
현재 프로젝트의 목적은 목표 향취에 맞는 향료 후보를 추천하는 것이므로, ODORLESS를 일반 향취와 함께 예측하기보다는 ‘향의 종류 예측’과 ‘향의 존재 여부 판단’을 분리하는 것이 더 적절하다고 판단했다.
ODORLESS 데이터 자체를 삭제하기보다는 향후 무취 판별이나 “명확한 향취 없음” 판단에 별도로 활용할 수 있다.
오늘은 단순히 모델을 실행하는 것보다 왜 Feature를 비교하는지, 어떤 지표를 기준으로 선택해야 하는지, 프로젝트 목적과 모델링 방식이 어떻게 연결되어야 하는지를 정리할 수 있었다.
특히 MACCS 실험을 통해 분자 향취 예측에서는 전체적인 물성뿐만 아니라 분자의 부분구조를 표현하는 방식이 중요할 가능성을 확인했다.
다음 단계에서는 SMARTS와 Morgan Fingerprint 결과까지 동일한 Logistic Regression OVR 조건에서 비교하여 가장 적합한 Feature 1~2개를 선정한 뒤 알고리즘 비교 단계로 넘어갈 예정이다.