anscodus 님의 블로그

오늘 한 일피피티 정리모델 준비하는데 좀만 뭐 하면 과적합이고 데이터 누수고 아니면 성능이 바닥쳐서 어렵다

오늘 한 일Part 1. 13번 — Time Block Variance Investigation1-1. 배경 설명 (왜 이 작업을 했는가)팀 회의에서 "drift 문제를 시간 범주 단위로 나눠서 그 안에서 train/test를 분할하자"는 아이디어가 나왔음. 이를 검증하기 위해 10일 단위 범주를 만들어 fail rate를 확인하던 중, changepoint(2026-01-06) 이후 범주에서 fail rate가 계속 상승하는 패턴과 범주 내부에서도 큰 편차(예: 특정 범주 안에서 70%→97%)가 발견되어, "범주를 어떻게 나눠야 하는지"를 데이터 기반으로 규명하는 것이 이 노트북의 목적이 됨.1-2. 진행 과정10일 범주 검증사출공정_세그먼트_워밍업피처_추가.csv(231,440 shot) 기준 10..

오늘 한 일시간 범주 재설계 및 산포 확대 선행성 분석배경팀 회의에서 나온 아이디어(drift 문제를 시간 범주 단위로 나눠서 그 안에서 train/test를 분할하자)를 검증하는 과정에서, 예상치 못한 급등 구간을 발견하고 원인을 추적함. 최종적으로 실무 조기경보 가능성까지 확인함.1. 10일 단위 범주 구성 및 문제 발견사출공정_세그먼트_워밍업피처_추가.csv(231,440 shot, 2025-07-01~2026-02-28) 기준으로 10일 단위 범주 25개 생성함.범주 0~18 (changepoint 2026-01-06 이전): fail rate 32~56% 사이에서 등락하는 안정적 밴드범주 19~24 (changepoint 이후): 63% → 71% → 74% → 87% → 83% → 76%로 범..

오늘 한 일Option A/B: 사출조건→FAI 통합/장비별 fail 예측 모델 비교Task사출조건 + FAI raw + 워밍업 피처를 활용한 fail 예측 모델을 통합(Option A)/장비별(Option B) 두 방식으로 구축하고 성능 비교Option A: 통합 모델 (전체 장비 + MACH_ID categorical)Feature Set 구성사출조건(공정변수): Cycle Time, 사출 시간, 충진 시간, 최소 쿠션, 충진 피크압, 전 범위 피크압, 보압 완료 위치, 금형온도1, 금형온도2FAI raw 연속값: 31개(_NG 접미사 없는 원본 값 전부)워밍업/세그먼트 피처: is_restart_lot, days_since_restart, downtime_duration, lot_seq_in_seg..

오늘 한 일 TaskTrain/Test Split 재설계 및 모델 재검증 (08_train_test_split_redesign)멘토 피드백에 따라 기존 전체 시간 기준(글로벌) split을 설비별 시간순 split으로 재설계하고, FAI20_P1 예측 모델의 성능을 재검증함.실행 및 진행사항 정리Phase 1. 설비별 가동 타임라인 및 공백 분석13개 설비 중 8개(E05, E06, E07, E09, E10, F02, F03, F08)에서 7일 이상 가동 공백 발견 (총 16건)공백 전/후 9개 사출조건 변수에 KS Test 수행 → 16건 전체에서 9개 변수 모두 pPhase 2. 설비별 Train/Val/Test Split 재설계설비 내에서 시간순 정렬 후 7:1:2 비율로 분할공백 있는 8개 설비 ..

오늘 한 일Train/Test 분할 및 Multi-target FAI 회귀 방법론 검증Part 1. Train/Test 분할 기준 검증[실행 목적] 현재 시간 기준 분할(2025년 7~12월 train / 2026년 1~2월 test)을 사용하는 중인데, 1~2월 FAIL률 급등 구간이 test에 포함되면서 모델 성능이 크게 하락하는 현상이 관찰됨. 이 하락의 원인이 세 가지 중 무엇인지 확인이 필요했음.분할 방식 자체의 문제 (LOT 경계가 훼손돼서 데이터 누수가 생긴 것)모델의 한계 (모델이 부족해서 못 맞추는 것)데이터 자체의 문제 (1~2월 공정 조건이 실제로 달라진 것)[진행 단계]1단계. LOT 경계 검증 LOTN_refined 기준 8,414개 LOT 각각의 시작~종료 시각을 계산해서, tr..

오늘 한 일보고서 정리추가 EDA 주제 고민

오늘 한 일어제 한거에서 공차 데이터 좀더 정확한거 나오면 더 해볼려했는데멘토님 피드백 받아보니까 공차 관련 데이터는 좀... 내부적인 사정도 있고 iso 규정 찾아봐야된대서 나중에 모델 설계할때 본격적으로 파봐야할듯 중간보고서 작성 내일은 중간발표? ppt 만들고 시계열 관련 분석 더 해봐야할듯눈이 좀 간지러운데 낼 아침에 안과 가야할지 고민...

벌써 7월이라니!! 오늘의 TIL도 클로드의 도움을 받아서 정리한 내용 TIL — 사출 조건으로 FAI 공차 이탈을 예측할 수 있을까?오늘 한 일 한 줄 요약04번(월별 드리프트 탐색)부터 08번(SHAP 분석)까지 EDA를 완료하고, 두 노트북을 하나로 통합했다. 중간에 월 순서 오류를 발견·수정했고, 분석 결과가 바뀌는 경험을 했다.핵심 질문"사출 조건 9개만으로 FAI 치수 공차 이탈(OOT)을 사전 예측할 수 있는가?"FAI 측정이 사출 후 8시간 뒤에 나오기 때문에, 사출 조건으로 미리 예측할 수 있다면 불량 발견 지연을 줄일 수 있다는 게 분석 배경이었다.오늘 배운 것들1. 월 순서 하나가 분석 결과를 완전히 바꾼다데이터가 2025년 7월~2026년 2월인데, 코드에서 month_order를 ..

오늘 한 일 클로드한테 TIL 부탁해보앗다 TIL — IPQC/AOI 일별 분석, 그리고 데이터 청소의 연속오늘 한 일 한 줄 요약03번 노트북에서 "월 단위로는 안 보이던 패턴을 일 단위로 잡아보자"는 목표로 1~3단계 분석을 끝까지 돌렸고, 그 과정에서 데이터 결함을 4번이나 마주쳤다. 마지막엔 결과를 PPT로 정리해서 팀 보고용으로 만들었다.핵심 질문"FAIL률과 FAI 치수 이탈이 시간에 따라 변화하는가?"이걸 확인하려고 1단계(일별 FAIL률) → 2단계(FAI 치수 이탈) → 3단계(사출 조건 변화)까지 순서대로 짚어나갔다.1단계: 일별 FAIL률 — 생각보다 명확한 추세가 있었다일별로 쪼개서 보니 2026년 1월부터 FAIL률이 통계적으로 유의하게 증가(Mann-Kendall, ppymann..