3. Model eval, Inference Time
•
model의 정확도(Accuracy)
Resnet | KoBERT(Fine tuned) | fusion(Decision Tree) | |
Pretrained | X | O | X |
Epoch | 30 | 12 | |
Train Acc | 99.71% | 99.17% | |
Test Loss | 0.1278 | 0.1221 | |
Test Acc | 97.29% | 93.6% | Accuracy : 89% |
•
각 model은 cpu를 통해 inference를 수행합니다.
•
sagemaker 대신 로컬 혹은 같은 환경에서 2개의 모델이 inference를 수행합니다.
•
Mac M1 Pro 칩 기준으로 inference time
◦
Resnet : 평균 1초 이내
◦
KoBERT : 평균 6초 이내 (모델과 토큰나이저를 cache로 저장하여 사용 시, 1초 이내)
◦
평균 2초가 소요됩니다
•
EC2 t2.medium 기준 inference time
◦
캐싱 이전 = 서버 실행 후 최초 1회 수행
캐싱 이전 | 캐싱 이후 | |
Resnet | 평균 1초 | 평균 1초 이내 |
KoBERT | 15초 | 1초 이내 |
•
이전 실험 모델
◦
Audio
▪
Deep CNN (Epoch : 30)
•
Drop out O, Batch Normalization O
•
Train Acc: 93.69%
•
Val Loss: 0.2338
•
Val Acc: 93.19%
▪
CNN - LSTM - Attention (Epoch : 30)
•
Batch Normalization X
◦
Train Acc: 0.9851
◦
Test loss: 0.3253
◦
Test Acc : 0.934
•
Batch Normalization O
◦
Train Acc : accuracy: 0.9929
◦
Test loss: 1.1450
◦
Test Acc : 0.8998
▪
Resnet50(Pretrained - Finetuning)
•
Epoch : 15
•
Train Acc : 49%
•
Test Acc : 27%
▪
InceptionV3(Pretrained - Finetuning)
•
Epoch : 15
•
Train Acc : 0.85%
•
Test Acc : 0.82%
◦
Text model
▪
BERT
•
loss: 1.2687
•
Test accuracy: 0.9181
•
Accuracy와는 별개로 분류 시, 한국어의 미세한 어감을 감지하지 못함