https://github.com/PINTO0309/onnx2tf GitHub - PINTO0309/onnx2tf: Self-Created Tools to convert ONNX files (NCHW) to TensorFlow/TFLite/Keras format (NHWC). The purpos Self-Created Tools to convert ONNX files (NCHW) to TensorFlow/TFLite/Keras format (NHWC). The purpose of this tool is to solve the massive Transpose extrapolation problem in onnx-tensorflow (onnx-t... github.com pytorch에는 장점이 있다. hu..
제조업같은 곳에서는 precision 뿐만 아니라 recall이 높아질 수록, 불량품의 갯수가 줄어든다. 그렇게 불량품의 갯수가 줄어든다는 소리는 검출할 수 있는 데이터 셋이 줄어들고, 특징 추출이 어렵게 된다는 것이다. Upsampling을 적용할 수는 있으나, 다른 정상적인 데이터가 영향을 받고, accuracy적인 면에서 한계점이 있을 수 있다. 그렇다면 진짜 데이터에서 특징을 추출해서, 가짜 데이터를 분간하는 데 사용할 수는 없을까? 진짜에서 진짜의 특징을 빼면 가짜다 AutoEncoder의 원리는 이렇습니다. 정상 데이터만을 가지고 Training을 진행한다. 그리고 정상 데이터의 중요한 특징만을 추출해서 기억한다. 그렇게 만들 모델에 val data를 넣었을 때, 일정 Threshold를 넘는..
train.columns # 로지스틱 회귀분석 p-value를 넣을 리스트 선언 result_total = [] train['Result_v1'].unique() train['Result_v1'] = train['Result_v1'].astype('category') 먼저 가설을 세운다. 귀무가설 : 각 feature는 target(Result_v1)에 영향을 주지 않는다. 대립가설 : 각 feature는 target(Result_v1)에 영향을 준다. # url_num_hyphens_dom model = sm.Logit(train['Result_v1'], train['url_num_hyphens_dom']) result = model.fit() result_total.append(result.pvalu..
from catboost import CatBoostRegressor from hyperopt import fmin, tpe, hp, STATUS_OK, Trials from sklearn.model_selection import cross_val_score # 하이퍼파라미터 검색 공간 정의 space = { 'depth': hp.quniform('depth', 3, 16, 1), 'learning_rate': hp.loguniform('learning_rate', -5, -0.5), 'l2_leaf_reg': hp.loguniform('l2_leaf_reg', -16, -1), 'max_bin': hp.quniform('max_bin', 16, 512, 1), 'one_hot_max_size': hp...
비즈니스를 위한 인공지능(모델 해석 및 설명, 변수 중요도,PFI, shap)
비즈니스 해석에 대한 중요한 글을 찾아 더 디벨롭해서 정리해보고자 한다. 아마 이번 기수에서는 배우지 않을 것 같아 쓴다. 모델을 만드는 데 있어 항상 필요한 두 가지의 질문. 1. 모델이 왜 그렇게 예측했는가? 2. 그 모델이 정말로 비즈니스 문제를 해결 할 수 있는가? 위의 두 문제에 대한 걸 알아보자. interpretability(해석 가능성) 과 Explainability(설명 가능성) 왜 모델이 그렇게 예측했는지에 대한 문제 본질적으로 해석 가능한 모델 -> whitebox model 즉, 시각화가 가능하거나(Decision Tree 기반) coef 도출이 가능한 선형 회귀 문제 등이다. Output을 본질적으로 해석할 수 없다면(딥러닝) Blackbox model이 된다. Explainabl..
PyCaret H2O AutoML TPOT Auto-sklearn FLAML EvalML AutoKeras Auto-ViML AutoGluon MLBox pycaret 사용법 !pip install pycaret !pip install markupsafe==2.0.1 !pip install --upgrade pycaret import pycaret print(pycaret.__version__) from pycaret.classification import * #분류 from pycaret.regression import * #회귀 3.3.0이 최신버전 exp = setup(data=train_df, target='Activity_dynamic', train_size=0.9, normalize=True,..