https://www.youtube.com/watch?v=aL7zLnaEdAg&t=786s ROS = 미들웨어 모음 로봇을 만들고 소프트웨어를 재사용할 수 있게 하는 역할을 한다. Plumbing - 시스템 내부 동작 구조 지원 process management inter-process communication Device drivers Tools - 사용가능한 도구 simulation visulaization Graphical user interface Data logging Capabilities - 제어를 포함한 구현 control planning perception mapping manipulation Ecosystem - 패키지 재사용 가능성, 오픈 소스 문서가 많다. Package organi..
[에이블스쿨] 미니프로젝트 3차 - 센서 데이터 분류 예측
주제 센서 데이터 분류 예측 문제 정의 562개의 피처 데이터를 통해,타겟값인 6개의 동작 분류 3일차 캐글 컴퍼티션에는 라벨 12개를 분류 목표 피처 엔지니어링 실습 탐색적 데이터 분석 실습 머신러닝 모델링 과정 실습 모델 성능 향상을 위한 추가적인 피처 엔지니어링/튜닝 실습 프로젝트 내 역할 pycaret을 이용한 Best model 도출 시계열 피처 도출 smote를 이용한 upsampling boxcox를 이용한 데이터 변환 최종 순위 21위 1. 데이터 분석 1.1 구성 data01_train 각 피처를 이미 전처리한 데이터. 필터 및 스케일링까지 적용되어 있으므로 따로 전처리할 필요는 없다. feature 각 피처가 속한 그룹을 표시하는 데이터 train, test,sample - 캐글용 1...
비즈니스 kpi(성과지표)에 얼마나 영향을 미쳤는가 매출, 수익, 비용, 재고 100배가 빨라진 것은 얼마나 비즈니스 관점에 영향에 미쳤는가? high variance = 각 예측값의 편차와 변동성이 높다. bias = 목표 지점으로부터의 거리가 멀다. 적절한 feature을 추가하는 것은 bias를 줄이는 것 -mse, mae가 얼마나 줄었느냐 행(데이터 건수)를 추가하는 것은 편차 줄이기(variance 줄이기) 흔히 bias만 이야기 하지만, variance도 굉장히 중요하다. 학습 : 에포크 = 10~50에서 시작 lr = 0.1~0.001에서 시작 funcional api는 다중 입력을 받아서 결과를 내겠다 할 때 사용하면 좋다. 다중 출력 만약 다중출력을 하려면 마지막에 loss functio..
모델링의 목표 적절한 예측력을 얻기 위해서, 적절한 복잡도의 모델을 생성한다(일반화 성능) 모집단 전체를 바라보는 모델을 만들고 싶은 것이다. 모델의 복잡도는 대체로 하이퍼 파라미터 조정에 따라 복잡도가 달라진다. 모델이 복잡해지면 노이즈 데이터에 대한 데이터(가짜 패턴)까지 학습하게 된다. 따라서, 하이퍼 파라미터 튜닝은 검증 데이터셋에 대해 가장 좋은 일반화 성능을 찾겠다는 뜻이다. 검증 성능을 기반으로 최적의 모델을 선정하는 것 자체가, 과적합을 피하는 방법이다. 적절한 모델 만들기 knn의 그래프를 그려보면, 복잡도를 k가 증가할 때마다 validation과 train loss가 cross하는 지점이 있다. loop, gridsearch,randomsearch등을 찾는다. 성능관리를 위해 딥러닝에..
데이터를 확인하는 건 도메인 지식을 위해서이다. 비즈니스 인사이트와 이해를 얻기 위함. 7차 미프떄 MLops, data pipeline를 배운다. 딥러닝의 성능이 대체로 좋은 곳 -> 시각, 언어, big data, 시계열 [참조] 가중치 업데이트 Gradient : 기울기(벡터) Gradient Decent(경사 하강법, optimizer의 기본) w의 초기값이 지정 : w0 초기값에서의 기울기(방향)을 확인한다. df(w)/dw, w= w0 기울기가 -면 x는 + 방향 기울기가 +면 x는 -방향 learning rate로 조금 조정한다. df(w)/dw * learning rate Wnew = w0 - 편미분(f(w)) x learning rate Wnew는 업데이트 해갈수록 최적화에 가까워진다. ..
data를 불러왔는데 범주형이 검색이 안되는 상황이 발생했다. train.loc[train['Hispanic_Origin'] == 'Do not know', 'Hispanic_Origin'] = ' NA'test.loc[test['Hispanic_Origin'] == 'Do not know', 'Hispanic_Origin'] = ' NA' 이럴때는 .unique()를 써보면, 해당 이름이 어떻게 써져 있는지를 명확히 볼 수 있다.train['Hispanic_Origin'].unique()array([' All other', ' Cuban', ' Mexican (Mexicano)', ' Central or South American', ' Puerto Rican', ' Mexican-Amer..