!pip install -q -U transformers==4.38.2!pip install -q -U datasets==2.18.0!pip install -q -U bitsandbytes==0.42.0!pip install -q -U peft==0.9.0!pip install -q -U trl==0.7.11!pip install -q -U accelerate==0.27.2 import osimport pandas as pdfrom tqdm.auto import tqdmimport torchfrom datasets import Datasetfrom transformers import (AutoTokenizer, AutoModelForCausalLM, ..
[시계열 딥러닝] 6차 미프 (1) - 상품 판매량 예측
문제 해결역량의 정의 - 어떤 문제가 주어질지는 모르나, 어떠한 문제가 발생하든 해결하는 능력이 능력을 이번 6차 미니프로젝트에서 평가한다.비즈니스 문제 상황 미국의 한 유통 매장에서 상품별 재고문제 해결 필요매장에는 항상 과재고와 재고 부족 문제가 존재한다.수요가 많거나 급증하는 상품: 재고 부족수요가 적거나 급감하는 상품 : 과재고 판매량 기반 적정 발주 시스템을 구축했으나, 재고 문제가 개선되지 않는다.과도한 재고 증가는 현금이 묶여 현금 흐름에 문제가 발생한다. 따라서 파일럿 프로젝트 진행핵샘 상품 3개를 선정하고, 이들에 대한 수요 예측을 기반 발주 시스템 가능성을 검토한다. 과제 요구사항 데이터 탐색 및 가설 도출매일 저녁 9시에 매장 업무를 마감한다.당일 및 최근 판매량과 리드타임(발주 후 ..
[언어지능 딥러닝] 38일차 - 딥러닝의 역사~GAN 까지 + 코드
복습 TF-IDF로 벡터화한 값은 자카드 유사도를 제외한 모든 유사도 판단에서 사용한다. 코사인 유사도 - 직관적인 유사도 값을 가진다. 회사에서 코딩하는 거랑 연구하는 것이랑 다르다. 소프트웨어 값을 계속 바꿔도 소리가 안잡힌다. pcb 하드 웨어에서 전력이 문제 업체 부르면 해결 회사는 공부를 가르쳐 주는 게 아니라, 데드라인을 맞추는 게 중요하다. 남의 코드를 잽싸게 보고, 거기에 내가 원하는 코드를 빠르게 넣는게 중요하다. 남의 코드를 많이 돌려보면서 눈에 익어서, github 같은 코드 중에서 빠르게 고칠 수 있는 능력이 제일 좋다. 소프트웨어공학 - 에자일 방법론, 디자인 패턴 회사에서는 제일 중요한 게 이것이다. Word Embedding 신경망을 만들어서 학습을 시켰다. 일단 원핫 인코딩을..
[에이블스쿨] 미니프로젝트 4차(2)- 쿨루프 시공 대상 여부 Detection(Yolov8)
주제 쿨루프 시공 대상 여부 Object Detection(이미지 데이터) 공무원에게 쿨루프 지원 사업을 실제로 가지 않아도 확인할 수 있도록 Detect 모델 만들기 cool roof와 일반 roof가 annotation 된 200개의 데이터 제공 문제 정의 일반 roof와 cool roof를 판단할 수 있는 object Detection 모델을 만든다(목표는 사업 대상이 되는 일반 roof) 평가 함수 : mAP50~95(현재는 mAP를 많이 보지 않는다) 목표 Object Detection 전처리 과정 실습 이미지 데이터 Augmentation 실습 Yolov8을 사용할 수 있는 형식을 만들기 위한 이미지 이동, 폴더 설정 Detection 성능 향상을 위한 추가적인 하이퍼파라미터 설정, Augme..
[에이블스쿨] 미니프로젝트 4차(1)- 차량 파손 여부 이미지 분류하기(sub-gan, Sam 등)
주제 차량 공유업체의 차량 파손 여부 분류하기(이미지 데이터) 302개의 normal 데이터, 303개의 abnormal 데이터가 존재한다. 문제 정의 605개의 이미지 데이터가 있을 때, 파손 여부를 이진 분류할 수 있는 모델을 개발한다. 평가 함수 : Accuracy 목표 이미지 데이터 전처리 과정 실습 이미지 데이터 Augmentation 실습 CNN, 전이학습 실습 모델 성능 향상을 위한 추가적인 하이퍼파라미터 설정, 다양한 전이학습 모델의 실습 프로젝트 내 역할 이미지 사이즈, learning_rate 및 weight_decay 반복 실험 Sam(Sharpness-Aware Minimization) 시도 sub-GAN 같은 Abnormal Detection에 대해서도 시도 Cost가 적게 들어갈..
[에이블스쿨] 미니프로젝트 3차 - 센서 데이터 분류 예측
주제 센서 데이터 분류 예측 문제 정의 562개의 피처 데이터를 통해,타겟값인 6개의 동작 분류 3일차 캐글 컴퍼티션에는 라벨 12개를 분류 목표 피처 엔지니어링 실습 탐색적 데이터 분석 실습 머신러닝 모델링 과정 실습 모델 성능 향상을 위한 추가적인 피처 엔지니어링/튜닝 실습 프로젝트 내 역할 pycaret을 이용한 Best model 도출 시계열 피처 도출 smote를 이용한 upsampling boxcox를 이용한 데이터 변환 최종 순위 21위 1. 데이터 분석 1.1 구성 data01_train 각 피처를 이미 전처리한 데이터. 필터 및 스케일링까지 적용되어 있으므로 따로 전처리할 필요는 없다. feature 각 피처가 속한 그룹을 표시하는 데이터 train, test,sample - 캐글용 1...