주요 기능:api에 이미지 보내기말로 질문하기너무 답변이 길면 말을 끊을수도 있다.대충 4o 어플이 가지고 있는 기능은 다 넣었다. 하루만에 완성하기 위한 루트.당연히 AI를 써야 한다. gemini api 대회가 있길래 심심해서 만들어본 프로젝트. websim ai = 프론트엔드django를 이용해서 app을 만든다. 그리고 가져다 붙인다. web speech api로 음성을 텍스트로 변환이미지를 받아들이는 건 당연히 리퀘스트 리스폰스 이제 정말 인정할 때가 됐다. AI를 사용하는 건 효율성 측면에서 엄청나다.도대체 이걸 그냥 손으로 쳤으면 얼마나 걸렸을까? 일주일? 한달? 그만큼 파급력이 있다는 걸 인정하고 이제는 차라리 코드를 디버깅 하는 실력을 기르는 게 나은 거 같다.6개월 간 부트캠프 거치면서..
Dense Passage Retrieval (DPR):쿼리와 문서를 고차원 벡터 공간에 임베딩하는 신경망 기반의 방법입니다.의미적 유사성을 잘 포착하여 전통적인 키워드 기반 방법보다 우수한 성능을 보입니다.Contrastive Learning-based Retriever:대조 학습을 사용하여 관련 문서와 비관련 문서를 더 잘 구분하도록 학습합니다.SimCSE나 ConDE와 같은 방법들이 이 범주에 속합니다.Hybrid Retriever:스파스 검색(예: BM25)과 덴스 검색(예: DPR)을 결합한 방법입니다.두 방식의 장점을 결합하여 더 robust한 검색 성능을 제공합니다.ColBERT:쿼리와 문서의 토큰 수준 상호작용을 모델링합니다.세밀한 매칭을 통해 높은 정확도를 제공하면서도 효율적인 검색이 가능..
[논문] Mamba: Linear-Time Sequence Modeling with Selective State Spaces
transformer 기반 백본은 NLP 모델에 아주 파격을 불러왔고, 지금도 많이 연구되고 있는 여러모로 핫한 논문이다. 여태까지 모델은 transformer 기반 구조로, self-attention 메커니즘을 이용해서 텍스트의 정밀도와 정확도를 예측해왔다. 하지만 본 논문에서는 다시 RNN과 CNN 같은 초심으로 돌아가, 게이트 메커니즘을 사용하면서도 아주 빠르게 선형적으로 처리할 수 있는 기반을 마련한다. 어떻게? Selective SSM(State Spaces Modeling)을 통해서! 상태 공간 모델링은 원래 제어에 쓰는 것이다. 본 블로그에서도 로봇이론 포스팅을 할 때 한 번 소개한 적이 있었다.학부가 기계과인 나로서는 자주 보던 공식이라 상당히 흥미로웠다. 본 논문은 어려워보이지만, 핵심..
5,6 주차는 코드 수정 뿐만 아니라, ppt에 시연영상까지 찍어야 해서 글을 쓸 시간도 없었다. 마침내 어제부로 모든 산출물을 제출했고, 내가 했던 것들을 잊지 않기 위해 일단은 기록으로 남겨두려 한다. QA(Qulity Assistance) 작업 어찌 보면 실제 검증을 하기에 가장 중요한 작업이다. 여태까지의 개인 프로젝트와 달리, 상업적으로 이게 실용성 있는지 없는지를 보는 거니 말이다. 일단 프론트엔드 측면에서부터 디자인을 갈아엎었다. 실제적으로 눈에 띄는 디자인과, 실용성이 있는 디자인으로 바뀌었다. 그런 측면에서 코드의 검수는 백과 프론트를 어느정도 다 할 수 있는 내가 자진해서 맡았다. 왜냐하면 그렇게라도 하지 않으면 백과 프론트 연결이 안될 것 같았기 때문이다. 어느정도 데이터의 정의는 약..
[빅프로젝트] 4주차의 시행착오 - 모델링 마무리, 백엔드 기능 구현
4주차는 너무 바빴던 주인 것 같다. 모델링도 마무리하고, 팀원들과 함께 백엔드에 있는 기능들을 통합하면서 자동화를 이루어지게 만들었다.특히나 기능적인 면을 확실히 만들어서 모델링 마무리모델링 파트의 경우, 구급/비구급과 16종의 상황 분류에 대해서는 아주 잘 나왔다. 추가적인 기능 추가를 위해 모델링을 하나 더 하려고 했다. 그러나 긴급도에 대해서 상/중/하를 나누었을 때, 해당하는 것에 대해서는 정확도가 0.57 분류를 잘 하지 못했다.Kc-ELECTRA 모델이 가장 높았고, KoBERT나 KLUE 같은 다른 모델도 써봤으나 효과는 별로 좋지 않았다. 혹시나 해서 데이터를 갈무리해 머신 러닝 모델까지 돌려보았으나 최대 0.6에 그쳤다.아무래도 데이터 자체가 16종 분류를 하는 데 있어서 편향되어 있..
[빅프로젝트] 3주차의 시행착오(3) - Docker 파일 추출 및 모델 API화
지난 글과 이어지는 글이다. 지난 글에 AI 허브에서 데이터가 개방되지 않았다고 했는데, 정말 다행스럽게도 프로젝트가 시작되지 얼마 되지 않아 모델과 데이터가 열렸다!(!!!!) 너무 신나했더니 팀원들이 그렇게나 좋냐며 말했다. 왜냐하면 지난 글에서 분명 accuracy는 높게 달성했지만, 실제 Test 스코어 상에서는 너무 성능이 떨어졌기 떄문이다.한글로 번역해서 한글 데이터 셋으로 Kcelectra를 쓰기도 했지만, 역시나 augmentation을 했어도 너무 성능이 떨어져서 이걸 어떻게 해야 하던 찰나에, 데이터셋이 열린 것이다. 그래서 일단은 제공되는 모델을 실험해보기로 했따.데이터셋은 13만개 정도이므로, GPU를 넣는다면 어느정도 될 수 있으나, 이미 성능이 좋다면 이미 있는 모델을 쓰는 게 ..