시카로의 공부방

전 포스트에서 만들었던 SpringBootDeveloper 패키지를 우클릭하여 New - Class를 선택하고 TestController.java 파일을 만들어봅시다. 그리고 다음과 같이 코드를 입력합니다.package me.shinsunyoung.springbottdeveloper;import org.springframework.web.bind.annotation.GetMapping;import org.springframework.web.bind.annotation.RestController;@RestControllerpublic class TestController { @GetMapping("/test") public String test() { return "Hello, wo..

스프링 부트를 설치하기 위해 다음과 같은 프로세스를 따릅니다.https://www.jetbrains.com/ko-kr/idea/download 에서서 인텔리제이션 커뮤니티 버전 설치 파일 다운로드다운로드한 파일을 더블클릭해 실행하고, Installation Options에서만 'Add "bin" folder to the PATH 항목만 체크하고 나머지는 기본값을 그대로 두고 설치 진행MacOS 에서는 1번은 그대로 진행하되, 2번은 Applications 폴더로 옮기고 이용라이선스 동의 한 후 기본값으로 설치하면 됩니다.설치가 끝나고 인텔리제이를 처음 실행하면 Intellij idea user agereement 창이 나타나고, 체크 한 후에 다음을 눌러 진행합니다.New Project를 누르고 New ..

스프링은 엔터프라이즈 애플리케이션(많은 사용자의 요청을 동시에 처리하는 애플리케이션)이 나옴으로서 서버 성능과 안전성 및 보안을 원활하게 만들기 위해 들장한 프레임워크입니다. 프레임워크의 특징답게 다른 것들을 신경쓰지 않고, 오직 개발에만 집중할 수 있게 만들어진 도구였습니다. 스프링은 장점이 많은 개발 도구이지만, 설정이 매우 복잡하다는 단점이 있습니다. 그래서 2013년 개발팀은 이 단점을 보완하기 위해 스프링 부트를 출시했습니다. 스프링 부트는 스프링 프레임워크를 더 쉽고 빠르게 이용할 수 있도록 만들어줍니다. 의존성 세트라고 하는 스타터를 이용해서 간편하게 의존성을 상요하거나 관리할 수 있습니다. 스프링 부트의 주요 특징 - 톰캣, 제티, 언더도우 같은 WAS가 내장되어 있어 독립적으로 실행 가능..

필자는 Openai API를 그다지 좋아하지 않는 편이다. 편하지 않다고 하기보다는, 돈이 정말 많이 깨진다. 임베딩도 그렇고, API 호출값도 그렇고.심지어는 레벨이 높지 않으면 토큰 제한까지 존재한다. 그래서 필자는 RAG를 만들 때도 당연히 Ollama와 같은 로컬로 써야 한다고 생각한다. 그러나 애석하게도 AutoRAG 프레임워크는 초보자들을 위해서 기본 Openai API를 쓰게 되어 있다. 그러나 Ollama를 쓰려고 튜토리얼도 없고, 굉장히 험난한 길을 걷게 된다. 이 글은 좀 심화용으로, 어느정도 코딩을 알고, AutuRAG를 활용하면서도 돈을 아끼고 싶은 분들에게 추천하는 글 되시겠다. 데이터셋 만들 때 Ollama 활용하기사실 데이터셋 정도는 ChatgptAPI를 활용해도 되지만..그것..

8월 14일 러닝스푼즈 세미나 요약 이미 알고 있는 것은 거의 생략 RAG 자체에서 QA 자료를 자체로 DB에 넣는 방법도 존재. 멀티 모달 체인으로 확인 테이블 이미지만 추출 unstructed -> 후에 요약하여   ChatGPT API vs LLM Fine-tuning 파인튜닝하는 데이터를 만들 때 ChatGPT API를 굉장히 많이 쓴다.ChatGPT API를 이용해서 부족한 한글 데이터. Text to sql의 수행 사례영어 문장만 한글 문장으로 바꾸면 한글 문장을 SQL로 바꾸는 쿼리가 된다. "실제 텍스트를 참고하여 영어 텍스트를 한글 데이터로 만드세요." 라는 프롬프트. 한글이 가능한 모델을 찾을 때 = LogicKor 사이트를 참고한다.RAG에 사용하려면 모델이 처리 가능한 Context..

Kaggle에서 chromadb를 다운받았을 때, Sqlite를 업데이트 해야 한다면서 실행이 안되는 경우가 발생했다.RuntimeError: Your system has an unsupported version of sqlite3.Chroma  equires sqlite3 >= 3.35.0. Please visit https://docs.trychroma.com/troubleshooting#sqlite to learn how to upgrade. 결론부터 말하자면 Kaggle환경에서는 Sqlite를 업데이트 할 수 없으나, 우회해서 사용이 가능하다는 거다.필자가 구동시킨 바로는 다음과 같은 방법으로 사용이 가능하다. 고민하다가 버전을 바꿔보니 작동해서 이렇게 글을 쓰게 되었다. 1. chromadb==..