[실험] Django vs FastAPI 부하 테스트
STT나 TTS는 제외하고, 단순히 백엔드만의 부하 테스트를 간편하기 위해 Locust로 진행했다.우리 서비스의 동시 사용자 수는 대략 최대 50~100명으로 예상하고 진행했다.# locustfile.pyfrom locust import HttpUser, task, betweenimport jsonimport uuidclass SpeechProcessingUser(HttpUser): # 사용자가 요청 사이에 대기하는 시간 (초 단위) wait_time = between(1, 3) @task def send_speech_text(self): # 무작위 세션 ID 생성 session_id = str(uuid.uuid4()) # 테스트에..
STT API + LangChain Agent + TTS API모든 과정 Edge Function 사용 전체 Html + FastAPI전체 처리 시간: 1018.7060546875 mshtml_test/:354 tts 시간: 2460.004150390625 msfavicon.ico:1 GET http://127.0.0.1:5500/favicon.ico 404 (Not Found)Understand this errorAIhtml_test/:517 전체 처리 시간: 1000.872802734375 mshtml_test/:354 tts 시간: 3073.755859375 mshtml_test/:517 전체 처리 시간: 1459.635009765625 mshtml_test..
Edge Function이라는 기술이 있다. 이 기술은 서버에 무언가 데이터를 저장할 필요가 없을 때, API콜을 프론트엔드와 가까운 쪽으로 만들어서 바로 실행하여 레이턴시를 줄이는 기술이다. 현재 STT - Backend - TTS의 프로젝트를 진행하는데, ChatGPT TTS를 실행할 일이 생겼다.그러나 만약 백엔드에서 TTS를 실행하면, 프론트엔드에 넘겨 줄 때 텍스트 파일이 아닌 오디오 파일로 변환해야 하며, 이는 그만큼의 오버헤드와 레이턴시를 증가시키게 된다. 얼마만큼 차이가 나냐고?그래서 한번 실험해봤다. 결론부터 먼저 보고 가자.Edge Function 적용전체 처리 시간: 1068.966064453125 ms전체 처리 시간: 1832.30712890625 ms전체 처리 시간: 2110.33..
Web Speech API는 WAV 파일을 넣고 자동적으로 돌아갈 수 없는 시스템이다. 프론트엔드에서 직접적으로 부를 수 있는 API여서 그렇다.CER이 궁금했던 나는 전에 해봤던 Whisper 파인튜닝 실험과 같이 성능 측정을 시도했다. 방법은 이렇다. 자동화를 위해서 source를 가져와 스피커로 틀고, 그 스피커로 튼 걸 마이크로 인식시킨다. 그렇게 지난번 포스팅과 똑같은 1000개 정도의 샘플 파일을 다음과 같은 코드로 시도했다. Web Speech API CER 측정 시작 결과는 어떻게 나왔을까? 파일: 노인남여_노인대화07_F_CSO00_62_수도권_녹음실_07250.wavSTT 결과: 저사람이나한테저렇게행동을하는구나원본 텍스트: 저사람이나한테저렇게행동을..
https://openai.com/index/introducing-the-realtime-api/ Chatgpt에서 6일 전에 Realtime api가 출시되었다.4o와 연동된 Websocket형 실시간 API로서, 오디오와 텍스트 전부를 받아들이고 실시간으로 답변할 수 있는 API이다. 기존의 연동된 대답이 STT - 텍스트 받아들이기 - TTS로 출력이었다면, 이제는 한꺼번에 대답까지 해주는 식이다. 실제로 필자는 출시되자마자 시도해보았다. 일단은 Beta 버전이라 React와 Node.js로 된 코드로만 실행할 수 있고, API 키가 필요하다.코드는 이곳에 있다. userHello!assistantHello! How can I assist you today?user이봐 너 한국말도 되는거야 지금?a..
https://velog.io/@cjkangme/%EC%A0%9C-4%ED%9A%8C-K-%EB%94%94%EC%A7%80%ED%84%B8%ED%8A%B8%EB%A0%88%EC%9D%B4%EB%8B%9D-%ED%95%B4%EC%BB%A4%ED%86%A4-%ED%9B%84%EA%B8%B0 1. Where (어디에 팔아야 하는가?)타겟 시장: 고령자가 기술에 가장 쉽게 접근할 수 있는 장소나 환경을 고려해 보세요.노인 복지센터: 지역 사회의 복지관이나 정부 지원 프로그램과 협력.원격 의료 플랫폼: 이미 고령자들이 사용하는 원격 의료 서비스와 통합.요양 시설: 요양원, 병원, 혹은 클리닉 같은 고령자가 자주 방문하는 장소에 제공.가족 및 보호자 네트워크: 고령자를 돌보는 가족이나 보호자 커뮤니티와 협력해 서비..