1. 임베딩이란 ?임베딩(Embedding)이란 텍스트, 이미지, 오디오 등의 데이터를 숫자 배열(벡터)로 변환하는 것이다. "사과" → [0.12, -0.34, 0.91, 0.07, -0.55, ...] (1536개 숫자)"과일" → [0.11, -0.31, 0.88, 0.09, -0.51, ...]"자동차" → [0.55, 0.72, 0.03, 0.44, 0.21, ...] 핵심 원리는 단순하다. 의미가 비슷한 텍스트는 벡터 공간에서 가까운 위치에 놓인다. 2. 왜 임베딩을 쓰는가 — 키워드 검색의 한계 전통적인 키워드 검색은 단어가 정확히 일치해야 결과가 나온다. 키워드 검색사용자: "강아지 훈련"결과: "강아지 훈련" 포함 문서만 반환→ "반려견 교육", "펫 트레이닝" 같은 연관 결과 누락임..

1. pgvector란?pgvector는 PostgreSQL에 벡터 타입과 유사도 검색 기능을 추가하는 오픈소스 확장(extension) 이다. 별도의 벡터 전용 데이터베이스를 구축하지 않아도, 이미 사용 중인 PostgreSQL에 `CREATE EXTENSION vector;` 한 줄로 벡터 검색 기능을 쓸 수 있게 된다. -- 활성화CREATE EXTENSION IF NOT EXISTS vector;-- vector 타입 컬럼 생성CREATE TABLE items (id SERIAL PRIMARY KEY,content TEXT,embedding vector(1536) -- 1536차원 벡터);-- 유사도 검색SELECT *, embedding '[0.1, 0.2, ...]'::vector AS d..

Avatar 영상 생성 파이프라인을 분석하다 보니모델 로딩과 영상 생성 로직이 하나의 스크립트에 결합된 구조였다이 구조에서는 영상 하나를 생성할 때마다수 분이 걸리는 모델 로딩이 반복되는 문제가 있어보였다👀(물론 현재 테스트하는데는 문제가 없지만, 여러개의 영상을 생성하기 위해 테스트를 하게 되면..?) > 모델 로딩과 영상 생성 로직을 분리하여 서버형 구조로 리팩토링 기존 구조 파일run_demo_avatar_single_audio_to_video.py (단일 파일) 실행방식torchrun --nproc_per_node=1 run_demo_avatar_single_audio_to_video.py \ --input_json assets/avatar/single_example_1.json \ --c..

오디오와 이미지를 기반으로 영상을 생성하는 모델을 테스트하던 중 이상한 현상을 발견했다.11초짜리 음성을 넣었는데 생성된 영상은 5.8초? 정도였다. 처음에는 모델 문제인 줄 알았는데, 코드를 확인해보니 --num_segments 파라미터를 계산해서 전달해야 했다. 예를 들어서 11초 짜리 음성을 넣으면 다음과 같이 실행해야했다. torchrun run_demo_avatar_single_audio_to_video.py \ --checkpoint_dir=./weights/LongCat-Video-Avatar \ --stage_1=ai2v \ --input_json=assets/avatar/single_example_1.json \ --num_segments=3 문제는 이 3이라는 값을 직접 계산..

로컬에서 아래 오픈소스를 테스트해보던 중... https://github.com/meituan-longcat/LongCat-Video GitHub - meituan-longcat/LongCat-VideoContribute to meituan-longcat/LongCat-Video development by creating an account on GitHub.github.com 실행을 시켰는데, 빨간 에러?가 무섭게 주를글그르그그르그ㅡㄹㄱ륵 났다 서치 해보니까 실행하는 데는 문제가 없고, 오류보다는 워닝 같은 로그라고 한다. 정리해 보자면.. 1. 이게 뭔가?ONNXRuntime(음성에서 보컬을 분리하는 Kim_Vocal_2.onnx 모델 실행 시 사용)이 CPU 스레드를 특..

문제텍스트를 청크 단위로 나눠서 생성한 뒤 이어붙이도록 작업을 했는데,청크 사이에 쉼이 전혀 없어서 숨도 안 쉬고 한 문장처럼 쭉 읽는 느낌.. 원인이전에 모든 청크의 오디오를 np.concatenate로 그냥 이어붙이도록 작업이전 작업 글 : https://jinnycoding.tistory.com/107 # 수정 전: 별도로 쉬거나 하는 로직 없이 바로바로 연결combined = np.concatenate(all_segments, axis=0) 수정 내용 (1) split_text() 함수에서 구두점 종류를 함께 반환하도록 변경파일: tools/webui/inference.py:18-63 기존 split_text()는 텍스트 청크만 반환했지만, 수정 후에는 (텍스트, 구두점 종류) 튜플을 반..