오늘날 디지털 시대에 지능형 서비스에 대한 기업의 수요가 날로 증가하고 있으며, AI 고객 서비스, 판매자 지식 Q&A와 같은 애플리케이션 시나리오가 점점 더 보편화되고 있습니다. 많은 친구들이 오픈 소스 솔루션을 찾고 이를 기존 코드에 통합하는 방법을 이해하기 위해 회사 내에서 유사한 질문 및 답변 시스템을 구축해야 한다고 제게 말했습니다. 이번 영상에서는 오픈 소스 프레임워크 FastGPT를 사용하여 기업 내부 지식 질문 및 답변 시스템을 구현하는 방법을 안내해 드리겠습니다. 사실 과정은 복잡하지 않으니 한번 살펴보겠습니다.
FastGPT는 LLM 대규모 언어 모델을 기반으로 한 지식 기반 질문 및 답변 시스템이며 많은 실용적인 기능을 갖추고 있습니다. 즉시 사용 가능한 데이터 처리 및 모델 호출 기능을 제공할 뿐만 아니라 프로세스 시각화를 통해 워크플로 조정을 수행하여 복잡한 질문 및 답변 시나리오를 실현합니다. 아키텍처 다이어그램에서 왼쪽은 핵심 데이터와 벡터 데이터 저장을 담당합니다. 모델 게이트웨이는 중간에 API를 통해 구축됩니다. 하단에는 다양한 대형 모델을 연결할 수 있으며, 로컬에 배포된 오픈소스 대형 모델도 사용할 수 있다. 선택은 매우 풍부합니다.
대규모 모델 작업에는 GPU 리소스 수요가 높기 때문에 순수 CPU를 사용하는 경우 질문 및 답변 응답에 1분 이상 걸릴 수 있습니다. 그래서 이번에는 GPU 우선 서버를 선택하고 GPUEZ 지능형 컴퓨팅 클라우드 플랫폼을 사용했습니다. 이 플랫폼에서는 필요에 따라 48G의 비디오 메모리가 있는 인스턴스를 임대합니다. 데모 프로젝트이기 때문에 선불로 결제하고, 1시간 동안 대여하고, 기본 이미지를 지정하는 방식을 선택했습니다. 기계학습, 인공지능과 관련된 과학적 연구와 탐색을 위해 플랫폼을 사용하는 것이 매우 편리합니다. 인스턴스가 실행된 후에는 SSH 연결과 Jupiter Lab 모드가 모두 지원됩니다. 입력 후 SSH 로그인 콘솔과 유사한 터미널을 선택합니다. LINUX 명령을 입력하고 피드백을 받을 수 있습니다.
FastGPT를 설치하기 위해 LINUX, Mac OSX 및 Windows 시스템에 적합한 docker compose 방법을 사용합니다. 조작이 간단하여 "브레인리스 설치"라고 할 수 있습니다. 필요한 유일한 구성은 단일 API 플랫폼에 대한 모델 액세스입니다. 국내 대규모 공공 복지 모델에 대한 접근을 예로 들면 FastGPT에서 제공하는 문서를 따르는 것은 어렵지 않습니다.
이번에 사용된 GPUEZ 지능형 컴퓨팅 클라우드 플랫폼은 탁월한 경험을 제공합니다. 종량제 방식을 지원하며 유연하고 편리합니다. 32G 및 48G와 같은 대용량 단일 카드 비디오 메모리는 다른 플랫폼에서는 드물며 사전 설치된 환경을 제공하며 자체 제작한 이미지를 저장하고 재사용할 수 있습니다. 여기에는 풍부한 기계 학습 및 모델 교육 데이터 세트가 있습니다. 과학적인 연구와 탐구에 큰 도움이 됩니다. 이 플랫폼은 전국 여러 대학의 교사 및 학생, 과학 연구 기관의 연구원과 협력하므로 안전하고 안정적이며 보장됩니다. 지금 등록하시면 5위안 체험 보상과 20% 소비 할인 혜택을 받으실 수 있습니다. 링크는 댓글 섹션에 있습니다. 컴퓨팅 파워 임대가 필요한 친구는 시도해 볼 수도 있습니다.
위의 단계를 통해 FastGPT를 사용하여 기업용 내부 지식 기반 질문 및 답변 시스템을 구축하는 방법을 배웠습니다. 전체 과정은 간단하고 이해하기 쉽습니다. 모두가 자신만의 기업 수준의 AI 질문과 답변 시스템을 구축해 볼 수 있기를 바랍니다. 질문이나 아이디어가 있으시면 댓글 영역에 메시지를 남겨 공유해주세요. 다음 영상에서 만나요!
트위터에 공유 페이스북에 공유
Indie123
코멘트
현재 댓글이 없습니다