À l'ère numérique d'aujourd'hui, la demande des entreprises en services intelligents augmente de jour en jour, et les scénarios d'application tels que le service client IA et les questions-réponses sur les connaissances des commerçants deviennent de plus en plus courants. De nombreux amis m'ont signalé qu'ils devaient créer un système de questions et réponses similaire au sein de l'entreprise, dans l'espoir de trouver des solutions open source et de comprendre comment les intégrer dans le code existant. Dans cette vidéo, je vais vous amener à utiliser le framework open source FastGPT pour mettre en œuvre un système de questions et réponses sur les connaissances internes de l'entreprise. En fait, le processus n’est pas compliqué, jetons-y un coup d’œil.
FastGPT est un système de questions et réponses de base de connaissances basé sur le grand modèle de langage LLM et possède de nombreuses fonctions pratiques. Il fournit non seulement des fonctions de traitement de données et d'appel de modèles prêtes à l'emploi, mais effectue également une orchestration des flux de travail via la visualisation des processus pour réaliser des scénarios de questions et réponses complexes. À partir du diagramme d'architecture, le côté gauche est responsable du stockage des données de base et des données vectorielles. La passerelle modèle est construite via une API au milieu. La partie inférieure peut connecter divers grands modèles, et même de grands modèles open source déployés localement peuvent être utilisés. La sélection est très riche.
En raison de la forte demande de ressources GPU pour les opérations de grands modèles, si un processeur pur est utilisé, la réponse aux questions et réponses peut prendre plus d'une minute. Par conséquent, cette fois, j'ai choisi un serveur GPU d'abord et j'ai utilisé la plate-forme cloud informatique intelligente GPUEZ. Sur cette plateforme, nous louons une instance avec 48G de mémoire vidéo à la demande. Puisqu'il s'agit d'un projet de démonstration, j'ai choisi de payer au fur et à mesure, de le louer pendant une heure et de préciser l'image de base. Pour la recherche et l’exploration scientifiques liées à l’apprentissage automatique et à l’intelligence artificielle, la plateforme est très pratique à utiliser. Une fois l'instance exécutée, la connexion SSH et le mode Jupiter Lab sont pris en charge. Après être entré, sélectionnez un terminal, similaire à la console de connexion SSH. Vous pouvez saisir des commandes LINUX et obtenir des commentaires.
Pour installer FastGPT, nous utilisons la méthode docker compose, qui convient aux systèmes LINUX, Mac OSX et Windows. L'opération est simple et peut être qualifiée d'« installation sans cervelle ». La seule configuration requise est l'accès du modèle à une seule plateforme API. En prenant comme exemple l'accès à un vaste modèle national de protection sociale, il n'est pas difficile de suivre les documents fournis par FastGPT.
La plate-forme cloud informatique intelligente GPUEZ utilisée cette fois offre une excellente expérience. Il prend en charge le paiement à l'utilisation, flexible et pratique ; une grande mémoire vidéo sur une seule carte telle que 32 Go et 48 Go est rare sur d'autres plates-formes ; elle fournit un environnement préinstallé et les images créées par vous-même peuvent être enregistrées et réutilisées ; il dispose d’un riche ensemble de données d’apprentissage automatique et de formation de modèles. Il est d'une grande aide pour la recherche et l'exploration scientifiques. La plateforme coopère avec des enseignants et des étudiants de nombreuses universités du pays et des chercheurs d'institutions de recherche scientifique, elle est donc sûre, stable et garantie. Inscrivez-vous maintenant pour obtenir une récompense d'essai de 5 yuans et une réduction de consommation de 20 %. Le lien a été placé dans la section commentaires. Les amis qui ont besoin de louer de la puissance de calcul voudront peut-être l'essayer.
Grâce aux étapes ci-dessus, nous avons appris à utiliser FastGPT pour créer un système de questions et réponses de base de connaissances interne pour l'entreprise. L’ensemble du processus est simple et facile à comprendre. J'espère que tout le monde pourra essayer de créer son propre système de questions et réponses sur l'IA au niveau de l'entreprise. Si vous avez des questions ou des idées, veuillez laisser un message dans la zone de commentaires pour les partager. Rendez-vous dans la prochaine vidéo !
Partager sur Twitter Partager sur Facebook
Indie123
commentaires
Il n'y a actuellement aucun commentaire