게시자::
XinYe
2 weeks, 1 day ago
(0 comments)
2024년은 자율주행, AI 지도, 지능형 고객서비스 등 인공지능 관련 애플리케이션이 비가 내린 뒤 버섯처럼 솟아오르며 우리 삶 구석구석까지 파고드는 해가 될 것이다. 그러나 이러한 멋진 애플리케이션 뒤에는 데이터 처리라는 어려운 문제가 숨어 있습니다. Hadoop, Spark, Flink 등 전통적인 빅데이터 기술은 더 이상 AI 시대의 속도를 따라잡을 수 없습니다. 시스템은 매우 복잡하고 각 구성 요소에는 전문적인 관리가 필요하며 데이터 복제는 번거롭고 리소스 예약은 충분히 스마트하지 않아 사람들은 항상 데이터 폭발에 대해 걱정하게 됩니다.
저자가 고민에 빠져 있을 때 Tencent Cloud의 신제품 출시 컨퍼런스가 빛을 발했습니다. 새로운 데이터 인텔리전스 플랫폼 tc house-X는 데이터와 AI의 통합을 간단하고 효율적으로 만들 수 있다는 것입니다. 다음으로 tc house-X의 혁신을 자세히 살펴보겠습니다.
1. 구조 단순화 및 효율성 향상
기존 데이터 처리에서는 데이터베이스, 데이터 레이크, 데이터 웨어하우스 및 기계 학습 플랫폼 간에 데이터를 앞뒤로 복사해야 합니다. 다양한 처리 방법은 일괄 처리를 위한 Hadoop 및 Spark, 스트림 처리를 위한 Spark Streaming 및 Flink와 같은 다양한 오픈 소스 구성 요소에 대응해야 합니다. 대화형 쿼리는 Crystal, Doris 등을 사용하므로 기업 개발 및 유지 관리 비용이 높고 데이터 시스템이 매우 복잡해집니다.
tc house-X는 하나의 데이터를 기반으로 여러 비즈니스 로드를 지원하여 빅데이터 또는 데이터 플랫폼 아키텍처를 효과적으로 단순화하고 데이터 분석 효율성을 향상시킬 수 있습니다. 저장 및 계산에 동일한 데이터를 사용하고 아키텍처가 더 간단하며 비용이 저렴하고 운영 및 유지 관리가 더 쉽습니다.
2. 유연하고 지능적인 확장
- 갑작스런 트래픽 대처 : 전자상거래 플랫폼을 예로 들어보겠습니다. 플랫폼에서 이벤트나 라이브 방송으로 인해 트래픽 피크가 발생하는 경우 리소스가 이를 따라잡지 못하면 사용자 경험이 크게 저하되고 비즈니스에도 영향을 미치게 됩니다. tc house-X의 지능형 확장 기능은 부하 변화를 실시간으로 감지하고, 자동으로 더 많은 컴퓨팅 리소스를 끌어오고, 트래픽이 손실되지 않도록 몇 초 만에 용량을 확장할 수 있습니다.
- 리소스 할당 최적화 : 많은 회사에서는 야간에 실행되는 일괄 작업을 가지고 있습니다. 기존 플랫폼에서는 리소스를 미리 할당해야 하므로 하루 동안 유휴 상태로 방치되어 낭비가 발생합니다. TC하우스-
- 극단적 쿼리 처리 : 동료가 잘못된 SQL 문을 작성하여 쿼리 볼륨이 급증하고 시스템 마비가 발생하는 경우 tc house-X 내부의 AI 지능형 스케일링 시스템은 AI 모듈을 통해 실제로 이를 달성할 수 있습니다. 리소스 계산을 늘리거나 쿼리를 차단하고 무시합니다.
3. 최고의 성능, 획기적인 문제점
- 자체 개발 엔진 최적화 : TC house-X는 스토리지, 컴퓨팅, 네트워크의 3차원에서 심층적인 최적화를 수행하는 자체 개발 엔진을 보유하고 있습니다. 과거에는 대규모 보고서를 쿼리하는 데 약 100초가 걸렸습니다. 이 플랫폼을 사용하면 쿼리 속도가 몇 초로 단축되고 효율성이 거의 10배 향상됩니다.
- 스토리지 및 컴퓨팅 분리 아키텍처 : 기존 데이터 플랫폼은 스토리지와 컴퓨팅을 결합합니다. 데이터 양이 증가하면 스토리지 비용과 컴퓨팅 리소스 요구 사항이 동시에 증가하여 비용 성능이 저하됩니다. tc house-X는 완전히 분리되어 필요에 따라 리소스를 할당할 수 있는 스토리지와 컴퓨팅 분리 아키텍처를 채택합니다. 데이터 스토리지 확장이 유연하고 저렴하며, 컴퓨팅 리소스를 작업에 따라 자동으로 끌어올려 효율성을 높인다. 공식 테스트 결과, 오프라인 일괄 처리에 대한 전반적인 비용 효율성이 약 10배 향상되었으며, 기업 수준의 스토리지 및 컴퓨팅 비용을 최대 50%까지 절감할 수 있는 것으로 나타났습니다.
- 증분 계산 지원 : 예를 들어 월간 매출을 계산할 때 과거의 모든 데이터를 매번 계산해야합니다. 그러나 TC하우스는——
tc house-X의 매력을 직접 경험해보고 싶다면 Tencent Cloud 공식 홈페이지를 방문해 직접 체험해 보는 것도 좋을 것 같습니다. 기업 개발자, 데이터 분석가 또는 AI 애플리케이션 팀이든 상관없이 데이터 및 AI 처리 문제를 쉽게 해결하여 더 멋진 작업에 소요되는 시간을 줄일 수 있습니다. tc house-X에 대해 궁금한 점이 있거나 데이터 처리에 문제가 발생하는 경우 댓글 영역이나 공격에 있는 모든 분들과 자유롭게 소통하시기 바랍니다.
페이스북에 공유
코멘트
현재 댓글이 없습니다