코드 변경 없이 기존 스파크 워크로드를 가속하면서 클라우드 인프라 비용까지 줄일 수 있는 기업용 데이터 엔지니어링 기능이 출시됐다. AI 도입 확대로 데이터 준비 속도가 핵심 과제로 부상한 가운데, 하이브리드 환경 전반에서 일관된 거버넌스를 유지하면서 처리 성능을 높이는 방향으로 시장 대응이 이뤄지고 있다.

 

클라우데라(Cloudera)는 20일 NVIDIA의 CUDA-X 라이브러리 ‘cuDF’를 기반으로 한 아파치 스파크(Apache Spark) 4.1용 네이티브 GPU 가속 기능을 클라우데라 데이터 엔지니어링에 도입한다고 밝혔다.

 

 

이번에 도입되는 GPU 가속 기능의 주요 특징은 △아파치 스파크 4.1 워크로드에 대한 제로 코드(zero-code) GPU 가속 △ETL 및 데이터 준비 속도 향상 △수동 드라이버 설정이 필요 없는 내장형 배포 △클라우데라 통합 데이터 패브릭(Cloudera Unified Data Fabric)을 통한 엔터프라이즈급 보안·거버넌스다.

 

단일 클라우드 공급업체에 한정되는 기존 GPU 가속 솔루션과 달리, 클라우데라는 하이브리드 환경 전반으로 기능을 확장하면서 일관된 거버넌스와 운영 환경을 유지한다는 방침이다.

 

 

레오 브루닉(Leo Brunnick) 클라우데라 최고제품책임자(CPO)는 “많은 기업에서 AI의 걸림돌은 모델이 아닌, 원시 데이터를 얼마나 빠르게 신뢰할 수 있고 활용 가능한 인사이트로 전환할 수 있는지 여부”라며 “클라우데라 데이터 엔지니어링 내 스파크 가속으로 이 병목을 해소할 수 있다”고 밝혔다.