반응형

데이터엔지니어 21

[SNOWFLAKE/스노우플레이크 공부] Pro 자격증 준비에 필요한 토막 지식 정리_Table Functions

[SNOWFLAKE/스노우플레이크 공부] Pro 자격증 준비에 필요한 토막 지식 정리_Table Functions   Snowflake의 Table Functions는 데이터베이스에서 쿼리 결과를 테이블 형태로 반환하는 특별한 함수입니다. 이 함수들은 하나 이상의 행과 열을 반환하기 때문에, 일반적인 함수와 달리 쿼리에서 마치 테이블처럼 사용할 수 있어요. 자세히 설명해 볼게요!1. Table Functions란?Table Functions는 **입력값을 받아 여러 행(row)과 열(column)**을 생성하는 Snowflake의 함수입니다.일반적으로 데이터 처리나 변환을 수행한 후, 그 결과를 테이블 형식으로 반환하는 데 사용됩니다.반환된 결과는 SELECT 문 등에서 마치 테이블처럼 사용할 수 있어요..

[SNOWFLAKE/스노우플레이크 공부] Pro 자격증 준비에 필요한 토막 지식 정리_Snowpipe

[SNOWFLAKE/스노우플레이크 공부] Pro 자격증 준비에 필요한 토막 지식 정리_Snowpipe   Snowpipe는 Snowflake의 데이터 로딩 서비스로, 데이터를 자동으로 그리고 지속적으로 Snowflake 데이터베이스에 로드할 수 있도록 도와줍니다. 쉽게 이해할 수 있도록 자세히 설명해 드릴게요!1. Snowpipe란?Snowpipe는 데이터를 실시간으로 또는 거의 실시간으로 Snowflake에 로드하는 방법입니다.주로 클라우드 스토리지(예: Amazon S3, Google Cloud Storage 등)에 저장된 파일을 자동으로 감지하고, 이를 Snowflake 테이블에 적재합니다.2. 어떻게 작동하나요?Snowpipe의 작동 과정은 다음과 같습니다:데이터 준비: 클라우드 스토리지에 데이터..

[SNOWFLAKE/스노우플레이크 공부] Pro 자격증 준비에 필요한 토막 지식 정리_Optimization Service

[SNOWFLAKE/스노우플레이크 공부] Pro 자격증 준비에 필요한 토막 지식 정리_Optimization Service     Snowflake의 Search Optimization Service는 특정 열을 자주 필터링하거나 검색할 때 쿼리 성능을 크게 향상시켜주는 서비스예요. 특히, 대규모 테이블에서 자주 사용하는 WHERE 조건이 있을 때 검색 속도를 빠르게 해주죠. 쉽게 설명해볼게요!1. Search Optimization Service란?Search Optimization Service는 특정 열에 대한 검색이 빠르게 이루어지도록 도와주는 서비스예요.Snowflake는 기본적으로 데이터를 **마이크로 파티션(Micro-Partitions)**에 저장하고, 쿼리 시 이 데이터를 읽어와서 결과를..

[SNOWFLAKE/스노우플레이크 공부] Pro 자격증 준비에 필요한 토막 지식 정리_Clustering Depth

[SNOWFLAKE/스노우플레이크 공부] Pro 자격증 준비에 필요한 토막 지식 정리_Clustering Depth**Snowflake에서 "Clustering Depth"**는 클러스터링된 테이블의 데이터 정렬 상태를 나타내는 지표예요. 데이터가 얼마나 잘 정렬되어 있는지를 파악하는 데 도움이 되며, 클러스터링의 효율성을 평가하는 데 사용됩니다. 쉽게 설명해볼게요!1. Clustering Depth란?Clustering Depth는 테이블의 데이터를 클러스터링 키를 기준으로 정렬된 상태를 나타내는 평균값이에요.이 지표는 특정 클러스터링 키를 기준으로 데이터가 얼마나 고르게 분포되어 있는지를 알려줘요.숫자가 작을수록 데이터가 잘 정렬되어 있고, 숫자가 클수록 데이터가 잘 정렬되지 않았음을 의미해요.2. ..

[SNOWFLAKE/스노우플레이크 공부] Pro 자격증 준비에 필요한 토막 지식 정리_Clustering

[SNOWFLAKE/스노우플레이크 공부] Pro 자격증 준비에 필요한 토막 지식 정리_Clustering **Snowflake에서 "Clustering"**은 테이블 데이터를 효율적으로 정렬해 쿼리 성능을 향상시키는 방법이에요. 특히, 대규모 테이블에서 특정 열을 기준으로 데이터를 자주 조회하거나 필터링할 때, 클러스터링을 통해 쿼리 성능을 크게 향상시킬 수 있어요. 쉽게 설명해볼게요!1. Clustering이란?Clustering은 테이블 데이터를 특정 기준에 따라 정렬하는 것을 의미해요.Snowflake에서는 **클러스터링 키(Clustering Key)**를 설정해, 데이터가 지정된 열 기준으로 정렬되도록 관리해요.이 정렬된 데이터를 이용하면, 필터링(WHERE 절)이나 범위 기반 검색(BETWEE..

[SNOWFLAKE/스노우플레이크 공부] Pro 자격증 준비에 필요한 토막 지식 정리_Materialized Views(물리적 뷰)

[SNOWFLAKE/스노우플레이크 공부] Pro 자격증 준비에 필요한 토막 지식 정리_Materialized Views(물리적 뷰)  **Snowflake에서 "Materialized Views(물리적 뷰)"**는 기존 테이블에서 계산된 결과를 미리 저장해 두는 테이블과 유사한 객체예요. 이렇게 저장된 데이터를 이용하면 반복적인 쿼리를 빠르게 처리할 수 있어요. 일반 뷰와 달리, Materialized Views는 쿼리 결과를 실제로 저장해서 성능을 높이는 데 중점을 둡니다. 쉽게 설명해볼게요!1. Materialized Views란?**Materialized Views(물리적 뷰)**는 기존 테이블에서 특정 데이터를 미리 계산하고, 그 결과를 저장해두는 객체예요.일반적으로 뷰는 실시간으로 데이터를 가져..

[SNOWFLAKE/스노우플레이크 공부] Pro 자격증 준비에 필요한 토막 지식 정리_Caching

[SNOWFLAKE/스노우플레이크 공부] Pro 자격증 준비에 필요한 토막 지식 정리_Caching  **Snowflake에서 "Caching"**은 데이터나 쿼리 결과를 임시로 저장해두고, 같은 요청이 있을 때 빠르게 제공하는 기능이에요. 이를 통해 반복적인 쿼리나 자주 사용하는 데이터에 접근할 때 처리 시간을 줄여 성능을 향상시킬 수 있어요. 쉽게 설명해볼게요!1. Caching이란?**Caching(캐싱)**은 이전에 처리된 데이터나 쿼리 결과를 저장해 두는 것을 의미해요.Snowflake에서는 캐시를 사용해서 같은 데이터를 반복적으로 요청할 때 이미 저장해 둔 데이터를 다시 가져와 빠르게 제공해요.캐시된 데이터를 사용하면 다시 계산하거나 처리할 필요가 없어 시간이 절약되고, 쿼리 처리 속도가 빨라..

반응형