도쿄뱅의 즐거운 일본살이

[SNOWFLAKE/스노우플레이크 공부] Pro 자격증 준비에 필요한 토막 지식 정리_Snowpark  Snowpark는 Snowflake에서 제공하는 개발 프레임워크로, 데이터 엔지니어와 데이터 사이언티스트가 Snowflake의 데이터를 보다 쉽게 조작하고 프로세싱할 수 있도록 도와주는 도구예요. 데이터 처리 로직을 코드로 작성해서 Snowflake 안에서 직접 실행할 수 있게 해주는 것이 가장 큰 특징이에요.1. Snowpark란?Snowpark는 Java, Scala, Python 같은 프로그래밍 언어를 사용해 데이터프레임(DataFrame) 기반의 데이터 처리 작업을 Snowflake에서 수행할 수 있는 프레임워크예요.데이터프레임 API를 통해 데이터를 조작하거나 변환할 수 있어요. 이를 사용하면..

[SNOWFLAKE/스노우플레이크 공부] Pro 자격증 준비에 필요한 토막 지식 정리_Streams  Snowflake의 **Streams(스트림)**에 대해 알기 쉽게 설명해줄게요!1. Streams란?**Streams(스트림)**는 테이블에서 일어난 변경 사항을 추적할 수 있는 기능이에요.테이블에서 INSERT(추가), UPDATE(수정), **DELETE(삭제)**와 같은 데이터 변경 작업이 있을 때, 이 변경 내용을 기록하고 추적할 수 있어요.스트림을 사용하면, 테이블의 변경된 부분만 추출해서 데이터 처리 파이프라인을 만들거나, 변경된 데이터를 다른 테이블로 이동시킬 수 있어요.2. Streams의 필요성변경 데이터 캡처(CDC): 데이터베이스에서 변경된 데이터를 캡처하고, 이를 바탕으로 실시간 ..

[SNOWFLAKE/스노우플레이크 공부] Pro 자격증 준비에 필요한 토막 지식 정리_Sequences  Snowflake의 Sequences에 대해 쉽게 설명해볼게요!1. Sequences란?**Sequence(시퀀스)**는 숫자의 자동 생성기라고 생각하면 돼요.데이터베이스에서 주로 고유한 숫자 값을 생성하기 위해 사용해요.새로운 레코드를 추가할 때 자동으로 증가하는 일련번호를 생성할 수 있어요. 예를 들어, 고객 테이블에서 각 고객에게 고유한 ID를 부여할 때 사용해요.2. Sequences의 필요성고유 ID 생성: 테이블에 데이터를 삽입할 때, 중복되지 않는 고유 ID를 부여해야 할 때가 많아요. 이를 수동으로 관리하기 어렵기 때문에 시퀀스를 사용해 자동으로 ID를 생성할 수 있어요.순차적인 숫자 ..

[SNOWFLAKE/스노우플레이크 공부] Pro 자격증 준비에 필요한 토막 지식 정리_Stored Procedure  Snowflake의 **Stored Procedure(저장 프로시저)**에 대해 알기 쉽게 설명해볼게요!1. Stored Procedure란?Stored Procedure는 특정 작업을 자동화하거나 복잡한 로직을 한번에 처리할 수 있는 SQL 코드의 묶음이에요.SQL 쿼리뿐만 아니라 조건문, 반복문, 변수 선언 등을 포함할 수 있어요.이 모든 로직을 하나의 이름으로 저장해서, 필요할 때마다 호출해서 사용할 수 있어요.2. Stored Procedure의 필요성복잡한 작업을 단순화: 여러 개의 SQL 쿼리를 순서대로 실행해야 하는 경우, 이를 저장 프로시저로 묶어두면 한 번의 호출로 작업을..

[SNOWFLAKE/스노우플레이크 공부] Pro 자격증 준비에 필요한 토막 지식 정리_External Functions  Snowflake의 External Functions에 대해 알기 쉽게 설명해볼게요!1. External Functions란?External Functions는 외부 서비스나 클라우드 기능을 Snowflake의 SQL 쿼리 안에서 직접 호출할 수 있도록 해주는 기능이에요.쉽게 말해, Snowflake 내부에 없는 계산이나 기능을, 다른 서버나 API를 호출해서 처리할 수 있게 해주는 거죠.이 기능을 이용하면, Snowflake 밖에 있는 외부 시스템과 실시간으로 데이터를 주고받거나, 외부에서 제공하는 특정 기능을 사용할 수 있어요.2. External Functions의 필요성외부 데..

[SNOWFLAKE/스노우플레이크 공부] Pro 자격증 준비에 필요한 토막 지식 정리_UFDs  Snowflake에서 UDF에 대해 쉽게 설명해볼게요!1. UDF란?UDF는 **User Defined Function(사용자 정의 함수)**의 약자예요.Snowflake에서 기본적으로 제공하는 함수들이 아닌, 사용자가 직접 만들어서 사용할 수 있는 함수를 말해요.SQL 쿼리를 작성할 때 반복적으로 사용하는 계산이나 로직이 있을 때, 이를 함수로 정의해서 재사용할 수 있게 해줘요.2. UDF의 필요성복잡한 로직을 간편하게 처리: 여러 줄의 복잡한 SQL 코드 대신, UDF를 만들어 놓으면 간단하게 함수 하나로 동일한 작업을 반복할 수 있어요.재사용성: 함수 하나를 여러 쿼리에서 재사용할 수 있으니까, 유지보수..

[SNOWFLAKE/스노우플레이크 공부] Pro 자격증 준비에 필요한 토막 지식 정리_GET DDL  Snowflake에서 GET DDL이 무엇인지 알기 쉽게 설명해볼게요!1. DDL이란?DDL은 **Data Definition Language(데이터 정의 언어)**의 약자예요.데이터베이스에서 테이블, 뷰, 스키마 등 구조를 정의하거나 수정할 때 사용하는 명령어들을 말해요.예를 들어, CREATE, ALTER, DROP 같은 명령어들이 DDL에 속하죠.2. GET DDL이란?Snowflake에서 GET DDL은 특정 객체(테이블, 뷰 등)의 DDL 스크립트를 가져오는 함수예요.객체의 구조를 정의하는 SQL 문장을 그대로 반환해 줍니다.즉, GET DDL을 사용하면 어떤 테이블이나 뷰가 어떻게 만들어졌는지..