반응형

데이터엔지니어 21

[SNOWFLAKE/스노우플레이크 공부] Pro 자격증 준비에 필요한 토막 지식 정리_Spilling to Disk

[SNOWFLAKE/스노우플레이크 공부] Pro 자격증 준비에 필요한 토막 지식 정리_Spilling to Disk **Snowflake에서 "Spilling to Disk"**는 메모리에서 작업을 수행할 수 없을 때 데이터를 디스크에 임시로 저장하여 처리하는 과정을 말해요. 이는 Snowflake의 Virtual Warehouse가 메모리나 캐시에서 작업을 수행하기엔 데이터가 너무 많거나, 리소스가 부족할 때 발생하는 일이에요. 쉽게 설명해볼게요!1. Spilling to Disk란?Spilling to Disk는 Virtual Warehouse가 메모리에서 처리할 수 없는 데이터 양을 디스크에 임시로 저장해 처리하는 것을 말해요.Snowflake는 기본적으로 메모리 내에서 데이터를 처리하려고 하지만,..

[SNOWFLAKE/스노우플레이크 공부] Pro 자격증 준비에 필요한 토막 지식 정리_스케일링 아웃(Scaling Out)과 스케일링 인(Scaling In)

[SNOWFLAKE/스노우플레이크 공부] Pro 자격증 준비에 필요한 토막 지식 정리_스케일링 아웃(Scaling Out)과 스케일링 인(Scaling In)   **Snowflake에서 스케일링 아웃(Scaling Out)**과 **스케일링 인(Scaling In)**은 컴퓨팅 리소스를 확장하거나 축소하는 방법을 의미해요. Snowflake의 Virtual Warehouse가 데이터를 처리할 때 부하(작업량)에 따라 더 많은 리소스를 추가하거나 줄이는 방식을 가리키죠. 이 두 가지 개념의 차이를 이해하기 쉽게 설명할게요.1. Scaling Out (스케일 아웃)스케일 아웃은 작업을 동시에 처리할 수 있는 인스턴스(노드) 수를 늘리는 것이에요.Snowflake에서는 Virtual Warehouse를 수평..

[SNOWFLAKE/스노우플레이크 공부] Pro 자격증 준비에 필요한 토막 지식 정리_Virtual Warehouse

[SNOWFLAKE/스노우플레이크 공부] Pro 자격증 준비에 필요한 토막 지식 정리_Virtual Warehouse  Snowflake에서 Virtual Warehouse는 데이터 처리 작업을 수행하는 컴퓨팅 리소스입니다. 이는 Snowflake에서 데이터를 읽고, 쓰고, 처리하는 모든 작업을 실행하는 데 사용되는 컴퓨팅 클러스터라고 할 수 있어요. 이 개념을 이해하기 쉽게 풀어서 설명해 볼게요.1. Virtual Warehouse란 무엇인가요?Virtual Warehouse는 Snowflake에서 데이터를 처리하고 쿼리를 실행하는 컴퓨팅 엔진이에요.가상 서버처럼 작동하지만, 실제 하드웨어 서버가 아니라 클라우드 기반의 가상 컴퓨팅 리소스로 구성돼요.스케일 업/다운 및 자동 시작/중지 기능을 통해, 사..

[SNOWFLAKE/스노우플레이크 공부] Pro 자격증 준비에 필요한 토막 지식 정리_Account Usage와 Information Schema

[SNOWFLAKE/스노우플레이크 공부] Pro 자격증 준비에 필요한 토막 지식 정리_Account Usage와 Information Schema   Snowflake에서 Account Usage와 Information Schema는 데이터를 관리하고, 사용량 및 시스템 메타데이터에 접근할 수 있는 두 가지 주요 데이터베이스 및 뷰입니다. 이들은 Snowflake 사용 중 모니터링과 관리에 필요한 정보를 제공합니다. 각각의 역할을 쉽게 이해할 수 있도록 설명해볼게요.1. Account UsageAccount Usage는 Snowflake 계정의 사용 현황과 활동 정보를 추적하기 위한 데이터를 제공해요.Snowflake는 모든 계정에 SNOWFLAKE.ACCOUNT_USAGE라는 데이터베이스를 제공하며, ..

[SNOWFLAKE/스노우플레이크 공부] Pro 자격증 준비에 필요한 토막 지식 정리_OAuth,SCIM

[SNOWFLAKE/스노우플레이크 공부] Pro 자격증 준비에 필요한 토막 지식 정리_OAuth,SCIM  OAuth와 SCIM은 각각 인증 및 권한 부여와 사용자 관리 자동화와 관련된 프로토콜로, 주로 클라우드 서비스와 애플리케이션에서 사용돼요. 이 두 가지는 조직의 보안 관리와 사용자 계정 관리를 보다 효율적으로 수행하는 데 도움을 줍니다.1. OAuth란?OAuth는 Open Authorization의 줄임말로, 서드파티 애플리케이션이 사용자 대신 리소스에 접근할 수 있도록 허용하는 인증 및 권한 부여 프로토콜이에요.주요 개념목적:OAuth의 목적은 사용자가 자신의 로그인 자격 증명을 공유하지 않고도 서드파티 애플리케이션이 특정 리소스에 접근할 수 있도록 허용하는 거예요.예를 들어, 당신이 어떤 앱..

[SNOWFLAKE/스노우플레이크 공부] Pro 자격증 준비에 필요한 토막 지식 정리_Privileges(권한)

[SNOWFLAKE/스노우플레이크 공부] Pro 자격증 준비에 필요한 토막 지식 정리_Privileges(권한)  **Privileges(권한)**은 Snowflake에서 사용자나 역할이 특정 데이터베이스 객체에 대해 수행할 수 있는 작업을 제어하는 개념이에요. 권한을 사용해 데이터베이스 객체에 대한 접근을 제한하거나 허용할 수 있어요. 이는 데이터의 보안과 무결성을 유지하면서 사용자 간의 작업을 관리하는 데 중요한 역할을 해요.1. Privileges(권한)이란?권한은 특정 역할(role)이나 사용자에게 부여되어, 그 역할이 **데이터베이스 객체(테이블, 스키마, 데이터베이스 등)**에서 특정 작업을 수행할 수 있도록 해줘요.예를 들어, 테이블에 대해 읽기(SELECT) 권한이 있으면 데이터를 조회할 ..

[SNOWFLAKE/스노우플레이크 공부] Pro 자격증 준비에 필요한 토막 지식 정리_ 시스템 정의 역할(System-Defined Roles)

[SNOWFLAKE/스노우플레이크 공부] Pro 자격증 준비에 필요한 토막 지식 정리_ 시스템 정의 역할(System-Defined Roles)  **Snowflake의 시스템 정의 역할(System-Defined Roles)**에 대해 설명해볼게요. 이 역할들은 Snowflake가 기본적으로 제공하는 역할로, 사용자들이 시스템 내에서 다양한 권한과 접근 제어를 보다 쉽게 관리할 수 있도록 설계되어 있어요.1. 시스템 정의 역할(System-Defined Roles)란?시스템 정의 역할은 Snowflake에서 기본적으로 제공하는 **사전 정의된 역할(roles)**을 말해요.이 역할들은 특정한 권한과 책임을 가지도록 미리 설정되어 있어요.사용자에게 적절한 역할을 할당함으로써, 데이터베이스 리소스와 객체에..

반응형