티스토리

TA Engineer

검색하기

블로그 홈

TA Engineer

twodeveloper.tistory.com/m

twoDeveloper 님의 블로그입니다.

구독자: 1

방명록 방문하기

주요 글 목록

[Clickhouse] VIP를 통해 서버 접근 [ 개요 ]1. PCS를 통해 VIP를 구성하는 것까지 진행 완료2. VIP를 통해 쿼리를 수행하면 HAProxy로 구성 된, click01/click02 서버에 작업 쏠림 없이 랜덤으로 수행 [ VIP를 통해 쿼리 수행 ]* vip : 192.168.56.100* FailOver 테스트를 통해 vip 리소스는 ap02.test.com에 할당되어 있는 상태 * 192.168.56.100:28123 (VIP)로 쿼리 수행 시, click01/click02 서버에서 수행되는 것을 확인 공감수 0 댓글수 0 2024. 7. 5.
[HA] PCS 구성 [ 개요 ]* PCS를 통해 VIP를 구성하여 다중 서버(ap01, ap02) 자원 관리* VIP를 통해 clickhouse-client 작업 쿼리가 수행되면, HAProxy로 clickhouse-server에 로드밸런싱 [ PCS 구성 ]1. PCS 패키지 설치 (ap01 / ap02)apt install -y corosync pcs pacemaker 2. PCS 데몬 실행 (ap01 / ap02)sudo systemctl start pcsd 3. PCS 데몬 default 계정인 hacluster PW 설정 (ap01 / ap02)sudo passwd hacluster 4. 클러스터 계정 인증 (ap01)pcs host auth ap01.test.com ap02.test.com -u hacluster.. 공감수 0 댓글수 1 2024. 7. 3.
[Linux] This account is currently not available. [ 개요 ]* su 스위칭 시, 'This account is currently not available.' 이슈 발생* 스위칭 계정이 /etc/passwd 에서 'nologin' 상태여서 스위칭 불가* 영구적으로 로그인 계정으로 설정 [ 적용 작업 ]1. su 스위칭 시, 이슈 내용su - hacluster---Password: This account is currently not available. 2. /etc/passwd 에서 해당 계정 상태 확인cat /etc/passwd | grep hacluster---hacluster:x:115:119::/var/lib/pacemaker:/usr/sbin/nologin* nologin 상태인 것을 확인 3. 영구적으로 로그인 상태로 변환chsh -s /bi.. 공감수 0 댓글수 0 2024. 7. 3.
[Clickhouse] Clickhouse HA [ 개요 ]Clickhouse를 HAProxy를 통해 이중화하여 쿼리 쏠림 현상을 방지하며 서버 부하 분산[ HAProxy 설정 ]1. HAProxy에서 Clickhouse 상태 확인 설정listen clickhouse-cluster bind *:28123 balance leastconn server 192.168.56.60 click01.test.com:8123 check server 192.168.56.61 click02.test.com:8123 checkclickhouse 8123 포트를 28123으로 바인딩하여 상태 체크8123 포트 : HTTP 인터페이스를 위한 포트로, 웹 브라우저나 HTTP 클라이언트를 통해 쿼리를 전송하고.. 공감수 0 댓글수 0 2024. 7. 2.
[HA] HAProxy Install [ 개요 ]* HAProxy를 통해 clickhouse query 분산 수행* 서버 부하 최소화 [ 설치 ]* OS : Ubuntu 20.04* HAProxy : 2.0.33 1. HAProxy Install$ sudo apt update$ sudo apt install haproxy$ haproxy -vHA-Proxy version 2.0.33-0ubuntu0.1 2023/10/31 - https://haproxy.org 2. HAProxy Staticstic 설정defaults log global mode http option httplog option dontlognull timeout connect 5000 .. 공감수 0 댓글수 0 2024. 7. 2.
[Clickhouse] Clickhouse 패스워드 규칙 설정 [ 개요 ]* Clickhouse 계정 패스워드 규칙 설정 적용 [ 설정 적용 전, 계정 생성 ]1. test01 계정 생성CREATE USER [IF NOT EXISTS | OR REPLACE] [ON CLUSTER ] IDENTIFIED BY 'password string';CREATE USER test01 IDENTIFIED BY '1234';SELECT * FROM system.users;┌─name────┬─id───────────────────────────────────┬─storage─────────┬─auth_type───────┬─auth_params─┬─host_ip──┬─host_names─┬─host_names_regexp─┬─host_names_like─┬─default_rol.. 공감수 0 댓글수 0 2024. 6. 13.
[Clickhouse] Clickhouse Install [ 개요 ]* OS : Ubuntu 20.04* Clickhouse : v23.3.2.37-ltshttps://github.com/ClickHouse/ClickHouse/releases/tag/v23.3.2.37-lts Release Release v23.3.2.37-lts · ClickHouse/ClickHouseRelease v23.3.2.37-ltsgithub.com [ Clickhouse Install ]1. Clickhouse Package Installsudo apt-get install -y apt-transport-https ca-certificates curl gnupgcurl -fsSL 'https://packages.clickhouse.com/rpm/lts/repodata/repomd.. 공감수 0 댓글수 0 2024. 6. 13.
[programmers] LV2. 올바른 괄호 # 문제 풀이 def solution(s): answer = True a = [] for i in s: if i == '(': a.append(i) else: if len(a) == 0: return False a.pop() if len(a) == 0: return True else: return False - 대표적인 스택 문제 - '('가 나오면 스택에 append 하고, ')'가 나올 경우 스택에서 pop 시킴 단, 스택이 비어있을 경우 False를 반환 # 문제 출처 https://school.programmers.co.kr/learn/courses/30/lessons/12909 프로그래머스 코드 중심의 개발자 채용. 스택 기반의 포지션 매칭. 프로그래머스의 개발자 맞춤형 프로필을 등록하고, 나와.. 공감수 0 댓글수 0 2023. 4. 23.
[programmers] LV2. 최솟값 만들기 # 문제 풀이 def solution(A,B): answer = 0 A.sort() B.sort(reverse=True) for i in range(len(A)): answer += A[i] * B[i] return answer - sort() 내장 함수를 통해 문제 풀이 - 누적되는 값이 최소가 되도록 만들기 위해, 각 배열의 가장 작은 수와 가장 큰 수를 서로 곱하는 것이 최적의 방법 # 함수 정리 @ sort() ? - sort() 메서드는 리스트를 오름차순 및 내림차순으로 정렬하는 함수 - [].sort() -> 오름차순 - [].sort(reverse=True) -> 내림차순 # 문제 출처 https://school.programmers.co.kr/learn/courses/30/lessons/1.. 공감수 0 댓글수 0 2023. 4. 23.
[programmers] LV2. JadenCase 문자열 만들기 # 문제 풀이 def solution(s): answer = '' for idx, alpha in enumerate(s): if idx == 0 or s[idx - 1] == ' ': answer += alpha.upper() else: answer += alpha.lower() return answer - s.title() 내장 함수를 사용하여 해결하려 했지만, 첫 단어에 숫자가 나오는 경우 예외 사항이 발생 - enumerate() 함수를 사용하여 해결 - idx가 0인 경우나 앞써 나온 문자가 ' ' 공백일 경우 대문자 - 그 외는 모두 소문자로 해결 # 함수 정리 @ enumerate() - 시퀀스(리스트, 튜플, 문자열 등)을 입력 받아, 시퀀스의 각 요소에 인덱스를 부여하여 (인덱스, 요소) .. 공감수 0 댓글수 0 2023. 4. 23.
[leetcode] 1141. User Activity for the Past 30 Days I # 문제풀이 select activity_date as day, count(distinct user_id) as active_users from activity where datediff('2019-07-27', activity_date) = 0 group by activity_date; - activity 테이블에는 기본키가 없으며, 중복키가 허용됨 - distinct를 사용하여 user_id를 중복 제거 - datediff() 함수를 사용하여 날짜 차이 출력 * DATEDIFF() - 두 날짜 간의 차이를 일 수 로 계산하는 MySQL 내장 함수 - 첫 번째 인수에는 뒤에 오는 날짜 값과의 차이를 구할 기준 날짜를,.. 공감수 0 댓글수 0 2023. 4. 19.
[programmers] LV2. 최댓값과 최솟값 # 문제풀이 def solution(s): answer = '' a = list(map(int, s.split())) answer = str(min(a)) + ' ' + str(max(a)) return answer - python 내장 함수인 max(), min() 함수를 이용해서 해결 # 문제출처 https://school.programmers.co.kr/learn/courses/30/lessons/12939 프로그래머스 코드 중심의 개발자 채용. 스택 기반의 포지션 매칭. 프로그래머스의 개발자 맞춤형 프로필을 등록하고, 나와 기술 궁합이 잘 맞는 기업들을 매칭 받으세요. programmers.co.kr 공감수 0 댓글수 0 2023. 4. 19.
[programmers] LV1. 두 개 뽑아서 더하기 # 문제풀이 from itertools import combinations def solution(numbers): answer = [] c = list(combinations(numbers, 2)) for i in c: answer.append(sum(i)) return sorted(set(answer)) - combinations(리스트, n) 을 사용하여, 2개의 수를 뽑아 나올 수 있는 경우를 출력 - set()을 이용해 중복 제거 후, sorted(리스트, key=조건, reverse=True/False)를 이용하여 오름차순으로 정렬 # 문제출처 https://school.programmers.co.kr/learn/courses/30/lessons/68644 프로그래머스 코드 중심의 개발자 채용.. 공감수 0 댓글수 0 2023. 2. 22.
[programmers] LV1. 숫자 문자열과 영단어 # 문제풀이 def solution(s): answer = '' dict = { "zero" : "0", "one" : "1", "two" : "2", "three" : "3", "four" : "4", "five" : "5", "six" : "6", "seven" : "7", "eight" : "8", "nine" : "9" } a = '' for i in s: if i.isdigit(): answer += i elif i.isalpha(): a += i if a in dict.keys(): answer += dict[a] a = '' return int(answer) - dict{key:value} 를 이용해 해결 - 문자열에서 isdigit()와 isalpha()를 통해 숫자인지, 문자열인지 확인 .. 공감수 0 댓글수 0 2023. 2. 22.
[programmers] LV1. [1차] 비밀지도 # 문제풀이 def solution(n, arr1, arr2): answer = [] for i in range(n): # 10진수로 or 연산 후 2진수로 변환 tmp = bin(arr1[i] | arr2[i]) # 앞에 0을 붙이고 싶을 때 사용하는 함수 'zfill' tmp = tmp[2:].zfill(n) tmp = tmp.replace('1', '#').replace('0', ' ') answer.append(tmp) return answer - bin() 내장 함수와 zfill(), replace()를 이용하여 해결하였다. - 솔직히 zfill() 함수는 처음 본다... - 풀이를 하자면 arr1[i] 와 arr2[i] 리스트를 or 연산자 ('|')를 사용하여 연산 후 bin() 함수를 사용.. 공감수 0 댓글수 0 2023. 2. 20.
[programmers] LV1. 문자열 내 마음대로 정렬하기 # 문제풀이 def solution(strings, n): strings.sort() answer = sorted(strings, key=lambda x:x[n]) return answer - sorted() 내장 함수, lambda를 이용하여 해결 - sorted(리스트, key=기준, reverse=True/False) # 문제출처 https://school.programmers.co.kr/learn/courses/30/lessons/12915 프로그래머스 코드 중심의 개발자 채용. 스택 기반의 포지션 매칭. 프로그래머스의 개발자 맞춤형 프로필을 등록하고, 나와 기술 궁합이 잘 맞는 기업들을 매칭 받으세요. programmers.co.kr 공감수 0 댓글수 0 2023. 2. 20.
[programmers] LV1. 문자열 다루기 기본 # 문제풀이 def solution(s): if len(s) == 4 or len(s) == 6: if s.isdigit() == True: return True else: return False else: return False - isdigit() 내장 함수를 이용해서 s 문자열이 숫자인지 확인 # 문제출처 https://school.programmers.co.kr/learn/courses/30/lessons/12918 프로그래머스 코드 중심의 개발자 채용. 스택 기반의 포지션 매칭. 프로그래머스의 개발자 맞춤형 프로필을 등록하고, 나와 기술 궁합이 잘 맞는 기업들을 매칭 받으세요. programmers.co.kr 공감수 0 댓글수 0 2023. 2. 2.
[programmers] LV1. 없는 숫자 더하기 # 문제풀이 def solution(numbers): arr = [0, 1, 2, 3, 4, 5, 6, 7, 8, 9] answer = set(arr) - set(numbers) return sum(answer) - set() 함수를 이용한 풀이 # 다른 사람 풀이 def solution(numbers): return 45 - sum(numbers) - 와.. # 문제출처 https://school.programmers.co.kr/learn/courses/30/lessons/86051 프로그래머스 코드 중심의 개발자 채용. 스택 기반의 포지션 매칭. 프로그래머스의 개발자 맞춤형 프로필을 등록하고, 나와 기술 궁합이 잘 맞는 기업들을 매칭 받으세요. programmers.co.kr 공감수 0 댓글수 0 2023. 1. 30.
[programmers] LV1. 나누어 떨어지는 숫자 배열 # 문제 풀이 def solution(arr, divisor): answer = [] for i in arr: if i % divisor == 0: answer.append(i) if len(answer) == 0: answer.append(-1) answer.sort() return answer - 리스트가 비어있는 경우 len(answer) == 0 으로 조건 / if not answer : 같은 조건 # 문제 출처 https://school.programmers.co.kr/learn/courses/30/lessons/12910 프로그래머스 코드 중심의 개발자 채용. 스택 기반의 포지션 매칭. 프로그래머스의 개발자 맞춤형 프로필을 등록하고, 나와 기술 궁합이 잘 맞는 기업들을 매칭 받으세요. prog.. 공감수 0 댓글수 0 2023. 1. 26.
[programmers] LV.1 서울에서 김서방 찾기 # 문제 해답 def solution(seoul): answer = '' for i in range(len(seoul)): if seoul[i] == 'Kim': answer += '김서방은 {0}에 있다'.format(i) return answer - format 함수를 사용하여 해결 # 다른 사람 문제 풀이 def solution(seoul): return '김서방은 {}에 있다'.format(seoul.index('Kim')) - index 함수가 있었다... # 문제 출처 https://school.programmers.co.kr/learn/courses/30/lessons/12919 프로그래머스 코드 중심의 개발자 채용. 스택 기반의 포지션 매칭. 프로그래머스의 개발자 맞춤형 프로필을 등록하고,.. 공감수 0 댓글수 0 2023. 1. 26.
[BOJ] 10799번: 쇠막대기 ■ 문제풀이 기본적인 자료구조 pop, append를 사용한 문제입니다. 각 막대기 '(' 모양일 경우 stack에 append 합니다. 각 막대기 ')' 모양일 경우 조건이 두 가지 입니다. ')' 막대기가 나오기 이전 '(' 일 경우 stack에 쌓인 막대기를 pop 시킨 후 남아 있는 막대기 개수를 더합니다. ')' 막대기가 나오기 이전 ')'일 경우 stack에 쌓인 막대기를 pop 시킨 후 잘린 막대기의 끄트머리 개수를 +1 시킵니다. ■ 문제해답 import sys input = sys.stdin.readline bar_razor = list(input().rstrip()) answer = 0 stack = [] for i in range(len(bar_razor)): if bar_razor[.. 공감수 0 댓글수 0 2022. 11. 21.
[Hadoop] Zookeeper Install 개요 Zookeeper 환경을 구성해보고, 설치해보며 실습환경 구성 설치 전 환경구성... VirtualBox에서 Vagrant로 Provisioning 하여 총 3개의 Server 구성 CentOS 7.6 mgmt01 mgmt02 mgmt03 IP 192.168.56.11 192.168.56.12 192.168.56.13 CPU 1 1 1 MEM 2G 2G 2G 1. Zookeeper 설치 전 세팅 (모든 서버) Master - Slave 간 통신을 위해 방화벽 해제 1.1 방화벽 비활성화 # systemctl stop firewalld # systemctl disalbe firewalld 1.2 SELinux 비활성화 # setenforce 0 # sed -i 's/^SELINUX=.*/SELINUX.. 공감수 0 댓글수 0 2022. 11. 8.
[Hadoop] Zookeeper 란? Zookeeper Zookeeper는 분산 애플리케이션을 위한 코디네이션 시스템 Hadoop Eco System에서 사용되는 회복성 있는 분산 설정 서비스 Zookeeper 안에서는 설정 데이터가 파일시스템과 Znode라는 노드 트리에 저장 각 ZNODE는 데이터를 가지고 있으며 0개 이상의 자식 노드를 가질 수 있슴 클라이언트는 하나의 주키퍼 서버와 연결을 맺고 ZNODE를 생성/조회/수정/삭제 Zookeeper 특징 클러스터에서 하나의 서버에 모든 작업이 진행되면, 작업이 진행되는 서버가 단일 실패지점 (SPOF, Single Point Of Failure)이 됨, 따라서 이로 인한 리스크를 줄이기 위해 분산 서버 관리 기술 즉 Zookeeper를 사용 분산처리 환경에서 예상치 못한 예외 케이스가 자.. 공감수 0 댓글수 0 2022. 11. 8.
[Airflow] Airflow 보안 개요 접근 제어를 위한 RBAC 인터페이스 검사 및 구성 LDAP 서비스에 연결하여 중앙 사용자 집합에 대한 액세스 권한 부여 데이터베이스에서 기밀을 암호화하도록 Fernet Key 구성 중앙 보안관리 시스템에서 보안사항 가져오기 들어가기 전에... Airflow 웹 인터페이스 1) Airflow 1.x Flask-Admin을 기반으로 개발된 기본 인터페이스 FAB (Flask-AppBuilder)를 기반으로 개발된 RBAC 인터페이스 2) Airflow 2.x FAB (Flask-AppBuilder)를 기반으로 개발된 RBAC 인터페이스 1. Airflow 웹 인터페이스 보안 보이는 화면은 RBAC 인터페이스의 첫 화면 (암호 인증이 기본적으로 활성화) 1.1 RBAC 인터페이스에 사용자 추가 1.1... 공감수 0 댓글수 0 2022. 10. 27.
[Hive] External vs. Internal 개요 Hive에서 External Table과 Internal Table의 차이점에 대해 파악하고, 실습을 진행해 보겠습니다. Internal Table Internal Table은 Manged Table이라고 하며, Table 생성 시 따로 Option을 주지 않으면 기본 저장 위치 ‘hive.metastore.warehouse.dir’에 정의한 하위 디렉터리를 만들어서 Data를 저장합니다. ex) hdfs:///user/hive/warehouse/{DB명}.db/{Table 명} Internal Table은 Drop 시에 Table의 Data 및 MetaData 또한 완전히 삭제되므로 주의하여야 합니다. 세션이 종료 되어도 Table의 Data와 파일은 유지 됩니다. 실습 shakespeare_wc.. 공감수 0 댓글수 0 2022. 9. 29.
[DB] MySQL 'validate_password_policy' Issue 개요 User를 등록하고 권한을 부여할 때 나타나는 Issue 해결 과정을 정리하는 것을 목적으로 하였습니다. User 생성 ● User 생성 mysql > create user 'oozie'@'localhost' identified by 'oozie'; 다음과 같이 create user를 진행하면 다음과 같은 Issue가 발생합니다. Issue 발생 이유는 다음과 같습니다. 비밀번호 보안 정책 때문인데요, 너무 간단하게 비밀번호를 설정하여서 다음과 같은 Issue가 발생한 것입니다. 개발 작업이나 개인 Local에서 사용할 경우 굳이 복잡하게 비밀번호를 설정할 필요가 없기 때문에 간단하게 설정하는 방법에 대해서 알아보겠습니다. ● 비밀번호 정책 낮추기 먼저 현재 비밀번호 정책이 어떻게 되어있나 확인해 .. 공감수 0 댓글수 0 2022. 9. 28.
[Hadoop] Hadoop 이란? 개요 Hadoop에 대해서 간단한 이론과 Hadoop v1.x, v2.x 버전의 차이점에 대해 알아보도록 하겠습니다. Hadoop 대용량의 검색엔진을 개발하는 과정에서 대용량의 비정형 데이터를 기존의 RDB 기술로 처리가 힘들다는 것을 꺠닫고, 구글의 GFS와 MapReduce 논문을 기반으로 개발된 프레임워크 입니다. 기존 성능이 높은 컴퓨터를 사용하여 Data를 처리하는 방식에서, 범용 컴퓨터를 클러스터화 시켜서 큰 크기의 Data를 병렬 처리하도록 구성하여 처리속도를 높이는 것을 목적으로 분산처리를 하도록 만든 것이 Hadoop 입니다. 적은 비용의 장비 구성으로 빠른 속도의 Data 처리를 수행할 수 있게 되었습니다. Hadoop 구성요소 ● Hadoop Common ○ Hadoop의 다른 모듈을.. 공감수 0 댓글수 0 2022. 9. 27.
[Django] Django + Gunicorn + Nginx + MariaDB 개요 Django와 Gunicorn은 하나의 Container에 Image를 만들고, Nginx와 MariaDB는 Docker Compose를 통해 서로의 의존관계를 성립하여 각각의 Container로 실행시키도록 하겠습니다. 물론 하나의 Container 안에 Django, Nginx, MariaDB를 함께 실행시킬 수 있지만, 각각 Container로 분리, 관리하는 것이 효율적입니다. 또한 Image를 각각 Container로 구동시켜 Expose 시켜 연결할 수 있지만 과정이 복잡합니다. 이를 손쉽게 연결하고 Container를 생성할 수 있게 해주기 위해 Docker Compose를 사용하였습니다. * 다음 과정을 진행하기 위해 선행으로 Django + Gunicorn이 구축 및 이미지화 되어 .. 공감수 0 댓글수 0 2022. 9. 22.
[Docker] Docker Compose Install 개요 Docker Compose를 설치하도록 하겠습니다. Docker Compose Install 1. docker-compose 파일 가져오기 $ curl -L "https://github.com/docker/compose/releases/download/1.29.2/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose 2. docker-compose를 실행시키기 위한 권한 부여 $ chmod +x /usr/local/bin/docker-compose 3. docker-compose 버전 확인 $ docker-compose --version 공감수 0 댓글수 0 2022. 9. 21.
[Docker] CentOS에서 Docker Install 개요 CentOS 7.6에서 Docker Install 과정을 정리하겠습니다. Docker Install 1. yum-utils를 제공하는 패키지를 설치 및 Repository를 설정 $ sudo yum install -y yum-utils $ sudo yum-config-manager \ --add-repo \ https://download.docker.com/linux/centos/docker-ce.repo 2. Docker Engine Install $ sudo yum install docker-ce docker-ce-cli containerd.io docker-compose-plugin 3. 특정 버전의 Docker Install $ sudo yum install docker-ce-18.09.1 .. 공감수 0 댓글수 0 2022. 9. 21.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.