배우기를 멈추는 사람은 20세건 80세건 늙은 것이다.

https://artifacthub.io/packages/helm/airflow-helm/airflow/8.7.0 airflow 8.7.0 · airflow-helm/airflow-helm Airflow Helm Chart (User Community) - the standard way to deploy Apache Airflow on Kubernetes with Helm artifacthub.io airflow: airflow: image: repository: 123123.dkr.ecr.ap-northeast-2.amazonaws.com/airflow tag: base-0.0.0-230417174017 executor: KubernetesExecutor config: AIRFLOW__CORE__LOA..

https://jhleeeme.github.io/spark-temp-view/ [Spark] Temp View 생성 및 삭제 | 내가 다시 보려고 만든 블로그 Temp View 생성 및 삭제하기– spark 2.x 버전 기준으로 작성1. Temp View란?– SQL의 그것, View (Table 말고)Spark내에서 데이터 분석작업을 할 때DataFrame API말고, 친근한 SQL문으로 데이터를 다룰 수 있다.SparkS jhleeeme.github.io

import pandas as pd # 예시 데이터프레임 생성 df = pd.DataFrame({'A': ['apple', 'banana', 'cherry', 'date', 'elderberry']}) # 'A' 열을 lexicographical 순서로 정렬하여 가장 작은 문자열 값 찾기 min_value = df['A'].sort_values().iloc[0] # 결과 출력 print("가장 작은 문자열 값:", min_value)

import pandas as pd # 예시 데이터프레임 생성 df = pd.DataFrame({'이름': ['홍길동', '김철수', '이영희', '박종민', '정지원'], '나이': [30, 25, 28, 35, 22], '성별': ['남', '남', '여', '남', '남']}) # '이름' 컬럼에서 성이 '김'인 경우만 필터링하여 새로운 데이터프레임 생성 filtered_df = df[df['이름'].str.startswith('김')] # 필터링된 결과 출력 print(filtered_df) reference: chatGPT

soup = BeautifulSoup(s, "html.parser") https://stackoverflow.com/questions/24398302/bs4-featurenotfound-couldnt-find-a-tree-builder-with-the-features-you-requeste bs4.FeatureNotFound: Couldn't find a tree builder with the features you requested: lxml. Do you need to install a parser library ... soup = BeautifulSoup(html, "lxml") File "/Library/Python/2.7/site-packages/bs4/__init__.py", line 152,..

#!/bin/bash GROUP=$1 PORT=$2 aws ec2 describe-instances \ --filters "Name=instance-state-name,Values=running" | \ jq -r --arg GROUP "${GROUP}" --arg PORT "${PORT}" \ '.Reservations[].Instances[] | $GROUP + " / " + (.PlatformDetails | split("/") | join(" / "))+ " / " + (.Tags[] | select(.Key == "Name") | .Value) + " / " + .PrivateIpAddress + " / " + $PORT' # group / Linux / UNIX / abc / 1.2.3.4 /..

brew update brew install postgresql brew services start postgresql psql postgres CREATE DATABASE test; CREATE ROLE admin WITH LOGIN PASSWORD 'qwer1234'; SELECT rolname FROM pg_roles; https://velog.io/@dhleeone/PostgreSQL-Mac%EC%97%90%EC%84%9C-Homebrew%EB%A1%9C-PostgreSQL-%EC%84%A4%EC%B9%98%ED%95%98%EA%B8%B0 [PostgreSQL] Mac에서 Homebrew로 PostgreSQL 설치하기 Homebrew에서 패키지를 설치하기 전에 다음 명령어를 터미널에 입력하면 패키..

S3 write 권한을 준다음 s3://abc/def/ zeppelin spark interpreter 를 spark.yarn.stagingDir = s3://abc/def/ 로 지정하는 경우 403 에러가 발생한다.. 권한을 준 s3://abc/def/123 처럼 하위 디렉터리로 설정하면 이 문제를 해결 할 수 있다. 아마도 zeppein spark interpreter 설정에서 / slash 를 제거하여 동작하기 때문이지 않을까 싶다.. https://repost.aws/ko/knowledge-center/emr-s3-403-access-denied Amazon EMR에서 HTTP 403 "액세스가 거부됨" AmazonS3Exception 문제 해결 | AWS re:Post Amazon EMR 클러스..

https://www.lesstif.com/dbms/postgresql-61899197.html postgresql 데이타베이스와 사용자 생성 포스트그레스 사용자와 데이타베이스 생성. Confluence 나 JIRA 설치용 www.lesstif.com

23/04/05 09:51:01 WARN TaskSetManager: Lost task 11.0 in stage 8.0 (TID 878) (ip-10-128-16-98.ap-northeast-2.compute.internal executor 2): java.lang.ArrayIndexOutOfBoundsException: 1024 at org.apache.orc.impl.TreeReaderFactory$TreeReader.nextVector(TreeReaderFactory.java:292) at org.apache.orc.impl.TreeReaderFactory$LongTreeReader.nextVector(TreeReaderFactory.java:635) at org.apache.orc.impl.Con..

https://stackoverflow.com/questions/18592173/select-objects-based-on-value-of-variable-in-object-using-jq Select objects based on value of variable in object using jq I have the following json file: { "FOO": { "name": "Donald", "location": "Stockholm" }, "BAR": { &quo... stackoverflow.com jq '.[] | select(.location=="Stockholm")' json { "location": "Stockholm", "name": "Walt" } { "location": "St..

https://news.hada.io/topic?id=8821&utm_source=slack&utm_medium=bot&utm_campaign=T8HUMDT45 dhapi - 동행복권 로또 6/45 구매하는 파이썬 라이브러리 | GeekNews 터미널에서 동행복권을 구매할 수 있게 만든 라이브러리입니다.pip install dhapi dhapi -U $YOUR_ID -P -K lotto645 -T buy -M auto -C 5 # -C 옵션은 1 ~ 5 사이에서 변경 가능. -K, -T, -M 은 고정. 동행복권 홈페이지를 news.hada.io https://github.com/roeniss/dhlottery-api/ GitHub - roeniss/dhlottery-api: 비공식 동행복권 API 비공..

uname -a cat /etc/issue cat /etc/redhat-release cat /etc/*release* getconf LONG_BIT https://ongal.tistory.com/190 리눅스에서 OS버전 확인하기. 리눅스에서 OS버전 확인하기 리눅스에서 버전을 확인하는 방법은 여러가지가 있습니다. 커널을 확인하거나 리눅스OS 버전을 확인할때 유용합니다. 아래 명령어들을 참조하시고 입맛에 맞게 골 ongal.tistory.com https://zetawiki.com/wiki/%EB%A6%AC%EB%88%85%EC%8A%A4_32%EB%B9%84%ED%8A%B8_64%EB%B9%84%ED%8A%B8_%ED%99%95%EC%9D%B8 리눅스 32비트 64비트 확인 - 제타위키 다음 문자열 ..

https://github.com/iandees/aws-billing-to-slack GitHub - iandees/aws-billing-to-slack: Send a daily AWS cost report to a Slack channel of your choice. Send a daily AWS cost report to a Slack channel of your choice. - GitHub - iandees/aws-billing-to-slack: Send a daily AWS cost report to a Slack channel of your choice. github.com https://ap-northeast-2.console.aws.amazon.com/events/home?region=ap..

이 세 가지 설정(conf)는 모두 Spark 클러스터에서 실행되는 다른 컴포넌트들이 사용하는 자바 환경 변수(JAVA_HOME)을 설정하는 데 사용됩니다. spark.yarn.appMasterEnv.JAVA_HOME: 이 설정은 Spark on YARN 모드에서 사용됩니다. 이는 Spark Application Master(즉, Spark의 클러스터 관리자)가 실행되는 노드에서 사용할 자바 환경 변수를 설정합니다. spark.driverEnv.JAVA_HOME: 이 설정은 Spark Standalone 모드와 Mesos 모드에서 사용됩니다. 이는 Spark 드라이버가 실행되는 노드에서 사용할 자바 환경 변수를 설정합니다. spark.executorEnv.JAVA_HOME: 이 설정은 Spark Stan..