티스토리 뷰
728x90
df
.repartition(10) // No. of concurrent connection Spark to PostgreSQL
.write.format('jdbc').options(
url=psql_url_spark,
driver=spark_env['PSQL_DRIVER'],
dbtable="{schema}.{table}".format(schema=schema, table=table),
user=spark_env['PSQL_USER'],
password=spark_env['PSQL_PASS'],
batchsize=2000000,
queryTimeout=690
).mode(mode).save()
How to speed up spark df.write jdbc to postgres database?
I am new to spark and am attempting to speed up appending the contents of a dataframe, (that can have between 200k and 2M rows) to a postgres database using df.write: df.write.format('jdbc').optio...
stackoverflow.com
728x90
'공부' 카테고리의 다른 글
[Hive] ORDER BY, DISTRIBUT BY SORT BY, CLUSTER BY (0) | 2020.12.13 |
---|---|
[Python] thread (0) | 2020.12.13 |
[Spark] java.util.concurrent.TimeoutException: Futures timed out after [300 seconds] (0) | 2020.12.13 |
[Spark] sort other columns (0) | 2020.12.13 |
[Deploy] rolling, blue green, canary (0) | 2020.12.13 |
댓글
250x250
공지사항
최근에 올라온 글
최근에 달린 댓글
- Total
- Today
- Yesterday
TAG
- 메디파크 내과 전문의 의학박사 김영수
- 할인
- 모델 Y 레퍼럴
- 테슬라 레퍼럴 코드 확인
- follower
- 테슬라 리퍼럴 코드
- 테슬라 레퍼럴
- Kluge
- wlw
- 테슬라 레퍼럴 적용 확인
- 인스타그램
- 레퍼럴
- 책그림
- 클루지
- 모델y
- 개리마커스
- Bot
- 유투브
- 어떻게 능력을 보여줄 것인가?
- 테슬라 추천
- 팔로워 수 세기
- 연애학개론
- 김달
- COUNT
- 테슬라
- 테슬라 크레딧 사용
- 테슬라 리퍼럴 코드 혜택
- 테슬라 리퍼럴 코드 생성
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | ||||||
2 | 3 | 4 | 5 | 6 | 7 | 8 |
9 | 10 | 11 | 12 | 13 | 14 | 15 |
16 | 17 | 18 | 19 | 20 | 21 | 22 |
23 | 24 | 25 | 26 | 27 | 28 | 29 |
30 | 31 |
글 보관함