배우기를 멈추는 사람은 20세건 80세건 늙은 것이다.

for row in df.rdd.collect(): do_something(row) driver executor https://stackoverflow.com/questions/36349281/how-to-loop-through-each-row-of-dataframe-in-pyspark how to loop through each row of dataFrame in pyspark E.g sqlContext = SQLContext(sc) sample=sqlContext.sql("select Name ,age ,city from user") sample.show() The above statement print entire table on terminal but i want to access each row..

::-webkit-scrollbar { -webkit-appearance: none; } ::-webkit-scrollbar:vertical { width: 12px; } ::-webkit-scrollbar:horizontal { height: 12px; } ::-webkit-scrollbar-thumb { background-color: rgba(0, 0, 0, .5); border-radius: 10px; border: 2px solid #ffffff; } ::-webkit-scrollbar-track { border-radius: 10px; background-color: #ffffff; } https://stackoverflow.com/questions/22907777/make-scrollbar-..

MySQLdb.connect(..., use_unicode=1,charset="utf8") https://stackoverflow.com/questions/9331010/mysql-in-python-encoding mysql in python encoding This post is the same with my question in MySQL in Python: UnicodeEncodeError: 'ascii' this is just to clear things up. I am trying to save a string to a MySQL database but I get an error:... stackoverflow.com p.agent_info = u' '.join((agent_contact, ag..

@Configuration public class AppConfig { @Bean public RestTemplate restTemplate(RestTemplateBuilder restTemplateBuilder) { return restTemplateBuilder .setConnectTimeout(...) .setReadTimeout(...) .build(); } } https://cnpnote.tistory.com/entry/SPRING-%EB%B4%84-RestTemplate-%EC%8B%9C%EA%B0%84-%EC%B4%88%EA%B3%BC [SPRING] 봄 RestTemplate 시간 초과 봄 RestTemplate 시간 초과 내 웹 응용 프로그램에서 사용하는 휴식 서비스에 대한 연결 시간 초..

https://namocom.tistory.com/421 [스프링] @Component에 대한 잘못 알고 있었던 것 내가 그 동안 autowire를 사용하면서 @Component에 대해 잘못 알고 있는 것 같아 정리를 해보았다. 나는 @Component가 @Repository, @Service, @Controller 등보다 더 작은 의미의 사전 그대로의 의미인 '컴.. namocom.tistory.com

@Configuration @Bean public WebServerFactoryCustomizer cookieProcessorCustomizer() { return new WebServerFactoryCustomizer() { @Override void customize(TomcatServletWebServerFactory tomcatServletWebServerFactory) { tomcatServletWebServerFactory.addContextCustomizers(new TomcatContextCustomizer() { @Override public void customize(Context context) { context.setCookieProcessor(new LegacyCookieProce..

삽질;;;;;;

https://www.baeldung.com/thymeleaf-iteration Iteration in Thymeleaf | Baeldung Learn how to use iteration with Thymeleaf using the th:each attribute. www.baeldung.com https://rooted.tistory.com/2 Spring Boot 메일 전송 : Spring Boot 2, Mail, Thymeleaf Spring Boot 2.x 기준 Mail Send Client를 간단히 소개해봅니다. 기 프로젝트에 적용하실 분들은 1-2로, 신규 프로젝트로 진행하실 분들은 1-1로 봐주시면 되겠습니다. 1-1. 프로젝트 생성 1-2. Maven dependency.. rooted...

am worried about Jamie's illness. was surprised at was known to was crowded with is filled with satisfied with is make of covered with interested in

add / remove 불가능 https://stewie38.tistory.com/89 Arrays.asList의 UnsupportedOperationException Array를 List로 만들 때 흔히 Arrays.asList( .. )를 사용했었는데 여기에는 큰 단점(?) 이 있다. 이렇게 만들어지는 List는 흔히 unmodifiable이라 하여 remove 및 add를 할 수 가 없다. 해서 사용되는 다른 대안.. stewie38.tistory.com

--conf spark.streaming.blockInterval=200 \ --conf spark.streaming.receiver.writeAheadLog.enable=true \ --conf spark.streaming.backpressure.enabled=true \ --conf spark.streaming.backpressure.pid.minRate=10 \ --conf spark.streaming.receiver.maxRate=100 \ --conf spark.streaming.kafka.maxRatePerPartition=100 \ --conf spark.streaming.backpressure.initialRate=30 \ https://www.inovex.de/blog/247-spark-..

# Broker message.max.bytes=15728640 replica.fetch.max.bytes=15728640 # Consumer fetch.message.max.bytes=15728640 https://stackoverflow.com/questions/21020347/how-can-i-send-large-messages-with-kafka-over-15mb How can I send large messages with Kafka (over 15MB)? I send String-messages to Kafka V. 0.8 with the Java Producer API. If the message size is about 15 MB I get a MessageSizeTooLargeExcept..

props.put(ProducerConfig.REQUEST_TIMEOUT_MS_CONFIG, "3000"); props.put(ProducerConfig.LINGER_MS_CONFIG, "10"); props.put(ProducerConfig.BATCH_SIZE_CONFIG, "163840"); https://stackoverflow.com/questions/46649748/kafka-producer-timeoutexception-expiring-1-records/48034089 Kafka producer TimeoutException: Expiring 1 record(s) I am using Kafka with Spring-boot: Kafka Producer class: @Service public ..

1. 어깨를 펴고 똑바로 서라. 바닷가재, 인간과 공통점이 많다. 안락한 보금자리 이 영역의 주인은 나 굴뚝새, 비바람을 피할 수 있는 안전한 곳에 둥지를 짓는다. 자기 집 근처 나무에 앉아 쉬는 새가 보이면 여지 없이 폭격기처럼 공격했다. 다른 동물처럼 지위와 영역에 집착한다는 점이다. 모이를 쪼아 먹는 순서 서열은 생존이 걸린 문제다. 권력 주변을 맴도는 최측근 이 서열은 더 넓고 더 좋은 영역을 차지하기 위한 다툼에서 드러난다. 가장 영리하고, 힘세고, 공강하고, 운이 좋은 새가 최고의 자리를 차지하고 그 영역을 지킨다. 최고의 짝을 만나 건강한 새끼들을 낳을 가능성이 크다. 그 새끼들 역시 더 많이 살아남아 번성할 확률이 높다. 포식자로부터 안전하고 풍부한 식량에 쉽게 접근할 수 있는 영역을 차지..

[ -z ${A} ] : A 문자열의 길이가 0이면 TRUE [ -n ${A} ] : A 문자열의 길이가 0이 아니면 TRUE [ ${A} -eq ${B} ] : A와 B값이 같으면 TRUE [ ${A} -ne ${B} ] : A와 B값이 다르면 TRUE [ ${A} -gt ${B} ] : A가 B보다 크면 TRUE [ ${A} -ge ${B} ] : A가 B보다 크거나 같으면 TRUE [ ${A} -lt ${B} ] : A가 B보다 작으면 TRUE [ ${A} -le ${B} ] : A가 B보다 작거나 같으면 TRUE [ 조건식A -a 조건식B ] : 조건식 A와 B가 모두 TRUE이면 TRUE (&& 와 동일) [ 조건식A -o 조건식B ] : 조건식 A가 TRUE거나 조건식B가 TRUE면 TRUE ..

https://soyoung-new-challenge.tistory.com/99 [Logstash] 로그스테이시 사용법 (설정파일) + Elastic 이번 포스팅은 로그 스테이시에서 사용하는 다양한 설정과 로그를 필터링하는 방법에 대한 내용입니다. Logstash란 로그 스테이시는 실시간 파이프라인 기능을 가진 데이터 수집 엔진 오픈소스이 soyoung-new-challenge.tistory.com https://sabarada.tistory.com/46 [MSA] Filebeat와 Logstash의 비교 안녕하세요. 원래 오늘은 ElasticSearch를 실제로 적용시켜보는 과정을 포스팅하려고 했습니다. 하지만 아키텍처를 그리기 전에 한번 비교하고 넘어가고 싶어서 이렇게 번외로 비교를 한번 진행하� s..

Global Server Load Balancing(GSLB)는 DNS 서비스 기반으로 사용자가 원하는 엔드포인트(서버 or 도메인) 및 정책을 이용해 안정적으로 트래픽을 로드밸런싱 해주는 서비스입니다. https://meetup.toast.com/posts/233 GSLB 서비스 소개(TOAST Service 들여다 보기) : TOAST Meetup TOAST DNS Plus GLSB 는 상위 상품인 TOAST DNS Plus 를 이용한 서비스 도메인과의 연계가 용이하며, TOAST Load Balancer 를 엔드포인트로 설정해 이중화가 가능하고 임의의 엔드포인트 또한 이중화가 가능합�� meetup.toast.com

kubectl get all # pods kubectl delete pod simple-pod # deployments kubectl delete deploy/simple-deployment svc/simple-service https://coreos.com/tectonic/docs/latest/tutorials/sandbox/deleting-deployment.html CoreOS CoreOS provides Container Linux, Tectonic for Kubernetes and the Quay image registry; key components to secure, simplify and automatically update your container infrastructure. coreo..

1 2 3 4 awk '{print $1 * $2;}' a.txt cat a.txt | awk '{print $1 * $2;}' 2 12 https://shlee1990.tistory.com/583 [Linux] 리눅스 사용자를 위한 awk 명령어의 사용법 (주요 사용 용도 : 텍스트 데이터 처리) 정보 업무명 : 리눅스에서 awk 명령어를 사용하는 기초적인 방법 정리 작성자 : 박진만 작성일 : 2020-03-14 설 명 : 수정이력 : 내용 [특징] 리눅스에서 awk 명령어 사용방법 소개 [활용 자료] �� shlee1990.tistory.com

https://help.talend.com/reader/jErhAENS5HA9L8lGuHSmsA/MQLiEb_P5m81LCbMYUZKFQ List of date and date/time formats - Cloud Date and time are formatted according to the different conventions all around the world. Locale-specific date and date/time formats are specified by date and time pattern strings. The following tables provide information on the patterns which are recognize help.talend.com

hdfs dfs -put https://stackoverflow.com/questions/28213116/hadoop-copy-a-local-file-system-folder-to-hdfs hadoop copy a local file system folder to HDFS I need to copy a folder from local file system to HDFS. I could not find any example of moving a folder(including its all subfolders) to HDFS $ hadoop fs -copyFromLocal /home/ubuntu/Source-Folder-To- stackoverflow.com

tr:nth-child(even) {background: #CCC} tr:nth-child(odd) {background: #FFF} https://www.w3.org/Style/Examples/007/evenodd.en.html CSS: even and odd rules Even and odd rules One way to improve the readability of large tables is to color alternating rows. For example, the table below has a light gray background for the even rows and white for the odd ones. The rules for that are extremely simple: t..

https://snh2413.tistory.com/47 Apache와 SpringBoot(Embedded Tomcat) 연동 Apache와 SpringBoot(Embedded Tomcat) 연동 1. Apache 설정 스프링부트의 임베디드톰캣과 연동하기 위해서는 mod_jk 설치 및 Apache 추가 설정을 해야 합니다. 아래 링크에서 2-2. mod_jk 설치 와 2-4.아파치 설.. snh2413.tistory.com

for ((i=1;i

DISTRIBUTE BY SORT BY https://stackoverflow.com/questions/45092576/how-to-use-order-by-with-collect-set-operation-in-hive?noredirect=1&lq=1 how to use order by with collect_set() operation in hive In Table 1, I have customer_id, item_id and item_rank (rank of item according to some sales). I want to collect a list of items for each customer_id and arrange them according to item_rank. stackoverfl..

https://stackoverflow.com/questions/46468430/hbase-client-2-0-x-error hbase-client 2.0.x error I'm trying to connect to a remote hbase server using the hbase-client java API. So far i've been able to make it work with the hbase-client version 1.3.1. But to resolve a dependency conflict with ... stackoverflow.com

}, Encoders.bean(xxxx.class)); // xxxx class has enum class. // and don't use enum fields // add new String field https://github.com/apache/spark/pull/17013 [SPARK-19666][SQL] Skip a property without getter in Java schema inference and allow empty bean in encoder creation by HyukjinKw What changes were proposed in this pull request? This PR proposes to fix two. Skip a property without a getter i..

cat /etc/centos-release | grep -E -o [0-9]+\.[0-9]+ https://holjjack.tistory.com/94 [Linux] CentOS, Ubuntu 등 OS 버전을 확인하는 명령어 다른 개발실 분들이 구축해놓은 Linux의 경우, 인수인계가 제대로 이루어 지지 않거나, 문서화된 자료가 부족한 경우 가 간혹 발생합니다. 이럴 경우, 기본적으로 어떤 종류의 Linux를 사용했는지 holjjack.tistory.com

- C 언어와의 접착성 - 콜백 함수 - 람다 함수 - 이터레이터 - 제너레이터 인터프로터당 1개의 스레드만 허용하는 GIL(Global Interpreter Lock) 특성으로 인해 속도 측면에서 우려... 파이썬 토네이도(tornado) 프레임워크를 사용하여 웹 서버에 5개의 인스턴스를 띄우고, 동시 접속으로 10만개 이상의 요청 처리해 냄! HTTP(S) 프로토콜 request response 웹브라우저 curl http://www.example.com telnet www.example.com 80 ### HTTP 프로토콜 HTTP(Hypertext Transfer Protocol) 웹서버와 웹 클라이언트 사이에서 데이터를 주고받기 위해 사용하는 통신 방식으로, TCP/IP 프로토콜 위에서 동작: ..