티스토리 뷰
728x90
private fun dataframe(list: List<*>): Dataset<Row> {
return SQLContext(SparkUtil.instance())
.createDataFrame(list, Data::class.java)
.toDF()
}
object SparkUtil {
fun instance(name: String? = ""): SparkSession {
return make(name!!)
}
private fun make(name: String): SparkSession {
return config(
SparkSession.builder().appName(name)
).enableHiveSupport().orCreate
}
private fun config(builder: SparkSession.Builder): SparkSession.Builder {
val map = YamlUtils.read(this::class.java, "spark", Extension.YAML)
var b = builder
map.keys.forEach {
val k = it
val v = map[k]
b = when (v) {
is Long -> b.config(k, v)
is String -> b.config(k, v)
is Double -> b.config(k, v)
is Boolean -> b.config(k, v)
else -> b
}
}
return b
}
}
https://stackoverflow.com/questions/43633696/dataframe-from-liststring-in-java
728x90
'공부' 카테고리의 다른 글
[python] black cannot import name 'ParameterSource' from 'click.core' #3111 (0) | 2022.09.11 |
---|---|
[docker] RUN, CMD, ENTRYPOINT (0) | 2022.09.11 |
[spark] recudeByKey vs groupByKey (0) | 2022.09.11 |
[java] reverse string (0) | 2022.09.11 |
[HBase] region 수를 작게 해야 하는 이유 (0) | 2022.09.11 |
댓글
250x250
공지사항
최근에 올라온 글
최근에 달린 댓글
- Total
- Today
- Yesterday
TAG
- 연애학개론
- 김달
- 테슬라 추천
- 테슬라
- COUNT
- 팔로워 수 세기
- 테슬라 리퍼럴 코드 혜택
- 테슬라 레퍼럴 코드 확인
- 책그림
- 클루지
- 테슬라 크레딧 사용
- 테슬라 레퍼럴
- Bot
- 유투브
- 모델y
- 인스타그램
- 모델 Y 레퍼럴
- follower
- 테슬라 리퍼럴 코드 생성
- 레퍼럴
- 테슬라 리퍼럴 코드
- wlw
- Kluge
- 어떻게 능력을 보여줄 것인가?
- 메디파크 내과 전문의 의학박사 김영수
- 할인
- 테슬라 레퍼럴 적용 확인
- 개리마커스
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | |
7 | 8 | 9 | 10 | 11 | 12 | 13 |
14 | 15 | 16 | 17 | 18 | 19 | 20 |
21 | 22 | 23 | 24 | 25 | 26 | 27 |
28 | 29 | 30 |
글 보관함