배우기를 멈추는 사람은 20세건 80세건 늙은 것이다.

— 세대 교체가 끝나가는 데이터레이크의 진짜 주인공은?데이터 엔지니어링을 하다 보면 “데이터를 어디에, 어떤 포맷으로 저장할까”가 늘 고민입니다.예전엔 그냥 S3 + Hive 메타스토어면 충분했지만,이제는 데이터레이크에도 트랜잭션, 스냅샷, 스키마 진화 같은 개념이 기본이 되었습니다.이 시장을 대표하는 오픈소스가 바로Apache Iceberg, Apache Hudi, Delta Lake — 세 가지입니다.1️⃣ 세 가지의 출발점과 철학 IcebergHudiDelta Lake개발사Netflix (→ Apache 재단 기여)Uber (→ Apache 재단 기여)Databricks출발 배경대규모 배치 중심 레이크를 ACID로 관리스트리밍 기반 Upsert/Incremental 처리Spark 중심의 데이터 파이..

— 그리고 “최근 2일치만 실시간 연동”이 현실적인 설계인 이유대부분의 데이터 플랫폼에서 로그를 쌓을 때 “Iceberg로 다 때려 넣자”는 생각을 한 번쯤은 합니다.테이블도 깔끔하고, 스냅샷도 있고, 시간 여행(Time Travel)도 되니까요.그런데 실제 운영해 보면 금방 느낍니다.“로그는 Iceberg로 무한히 쌓는 게 아니다.”Iceberg는 ‘정제된 데이터셋’을 위한 포맷이다Iceberg는 데이터 웨어하우스나 마트처럼“변경이 적고, 관리가 필요한 데이터셋”을 다루기 위한 테이블 포맷입니다.즉, UPDATE/DELETE, MERGE, SNAPSHOT 같은 기능을 안전하게 처리하기 위한 구조죠.반면 로그 테이블은 완전히 반대입니다.무한히 쌓임 (append-only)자주 들어옴 (초당 수천 건)삭제..

https://velog.io/@ddclub12/%EB%8F%99%EA%B8%B0%EB%B9%84%EB%8F%99%EA%B8%B0-VS-%EB%B8%94%EB%A1%9C%ED%82%B9%EB%85%BC%EB%B8%94%EB%A1%9C%ED%82%B9 동기/비동기 VS 블로킹/논블로킹프로그래밍을 수행하다보면 동기/비동기와 블로킹/논블로킹에 대해서 접하게 된다. 동기/비동기는 프로세스 수행방식과 관련해서 많이 접했던 것 같고 블로킹/논블로킹은 I/O와 DB 관련해서 배velog.io

https://hyeyul-k.tistory.com/12 Index를 타지 않는 Query인덱스를 타지 않는 경우 1. 인덱스 컬럼의 변형 select * from table where LOWER(name) ='word'; select * from table where idx - 1 = 5; 이 처럼 인덱스에 변형을 가하게 되면, DBMS가 인덱스를 이용하지 않는다. 2. 인덱hyeyul-k.tistory.com

https://java119.tistory.com/70 괄호,특수문자 문자열로 인식하기)" data-og-description="CDATA ( ) 개념 쿼리를 작성할 때, '', '&'를 사용해야하는 경우가 생기는데 xml에서 그냥 사용할 경우 태그로 인식하는 경우가 종종 있다.. 이럴 경우 에러를 뱉어내기 때문에 '태그가 아니라 실제 쿼" data-og-host="java119.tistory.com" data-og-source-url="https://java119.tistory.com/70" data-og-url="https://java119.tistory.com/70" data-og-image="https://scrap.kakaocdn.net/dn/wPY9V/hyXptp7GCp/eVLu2a71wLee..

https://aws.amazon.com/ko/blogs/aws/amazon-s3-performance-tips-tricks-seattle-hiring-event/ Amazon S3 Performance Tips & Tricks + Seattle S3 Hiring Event | Amazon Web ServicesToday’s guest post is brought to you by Doug Grismore, Director of Storage Operations for AWS. Doug has some useful performance tips and tricks that will help you to get the best possible performance from Amazon S3. There’s..

https://tomining.tistory.com/164 ConnectionTimeout과 SocketTimeout의 차이URL을 호출하는 코드를 작성할 때 Timeout 설정을 하게 됩니다. 아래 코드로 예를 들어보겠습니다. DefaultHttpClient httpClient = new DefaultHttpClient(); HttpParams params = httpClient.getParams(); HttpConnectionParams.setConnetomining.tistory.com

https://brownbears.tistory.com/511 [UML] 시퀀스 다이어그램 (Sequence Diagram)시퀀스 다이어그램은 특정 행동이 어떠한 순서로 어떤 객체와 어떻게 상호작용을 하는지 표현하는 행위 다이어그램입니다. 현재 존재하는 시스템이 어떠한 시나리오로 움직이고 있는지를 나타brownbears.tistory.comhttps://app.creately.com/d/ZRcDVqE9MtM/diagram-error Creately app.creately.com

function sortTable(table, index, asc) { var rows = table.find('tbody tr').get(); rows.sort(function (a, b) { var cellA = $(a).children('td').eq(index).text().trim(); var cellB = $(b).children('td').eq(index).text().trim(); if ($.isNumeric(cellA) && $.isNumeric(cellB)) { return asc ? cellB - cellA : cellA - cellB; } else { return asc ? cellB..

https://wiki.tistory.com/entry/%EB%94%94%EB%A0%89%ED%84%B0%EB%A6%AC-%EB%B0%B1%EC%97%85-%EB%B3%B5%EC%82%AC%EC%97%90-rsync-%EB%A5%BC-%EC%82%AC%EC%9A%A9%ED%95%98%EC%9E%90 디렉터리 백업 (복사)에 rsync 를 사용하자rsync란 무엇인가rsync는 컴퓨터 시스템 상에서 파일을 효율적으로 전송하고 동기화하기 위한 유틸리티의 하나로, 파일의 타임스탬프와 크기를 검사함으로써 이루어진다. wikipedia홈페이지 : https://wiki.tistory.com

@Enumerated(value = EnumType.STRING)https://pamyferret.tistory.com/6 [ Enum ] JPA로 enum name 그대로 DB에 저장하기(@Enumerated)최근에 Enum을 이렇게도 저렇게도 사용해보게 되었다. 그 동안 회사 프로젝트에서는 왜 사용을 안 했는지 정말 후회되는 Enum... 나 처럼 enum을 처음 사용해보는 사람은 JPA를 사용할 때 entity에 enum cpamyferret.tistory.comimport javax.persistence.EnumType;...public class Order { ... @Enumerated(value = EnumType.STRING) // 또는 @Enumerated(EnumType.STRI..

SELECT GROUP_CONCAT(DISTINCT categories ORDER BY categories ASC SEPARATOR ' ') FROM table https://stackoverflow.com/questions/3083499/mysql-distinct-on-a-group-concat MySQL DISTINCT on a GROUP_CONCAT()I am doing SELECT GROUP_CONCAT(categories SEPARATOR ' ') FROM table. Sample data below: categories ---------- test1 test2 test3 test4 test1 test3 test1 test3 However, I am getting test1 test2 test3..

https://stackoverflow.com/questions/70215736/kotlin-spring-boot-bean-validation-not-working Kotlin Spring Boot bean validation not workingI have quite a few projects that is slowly being migrated from Java to Kotlin, but I'm facing a problem when changing from Java POJO to Kotlin data classes. Bean validation stops working in RESTstackoverflow.com

@RestController@Validated // https://stackoverflow.com/questions/28150405/validation-of-a-list-of-objects-in-spring Validation of a list of objects in SpringI have the following controller method: @RequestMapping(value="/map/update", method=RequestMethod.POST, produces = "application/json; charset=utf-8") @ResponseBody public ResponseEntityWrapperstackoverflow.com

sudo nginx -s stophttps://serverfault.com/questions/141975/how-to-stop-nginx-on-mac-os-x How to stop nginx on Mac OS XI've installed and configured nginx server on my Mac from MacPorts sudo port install nginx Followed the recommendation from the port installation console and created the launchd startup item for n...serverfault.com

https://instaloader.github.io/as-module.html Python Module instaloader — Instaloader documentationUse a Post shortcode (part of the Post URL, https://www.instagram.com/p/SHORTCODE/) to create a Post object: post = Post.from_shortcode(L.context, SHORTCODE)instaloader.github.io

https://code-lab1.tistory.com/406 java.lang.IllegalStateException: Cannot get a STRING value from a NUMERIC cell 에러 해결에러 상황 Spring에서 Apache POI를 통해 엑셀 파일을 읽으려고 했다. 그런데 연도(year) 셀을 읽을 때 cannot get a STRING value from a numeric cell 라는 에러가 발생했다. 해당 에러는 숫자가 입력된 셀에서 Strincode-lab1.tistory.comrow.getCell(1).setCellType(CellType.String);year = row.getCell(1).getStringCellValue();출처: https://code-lab1...

덕업일치: 본인이 좋아하는 취미와 직업이 일치된다는 뜻GPAM: Goal, Plan, Action, Measure 더닝 크루거 효과(Dunning–Kruger effect)는 인지 편향의 하나로, 능력이 없는 사람이 잘못된 판단을 내려 잘못된 결론에 도달하지만, 능력이 없기 때문에 자신의 실수를 알아차리지 못하는 현상을 가리킨다. 쓸모 있는 사람 = 전문가 = 역량 = 전문 역량 + 일반 역량쓸모 있는 사람 = 일의 가치 * 전문가 = 일의 가치 * (전문 역량 + 일반 역량) 백엔드 엔지니어의 실력은 얼마나 많은 오류와 장애를 만나고 이를 해결했는지 여부에 따라 갈린다.1. 소스 코드 레벨에서 이해하자2. 지식을 글로 공개하라, 결과물로 남기는 것이 중요, 사람의 기억력은 믿을 수 없고, 제대로 이해했..

https://github.com/thymeleaf/thymeleaf/issues/147blabla generates blabla instead of  Double underscore removed and exception processing _ code · Issue #147 · thymeleaf/thymeleafDouble underscore are removed when its expression is processed: blabla generates blabla instead of github.comname.replaceAll("__([^_]+)__", "$1"),

https://docs.aws.amazon.com/ko_kr/waf/latest/developerguide/aws-managed-rule-groups-baseline.html 기준 규칙 그룹 - AWS WAF, AWS Firewall Manager, 및 AWS Shield Advanced이 규칙은 웹 ACL 및 리소스 유형에 대한 본문 크기 제한까지만 요청 본문을 검사합니다. Application Load Balancer 및 의 AWS AppSync경우 제한은 8KB로 고정되어 있습니다. API Gateway, Amazon Cognito, 앱 러너 및docs.aws.amazon.com

git config --global --unset remote.origin.fetchhttps://stackoverflow.com/questions/54922704/git-cloning-error-fatal-multiple-updates-for-ref-not-allowed Git cloning error: 'fatal: multiple updates for ... ref not allowed'I'm getting an error when trying to git clone a repository: git clone https://github.com/laradock/laradock.git Cloning into 'laradock'... ...stackoverflow.com

SELECT GROUP_CONCAT(hobbies SEPARATOR ', ') FROM peoples_hobbies WHERE person_id = 5 GROUP BY 'all';https://stackoverflow.com/questions/276927/can-i-concatenate-multiple-mysql-rows-into-one-field Can I concatenate multiple MySQL rows into one field?Using MySQL, I can do something like: SELECT hobbies FROM peoples_hobbies WHERE person_id = 5; My Output: shopping fishing coding but instead I..

https://dlee0129.tistory.com/25 [Github] git config core.ignorecase falseGithub git config core.ignorecase false Github는 파일명이나 폴더명을 대소문자만 변경하면 인식하지 못합니다. 그것을 인식하게 해준다고 알려진 git config core.ignorecase false 설정방법입니다. 기존에는 파일dlee0129.tistory.com

~/.aws/credentials[default][playground]~/.aws/config[default][profile playground]https://stackoverflow.com/questions/29166957/error-you-must-specify-a-region-when-running-any-aws-cli-command Error "You must specify a region" when running any aws CLI commandI am trying to use aws container service as per the documentation in http://docs.aws.amazon.com/AmazonECS/latest/developerguide/ECS_GetStarte..

https://junuuu.tistory.com/814 @Transactional 과 Database Connection개요 Spring에서 @Transational 어노테이션을 활용하여 데이터베이스와 통신할 때 보통 Connection Pool을 활용하곤 합니다. 이때 하나의 트랜잭션은 하나의 Database Connection을 활용하는가? 문득 궁금해져junuuu.tistory.com

https://medium.com/@im_zero/transactional-%EC%84%9C%EB%B9%84%EC%8A%A4-%EA%B3%84%EC%B8%B5%EC%97%90%EC%84%9C-%EC%82%AC%EC%9A%A9%ED%95%98%EB%8A%94-%EC%9D%B4%EC%9C%A0-4ca7cceac37e @Transactional 서비스 계층에서 사용하는 이유‘@Transactional을 controller에 작성해도 되는가’라는 질문이 있었는데 한 번도 생각해보지 않았고, 당연하다는 듯이 서비스 계층에서 사용했었다. 결론은 다음과 같다.medium.com

https://junhyunny.github.io/java/jpa/query-dsl/crud-with-jpa-query-factory/" data-og-host="junhyunny.github.io" data-og-source-url="https://junhyunny.github.io/java/jpa/query-dsl/crud-with-jpa-query-factory/" data-og-url="https://junhyunny.github.io/java/jpa/query-dsl/crud-with-jpa-query-factory/" data-og-image="https://blog.kakaocdn.net/dna/s6uOp/hyWvV2LOTT/AAAAAAAAAAAAAAAAAAAAANWfYxATABjgcm-h776ajxp0hCLCsig54X7Daf5atglB/img.png?credential=yqXZFxpELC7KVnFOS48ylbz2pIh7yKj8&expires=1769871599&allow_ip=&allow_referer=&signature=RhzkKej2GxhiOG6Tj%2BrccmefLl8%3D

https://github.com/pinpoint-apm/pinpoint/pull/11056 (#11055) refactor: remove space by seunggabi · Pull Request #11056 · pinpoint-apm/pinpoint#11055github.com