모래블로그

5회차 빅분기 합격 후기 2022년 12월 16일에 제 5회 빅데이터분석기사(빅분기) 실기 사전 결과 발표가 났다. 나는 빅데이터분석기사 필기 합격한 후 이번 12월 3일에 명지전문대에서 실기 시험을 보고 왔다. 빅데이터분석기사 실기 시험은 정보처리기사와 다르게 단답형, 작업형 제1유형, 작업형 제2유형으로 나눠져있었고 실제 코딩을 해야해서 걱정을 많이 했었다. 언어는 파이썬이 익숙해서 파이썬을 선택해서 봤다. 문제 유형 단답형 10문제 (각 3점씩 총 30점), 작업형 제 1유형 3문제 (각 10점씩 총 30점), 작업형 제 2유형 1문제 (40점) 으로 이루어져 있다. 공부 책은 데이터에듀 빅데이터분석기사 실기 with Python 를 사서 공부했다. 이 책이 실기 시험 보기 전 새로 나왔고, 4회 ..

기억나는 에러들 정리 그동안 졸업 프로젝트 하면서 수 많은 오류들과 마주했었는데, NullPointerException 에러가 발생했을 때 화났던 것들 중 하나가 NullPointException 이었다. 데이터 받아오는거라 null 이 발생하는게 한두개여야지,,, 이건 하나하나 System.out.println 으로 출력해보면서 어디에서 문제가 발생했는지 체크하면서 잡아냈다. IndexOutOfBoundsException 이건 범위를 넘어가서 발생한 오류라서 금방 고쳤던 것으로 기억한다. UnsatisfiedDependencyException 이건 application.properties에 정리해뒀던 앱키들 빠졌을 때 발생했던 오류였다. ClassCastException 내가 제~~일 화나고 싫어했던 ..

WebClient를 쓰게 된 이유 교통약자지도를 만들면서 RestTemplate를 썼었는데, 이는 동기 방식이다. 승강기 유무를 알려주는 것이 우리 교통약자지도의 핵심 중 하나인데, 하나를 검색하면 8-10개의 검색 결과를 반환하고 거기에 승강기 유무까지 같이 반환하다보니 시간이 너무 오래 걸리는 문제가 발생했다. 각각 승강기 유무를 가져와야해서 호출하여 결과를 가져오는데 오래 걸렸다. 게다가 동기 방식이다 보니 결과를 가져올 때까지 계속 기다리게 되는 것이다. 그래서 처음에 무려 5분이 걸렸다.. 거기에 충격을 받은 나는 팀원에게 이건 도저히 못쓸 것 같다. 다른 방법을 알아보자고 해서 그렇게 지인에게 물어봄 + 구글링을 통해 WebClient를 알게 되었다. WebClient WebClient란 스프..

티맵 api를 이용해서 데이터를 받아오는거도 성공했는데 예시만 봐도 Response Parameter가 정말 많다. 우리가 저 많은 데이터를 전부 다 쓸건 아닌데 말이다! 특히 통합검색은 결과를 하나만 받아오는 것도 아니고.. 결과 받아와본 것만 봐도 어지럽다..😂 확실히 저기서 필요한 데이터만 뽑아서 써야겠다는 생각이 들었다. json 데이터로 받아오는데 저걸 필요한 것만 어떻게 가져오지? 그래서 찾아보다가 발견한게 JSON 파싱하는 것이었다. 1. JSON 파싱하기 먼저 JSON 파싱을 하기 위해 json-simple이라는 라이브러리를 사용하는데, build.gradle에 implementation group: 'com.googlecode.json-simple', name: 'json-simple',..

1. UriComponents란? UriComponents는 URI를 동적으로 생성해주는 클래스다. UriComponents를 사용하면 파라미터 값을 지정하거나 변경하는 일이 쉬워진다. 원하는 URI로 각각의 링크를 생성할 수 있어서 Rest 스타일로 개발하는데 편리하다. 2. UriComponentsBuilder란? UriComponentsBuilder는 클래스 명에서 유추할 수 있듯이, UriComponents를 build 할 수 있도록 도와주는 클래스이다. UriComponents 클래스의 생성자는 모두 package-private 또는 private 이기 때문에, 개발자가 이를 직접 구현하지 않는 이상 생성자를 통해 직접 생성할 수는 없다. 우리는 생성자를 이용하는 대신, UriComponents..

1. RestTemplate란 REST API 호출이후 응답을 받을 때까지 기다리는 동기 방식 으로, 스프링 3.0에서부터 지원하며 스프링에서 제공하는 http 통신에 유용하게 쓸 수 있는 템플릿이고, REST 서비스를 호출하도록 설계되어 HTTP 프로토콜의 메서드 (GET, POST, DELETE, PUT)에 맞게 여러 메서드를 제공한다고 한다. 1) RestTemplate의 특징 HTTP 서버와의 통신을 단순화하고 RESTful 원칙을 지킨다.(json, xml을 쉽게 응답 받음) 멀티쓰레드 방식을 사용한다. blocking 방식 사용한다.1 요청 당 1 스레드가 할당 되며 각 스레드에서는 Blocking 방식으로 처리되기 때문에 응답이 올 때 까지 해당 스레드는 다른 요청에 할당 될 수 없다. 물론..

1. REST(REpresentationl State Transfer)란? REST는 자원의 이름으로 구분해 해당 자원의 상태를 주고 받는 모든 것 자원의 표현에 의한 상태 전달 1. 자원 : 해당 소프트웨어가 관리하는 모든 것 (문서, 그림, 데이터, 해당 소프트웨어 자체 등) 2. 표현 : 그 자원을 표현하기 위한 이름 (DB의 학생 정보가 자원이면, ‘students’를 자원의 표현으로 정함) 3. 상태 전달 : 데이터가 요청되는 시점에 자원의 상태를 전달 (보통 JSON 이나 XML 통해 데이터를 주고 받는 것이 일반적임) REST는 기본적으로 웹의 기존 기술과 http 프로토콜을 그대로 활용하므로 웹의 장점을 최대한 활용할 수 있는 아키텍처 스타일이다. REST는 네트워크 상에서 Client와 ..

1. 다이나믹 프로그래밍(DP)이란 1950년대 미국의 수학자인 벨만(Richard E. Bellman)이 최적화 문제(Optimization Problem)를 해결하기 위해서 고안한 복잡한 문제를 간단한 여러 개의 문제로 나누어 푸는 방법을 말한다. 부분 문제 반복과 최적 부분 구조를 가지고 있는 알고리즘을 일반적인 방법에 비해 더욱 적은 시간 내에 풀 때 사용한다. (위키백과) 2. 다이나믹 프로그래밍 조건 다이나믹 프로그래밍을 적용하려면 아래 2가지 조건을 만족해야한다. 1) 부분 반복 문제(Overlapping Subproblem) 작은 문제들이 중복된다는 것이다. DP는 기본적으로 문제를 나누고, 그 문제의 결과 값을 재활용해서 전체 답을 구하므로 동일한 작은 문제들이 반복하여 나타나는 경우에 ..