본문 바로가기

IT for researcher

 (27)
SecureCloud Towards a Comprehensive Security Framework for Cloud Computing Environments III. SECURITY CHALLENGES IN CLOUD 클라우드 컴퓨팅은 다중 도메인 환경 인스턴스로써 여겨질수 있다. 각 도메인은 다양한 보안과 트러스트 요구사항을 채택하고 여러가지 매커니즘과 시멘틱을 채택한다. 그러한 도메인들은 개별적으로 이용할 수 있는 서비스 또는 애플리케이션 컴포넌트를 표현한다. 서비스 지향 아키텍쳐는 서비스 조합을 통해 다중 도메인 형태를 가능케하기 위한 관련 기술이다. 다중 도메인 정책 통합과 안전한 서비스 조합에 대한 기존 연구들은 클라우드 컴퓨팅 환경에서 광범위한 보안 프레임워크를 구성하는데 이용될 수 있다. 여기서 우리는 클라우드 컴퓨팅이 일으킬 수 있는 주요 보안 챌린지에 대해 다룬다. A. 인증과 신원 관리 클라우드 서비스를 사용하여 사용자는 그들의 개인정보를 ..
Hadoop - 마소 10.3월호 요약 HDFS는 64MB 단위의 블록으로 쪼개서 분산 저장. 블록정보를 조회 관리 - 네임노드 실제 블록을 저장하는 기능 - 데이터 노드 3개의 서버에 복제해서 저장한다. 저장방법은 파이프라인 방식 네임노드로 부터 클라이언트가 파일을 저장할 데이터 노드들을 가져온 후 블럭을 A노드에 저장 -->A 노드에서 B노드로 복제 저장 --> B노드에서 C노드로 복제 저장 TCP 소켓을 통해 데이터를 읽기/쓰기를 위한 통신 수행 RPC를 통해 클라이언트와 네임노드간 통신이나 데이터노드와 네임노드간 컨트롤, 관리를 위한 통신 수행 설정 파일 설정파일에 대한 디폴트 값은 xxx-default.xml에 존재한다. 디폴트 값을 변경하려면 ${HADOOP_HOME}/conf/xxx-site.xml 파일에 설정하면 된다. hado..
Distributed Cache in Hadoop Hadoop 책에서 발췌해서 임시 발번역함. 데이터를 직렬화하기 보다 하둡의 분산 캐시 매커니즘을 이용하여 데이터셋을 분산하는 것이 더 유용하다. 첫문장 부터 이해안됨; 태스크들이 실행할 때 사용되는 파일과 아카이브를 태스크 노드에 복사하기 위한 서비스를 제공한다.(맵퍼와 리듀서에서 필요한 리소스들을 저장하기 위한 프로그래밍 매커니즘을 제공함 - 다른 책에서 정의한 문장) 네트워크 대역폭을 절약하기 위하여 파일들은 일반적으로 job 마다 한번 특정 노드에 복사된다. Usage GenericOptionsParser를 사용하는 많은 툴들을 위하여 당신은 -files 라는 옵션을 인수로 지정함으로써 콤마로 구분된 URI 목록으로 분산 파일들을 지정할 수 있다. 파일들은 로컬 파일 시스템 HDFS 또는 다른 하..
The JobConf Object in Detail Pro Hadoop 책에 부록 A에서 일부분을 발췌해서 발번역함. job의 모든것은 JobConf 객체를 통해 제어된다; 이것은 맵리듀스 job의 중심이다. 프레임워크는 JobConf 객체를 가져다가 XML로 표현할 것이다. 그런 후 모든 태스크들은 시작될 때 XML을 로드할 것이다. 이번 섹션은 관련 메소드들을 다루고 기본적인 사용 예제들을 제공할 것이다. JobConf 클래스는 Configuration 클래스로부터 상속받는다. JobConf 객체는 프로그래머와 프레임워크 사이에 주요 인터페이스이기 때문에 Configuration 베이스 클래스로 부터 온 메소드와 구분없이 사용자가 이용할 수 있는 JobConf의 모든 메소드에 대해서 상세히 알아볼 것이다. 그림 A-1에서 보여진 것 같이 새로운 Job..
Task JVM Reuse - in MapReduce Hadoop 책에서 일부 발번역함 하둡은 실행되고 있는 다른 태스크들로부터 분리하기 위하여 자신의 JVM에서 태스크를 실행한다. 각 태스크마다 새로운 JVM을 시작하는 오버헤드는 1초 정도걸린다. 이는 1분정도 실행되는 job들에게는 그다지 중요하지 않다. 그러나, 짧은 생명 주기 태스크(일반적으로 맵태스크들)를 많이 가지고 있거나 긴 초기화과정을 가지고 있는 job들은 다음 태스크들을 위해 JVM이 재사용될 때 좋은 퍼포먼스를 얻을 수 있다. 태스크 JVM 재사용하면 태스크들이 하나의 JVM에서 동시에 실행할 수는 없다. JVM은 순차적으로 태스크를 실행한다. 그러나 태스크트랙커들은 한번에 하나 이상의 태스크를 실행할 수 있지만 이것은 항상 분리된 JVM에서 이루어진다. 태스크트랙커의 맵과 리듀스 태스..
How MapReduce Works Hadoop : The Definitive Guide 책 6장 내용을 일부 발췌해서 발번역함. 이미 한글판 서적이 나왔지만 정리한다는 생각으로 번역~(3rd Edition을 요즘 보고 있어서 내용을 수정 추가~) 이 장에서 우리는 하둡에서 맵리듀스가 어떻게 동작하는지 상세하게 볼 것이다.이는 다음 두 장에서 살펴볼 좀 더 개선된 맵리듀스 프로그램 만들기 위한 좋은 지침을 제공한다. Anatomy of a MapReduce Job Run 당신은 한 라인 코드를 가지고 맵리듀스 job을 실행할 수 있다. : JobClient.runJob(conf). 매우 짧다. 그러나 이 뒤에는 수많은 처리가 숨겨져 있다. 이번 섹션은 하둡이 job을 수행하기위한 절차들을 알아본다.(Hadoop이 0.2로 버전업되면서 AP..
What is a servce factory in osgi? knopflerfish에 설명되어 있는 글을 발번역한 글입니다. 원문 http://www.knopflerfish.org/osgi_service_tutorial.html OSGi 서비스 팩토리는 ServiceFactory를 구현하면 만들 수 있다. 때때로 서비스는 서비스를 사용하는 번들에 의존하여 다양하게 설정될 필요가 있다. 예를 들어, 로그 서비스는 번들의 아이디를 출력할 수 있을 필요가 있다. 그렇지 않으면 읽기 어려울 것이다. 서비스 팩토리는 일반적인 서비스와 같은 방법으로 registerService를 사용하여 등록된다. 유일한 차이점은 실제적인 서비스 객체를 다루기전에 인디렉션 스텝이라는 것이다. 서비스를 사용하는 클라이언트는 서비스가 팩토리 객체인지 일반객체인지 알 필요도 없고 알아서도 안된다..
Whiteboard pattern in osgi 화이트보드 패턴 예제 원문: http://www.osgi.org/wiki/uploads/Links/whiteboard.pdf LCD Display bundle OSGi 환경에서 주요 문제은 번들간의 종속성을 처리하는 것이다: 다른 번들이 소유하거나 생성한 객체를 레퍼런스하는 번들간의 종속성. 이문제는 다음과 같은 간단한 예제를 사용하여 설명할 수 있다. 이 예제는 수 많은 스크린들을 회전하는 LCD 디스플레이 서비스로 구성되어 있다. 스크린들의 내용은 ContentProvider들에 의해 제공된다. 이것은 LCD에 표시되길 원하는 번들에 의해 구현될 수 있는 인터페이스이다. ContentProvider들은 새로운 스크린이 필요하면 그들의 내용에 대해 질의된다.[내용을 얻어오는 함수를 가지고 있다.] 이 ..

티스토리툴바