| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | |||
| 5 | 6 | 7 | 8 | 9 | 10 | 11 |
| 12 | 13 | 14 | 15 | 16 | 17 | 18 |
| 19 | 20 | 21 | 22 | 23 | 24 | 25 |
| 26 | 27 | 28 | 29 | 30 | 31 |
- 패혈증 관련 급성 호흡곤란 증후군
- pre-trained llm
- 대기행렬
- length of stay
- timesfm
- 의료정보
- first pg on this rank that detected no heartbeat of its watchdog.
- m/m/s
- pytorch
- queueing theory
- nccl 업그레이드
- nccl 설치
- 딥러닝
- gru-d
- GaN
- 불규칙적 샘플링
- Time Series
- 리뷰
- Transformer
- 분산 학습
- operation management
- irregularly sampled time series
- ERD
- ed boarding
- multi gpu
- nccl 업데이트
- timellm
- moirai
- 토픽모델링
- NTMs
- Today
- Total
목록전체 글 (45)
데알못정을
[Review] Recurrent Neural Networks for Multivariate Time Series With Missing Values
Summary이번 포스팅에서는 다변량 시계열에서 존재하는 결측치를 처리할 수 있는 모델인 GRU-D에 대해 다룹니다. Irregularly Sampled Time Series본 연구는 불규칙적으로 기록된 다변량 시계열을 잘 다루기 위한 것으로, 여기서 불규칙적으로 기록되었다는 것은 하나의 변수가 일정한 간격으로 수집되지 않으면서, 변수들 사이에서도 서로 다른 타이밍에 값이 수집되었다는 것을 의미합니다. 이러한 시계열을 irregularly sampled time series라고 합니다. 특히 EHR 데이터 베이스를 분석을 위해 다변량 시계열 형태로 만들면 irregularly sampled time series가 됩니다. 왜냐하면 각 측정 과목마다 측정 여부와 간격이 서로 다르기 때문입니다.예를 들어, ..
NCCL 버전 업그레이드 하다가 발생한 문제
Multi GPU를 사용하는 학습 코드를 돌리던 와중에 잘 돌아가다가 갑자기 특정 epoch에서 코드가 멈추는 현상이 발생했다.(GPU에도 메모리가 멈췄다. watch -n 0.1 nvidia-smi로 보는데, 계속 멈춰있다) 그러다가 갑자기 혼자 중단하고서 하는말이 First PG on this rank that detected no heartbeat of its watchdog. [rank1]:[E814 01:43:33.703972694 ProcessGroupNCCL.cpp:1413] [PG 0 (default_pg) Rank 1] Heartbeat monitor timed out! Process will be terminated after dumping debug info. workMetaList_..
[Review] Using machine learning for the early prediction of sepsis-associated ARDS in the ICU and identification of clinical phenotypes with differential responses to treatment
Motivation/Background급성 호흡 곤란 증후군(Acute Respiratoty Distress Syndrom, ARDS)는 급격히 진행되는 호흡 부전과 폐 부종, 미만성 폐포 손상, 감염 세포 침윤을 특징으로 하는 중환자실에서 가장흔한 호흡기 증후군이다. 패혈증(Sepsis)는 ARDS의 흔한 위험 요소 중 하나이며, Sepsis associated ards는 매우 높은 사망률을 가지고 있으며 폐 손상으로부터 회복하기 쉽지 않기 때문에 non sepis ards보다 더 심각하다. 진단과 형태(Penotypic) 분류는 호흡기 중증 치료에서 주요 연구 방향으로 남아 있다. 특히, sepsis associated ARDS와 같은 높은 사망률 조건은 반드시 적극적으로 정밀 진단되어져야 한다. ..
[Review] Time-LLM: Time Series Forecasting By Reprogramming Large Language Models 쉽게 이해하기
[Summary]Time series foundation model이 NLP나 CV 분야에서 큰 성공을 이루었지만, Time series의 데이터 특성으로 인해 foundation model을 구축하는 것이 매우 어려운 문제이며, baseline 이라는 것이 아직 초기 단계이다. 본 논문은 LLM의 장점들을 time series에 잘 살릴 수 있는 분석 프레임워크를 제안하여 시계열 예측 task에서 SOTA 성능을 달성했다. [Introduction]Time series forecasting task는 광범위한 도메인 지식이 필요하여 task specific한 model 설계를 요구한다. 이는 다양한 범위의 NLP task에서 few shot이나 zero shot 환경에서도 매우 잘 작동하는 GPT-3..
[Review] The Impact of Delays on Service Times in the Intensive Care Unit
Summary이번 포스팅은 데이터 과학 분야가 아니라 매우 산업공학적인 내용을 다룹니다. 구체적으로, Operation Management 분야가 healthcare system에 어떻게 사용되는지 살펴볼건데, 바로 Queueing Theory를 이용한 분석입니다. 이번 포스팅에서 다룰 논문은 Queueing model을 사용하여 중환자실(ICU)입원을 위한 Waiting이 환자의 ICU length of stay에 미치는 영향을 분석하였습니다. 그 과정에서 delay의 효과를 체계적으로 구현하기 위해서, 기존 전통적 M/M/S queue 를 약간 변형한 M/M(f)/S를 제안하였습니다. 해당 논문은 INFORMS에 개제되어 있습니다. Motivation본 논문의 연구 동기에 대해 간단하게 말씀..
[Review] Mamba: Linear-Time Sequence Modeling with Selective State Spaces 쉽게 이해하기
Summary 이번 포스팅에서는 최근 Long sequence data modal에서 Transformer의 성능을 앞도하고 있는 Deep State Space Model의 발전 과정과 글의 문맥적 흐름까지 이해할 수 있도록 설계된 Selective State Space Model, 그리고 그 아키텍처를 단순화한 Mamba를 알아보도록 하겠습니다. 해당 논문은 여러가지 사전 지식이 없는 상태에서 읽는 것은 (산업공학도로서)매우 힘든 일입니다. 왜냐하면 State Space Model(SSM)과 이것의 딥러닝 아키텍처로서의 사용부터, 연산을 효율적으로 하기 위한 많은 시도들을 알고 있어야, 비로소 이 논문의 motivation을 공감할 수 있고, 문제를 어떻게 해결했는지 이해할 수 있기 때문입니다. 실제 ..