다크 데이터란 무엇일까요?

혁신적인 화학 기업들 앞에 R&D 혁신 기회가 놓여 있습니다. 이들 기업은 "다크 데이터"라는 풍부한 미활용 데이터를 사용해서 전례 없는 통찰력을 얻고 전에 없이 빠르게 혁신을 도모할 수 있습니다. 효과적인 지식 관리 전략을 구현한다면 획기적인 발견과 발전의 잠재력은 무궁무진합니다.

다크 데이터는 보통 비정형 데이터 또는 반정형 데이터로, 쉽게 검색하거나 액세스할 수 없습니다. 조직이 저장하는 데이터의 55%가 다크 데이터인 것으로 추정됩니다. 그러나 전 세계 비즈니스 및 IT 임원과 관리자 중 90%가 미래의 성공을 위해서는 모든 조직이 이 비정형 데이터의 가치를 활용해야 한다는 데 동의하고 있습니다.

다각화된 화학 R&D 관점에서 볼 때 다크 데이터에는 실험실 노트북, LIMS, 실험 보고서, 참고 문헌 등의 데이터를 비롯하여 검색 가능한 데이터베이스에 통합되지 않은 데이터가 포함될 수 있습니다. 이 데이터는 새로운 소재를 식별하고, 기존 제형을 개선하고, R&D 사이클 타임을 줄이는 데 유용하게 활용될 수 있습니다.

다크 데이터의 가치를 활용하기 위해 다각화된 화학 조직들은 가장 가치 있는 데이터가 어디에 숨어 있는지 식별하고 필요에 따라 이 데이터를 액세스, 수집, 구성 및 분석할 수 있는 효과적인 지식 관리 전략을 구현해야 합니다.

숨겨진 보석 발굴: 가장 가치 있는 화학 R&D 데이터 식별

다크 데이터는 화학 R&D 워크플로 전반에 걸쳐 숨겨져 있을 수 있습니다. 초기 단계 연구부터 제조, 제형, 특성화, 그리고 출시 후 감시까지 가치 있는 데이터가 생성되고 수집되지만 잠재력이 충분히 활용되고 있지 못할 수 있습니다. 다크 데이터의 가치를 활용하고 혁신을 가속화하기 위해서는 R&D 조직이 이 데이터가 어디에 숨겨져 있는지 식별하고 효과적으로 데이터를 액세스하고 활용할 수 있는 전략을 개발하는 것이 중요합니다.

다양한 유형의 다크 데이터가 연구에 가치 있게 활용됩니다. 예를 들어 과거의 실험 데이터는 분산되어 있거나 불완전하거나 정형화되지 않은 경우가 많지만, 약간의 구성과 분석을 통해 현재와 미래의 프로젝트에 대한 가치 있는 통찰력을 제공할 수 있습니다. 조직의 자체 R&D 노력을 넘어 학술 논문, 특허, 산업 보고서와 같은 외부 데이터 소스 역시 혁신과 연구를 위한 가치 있는 통찰력을 제공하고 새로운 기회를 발굴하는 데 활용될 수 있습니다. 끝으로 과학 기사나 실험실 노트의 텍스트 데이터와 같은 비정형 데이터가 숨겨진 통찰력을 가지고 있을 수 있지만, 효과적인 분석을 위해서는 올바른 도구와 기술이 필요합니다.

조직들은 필요에 따라 다음 단계를 통해 이 숨겨진 데이터를 식별하고 액세스할 수 있습니다.

• 내부와 외부, 정형 및 비정형 데이터까지 모두 가용 데이터 소스에 대한 철저한 인벤토리 수행이 핵심입니다.
• 현재와 미래의 R&D 노력에 미치는 잠재적인 가치를 기반으로 한 데이터 소스의 우선순위를 결정하면 조직이 리소스의 활용도를 높이는 데 도움이 될 수 있습니다. 예를 들어 새롭게 검증된 기능성 소재를 스케일업하려 계획하고 있는 경우, 이상적인 조건을 예측하는 데 도움이 되는 과거 제형 및 제조 데이터에 액세스하는 것에 우선순위를 둘 수 있습니다.
• 데이터 중심 의사결정과 지속적인 개선 문화를 조성하면 혁신적인 화학 조직이 다크 데이터의 잠재력을 최대로 실현하는 데 도움이 될 수 있습니다.

다크 데이터의 활용을 위한 다섯 가지 필수 지식 관리 전략

다크 데이터의 가치를 활용하고 혁신을 촉진하는 데 있어 필수적인 지식 관리 전략으로는 맞춤형 큐레이션 데이터세트, 시맨틱 프레임워크, 자동화된 데이터 마이닝 및 협력적인 워크플로를 들 수 있습니다. 이어서 이러한 전략이 어떻게 도움이 될 수 있는지 자세히 살펴보겠습니다.

1. 맞춤형 큐레이션
   맞춤형 큐레이션에는 각 분야 전문가에 의한 화학 데이터의 수동 큐레이션으로 조직의 요구에 맞는 고품질 데이터세트를 만드는 작업이 포함됩니다. 기능성 소재, 화장품, 농업 또는 기타 DivChem 분야의 과학자들은 맞춤형 큐레이션을 사용해서 작업 중인 데이터가 정확하고, 최신 상태이고, 연구 목적에 부합하도록 보장할 수 있습니다. 또한 조직들은 전문가 데이터 큐레이터와 협력해서 정보를 내부적으로 연결하고 전 세계 과학에 연결해 내부 데이터의 효용성을 높일 수 있습니다. 머신 러닝 모델용으로 특별히 설계된 맞춤형 큐레이션 데이터세트를 통해 AI 기반 디지털 혁신 이니셔티브를 강화할 수 있습니다.
   
   이 사례 연구를 다운로드하여 큐레이션된 교육 세트가 어떻게 AI의 모델 예측 정확도와 이동성을 개선했는지 확인해 보십시오.
   
2. 시맨틱 프레임워크
   시맨틱 프레임워크는 기능성 소재와 같은 특정 영역의 개념과 관계를 구성하고 분류하는 데 사용되는 표준화된 접근법입니다. 이러한 프레임워크는 전문 어휘, 온톨로지 및 분류 체계 요소를 포함할 수 있으며 조직 전반의 화학 데이터에 대한 공통 언어와 이해를 제공하도록 설계되었습니다. 이 접근법은 R&D 속도를 높이는 데 도움이 될 수 있으며 과학자들이 정보에 입각한 의사결정을 내릴 수 있도록 지원합니다.
   
   예를 들어 한 연구원이 새로운 전자 기기에 사용할 신소재를 찾고 있습니다. 이를 위해 전문 어휘, 온톨로지 및 분류 체계를 사용해서 알려진 소재의 속성과 특성을 분류하고 구성 작업을 시작할 수 있습니다. 전문 분류 체계를 사용해서 전기 전도성, 광 속성 또는 열 안정성을 기준으로 소재를 분류할 수 있습니다. 화학자는 이 방식으로 소재를 구성해 신소재가 필요할 수 있는 영역이나 지식 간극을 더 쉽게 식별이 가능합니다. 또한 온톨로지를 사용해서 소재의 구조와 전자 속성 간 차이와 같은 다양한 소재 속성들 간 관계를 정의할 수 있습니다. 따라서 화학자는 향후 조사할 소재에 대한 의사결정을 보다 효과적인 정보를 기반으로 내릴 수 있습니다.
   
   이 사례 연구를 다운로드하여 어떻게 축적된 내부 정보로 통찰력을 확보하고 데이터 기반 의사결정을 내릴 수 있는지 알아보십시오.
   
3. 자동화된 데이터 마이닝
   R&D 조직들은 자동화된 데이터 마이닝 기법을 사용해서 대량의 비정형 화학 데이터에서 숨겨진 패턴과 통찰력을 얻을 수 있습니다. 머신 러닝과 고급 분석을 통해 이전 실험 결과, 제조 조건, 과학 논문, 특허 및 기타 출처에서 얻은 화학 데이터를 분석해서 화학물질, 반응, 제형들 간 관계를 식별할 수 있습니다. 이러한 통찰력은 새로운 R&D 기회 발견으로 이어질 수 있으며 기존 제품과 프로세스에 대한 통찰력을 제공할 수 있습니다.
   
   예를 들어 연구원이 자신의 연구 영역과 관련된 수천 개의 논문을 검색하고 소재 속성, 합성 방법, 성능 지표 등 핵심 정보를 추출할 수 있습니다. 이 정보가 추출되고 나면 연구원이 머신 러닝 알고리즘을 사용하여 데이터를 분석할 수 있으며 신소재 발견으로 이어질 수 있는 패턴 또는 상관관계 식별이 가능합니다. 연구원은 특정 합성 방법 또는 스케일업 조건이 바람직한 속성을 갖는 소재를 지속적으로 생성한다는 사실 또는 특정 구조적 특성을 갖는 소재가 특정 분야에서 우수한 성능을 보이는 경향이 있다는 사실을 알아낼 수 있습니다.
   
4. 협업 도구
   중앙 집중식 데이터베이스 및 통합 LIMS 시스템과 같은 협업 도구와 기법은 R&D 팀이 지식과 통찰력을 공유하고 데이터 사일로를 타파할 수 있는 효율적이고 신뢰할 수 있는 방법을 제공합니다. R&D 조직들은 중앙 집중식 데이터 저장소에 대한 액세스를 제공하여 커뮤니케이션을 개선하고 혁신을 가속화할 수 있습니다. 또한 중앙 집중식 클라우드 기반 데이터베이스가 지리적으로 분산되어 있는 원격지 팀 및 연구원들 간 지식 공유를 개선할 수 있습니다.
   
   또한 현대의 디지털 생태계들이 두 조직들 간 지식 전달이 용이해지도록 지원합니다. 이는 학계와 산업계 간 합작 프로젝트나 연구원들이 이전 연구를 기반으로 소재의 특성 또는 성능 데이터에 대한 지식을 공유해야 하는 인수 합병(M&A) 과정에서 특히 중요합니다. 조직들은 협업을 촉진하는 디지털 R&D 생태계를 활용해서 잠재적인 혁신 기회를 보다 효과적으로 식별할 수 있습니다.
   
   화학 조직들은 다크 데이터를 활용하고 효과적인 지식 관리 전략을 구현하여 혁신을 가속화하고 R&D 결과를 개선할 수 있습니다. 또한 사이클 타임을 줄이고, 새로운 연구 기회를 식별하고, 제품 제형을 개선할 수 있을 뿐 아니라 향후 진행할 연구 프로젝트에 대한 의사결정을 보다 효과적인 정보를 기반으로 내릴 수 있습니다.
   
   이 사례 연구를 다운로드해서 Toray Industries가 어떻게 데이터 사일로를 제거하고 데이터를 워크플로에 원활하게 통합할 수 있었는지 알아보십시오.
   
5. 전문과와의 협력으로 지식 관리 전략 이행
   전체 화학 R&D 워크플로에 걸친 과학 정보의 복잡성으로 인해 내부 IT 팀의 적응이 까다로워집니다. 모든 직원들이 가치 있는 R&D 데이터에 쉽고 효율적으로 액세스할 수 있도록 외부 파트너가 기존 데이터를 정형화된 형식으로 저장 및 연결할 수 있는 솔루션 구축 작업을 도와줄 수 있습니다. 외부 파트너의 경험은 더 없이 중요할 수 있습니다. 모범 사례에 대한 통찰력과 지식 관리에 대한 전문 지식이 여러분의 노력이 성공적인 결과로 이어지는 데 도움이 될 수 있습니다.

‍