Hopp til hovedinnholdet

Lærer KI å se hvert enkelt tre i skogen

Maciej Wielgosz og Binbin Xiang - Foto Lars Sandved Dalen - NIBIO

Maciej Wielgosz og Binbin Xiang. Foto: Lars Sandved Dalen

NIBIOs eksperter på skog og kunstig intelligens (KI) trener opp datamodeller til å kjenne igjen enkelttrær i skogen. Utgangspunktet er data fra laserskanning. Jobben er enorm. Målet: Å gå fra bestandsskogbruk til forvaltning av skog på enkelttrenivå.

Å ikke se skogen for bare trær betyr noe sånt som at man er så opptatt av detaljer at man ikke ser helheten; at man ikke ser det som ligger like for nesen på en. Men, når dataprogrammer skal lære å se både trærne og skogen, er det kolossale mengder detaljer de skal få med seg.

Utviklingen av kunstig intelligens har gjort det mulig for oss alle å få hjelp til alt fra oversettelser og bedre formuleringer når vi sender epost fra mobiltelefonen, til selvkjørende biler som benytter lidar (Light Detection and Ranging) til å skanne omgivelsene med laser og fastslå hva som er fortau, fotgjengere og andre kjøretøy.

De samme metodene og dataprogrammene kan også trenes opp til å kjenne igjen trærne i skogen – det er bare det at natur er så mye mer komplisert å kjenne igjen. For mens et dataprogram kan øves opp til å lese tekst satt sammen av 28 bokstaver, eller å skille en sykkel fra et hus, er variasjonen i skogens natur nærmest uendelig. Det er ingen triviell jobb å lære et dataprogram å skille tre nabotrær fra hverandre og fastslå hva som er bjørk, furu eller gran.

Så hvordan foregår egentlig dette opptreningsarbeidet?

Bildet viser en lidar punktsky av enkelttre-segmentering av skogbestand. Foto: Lars Sandved Dalen
Bildet viser en lidar punktsky av enkelttre-segmentering av skogbestand. Foto: Lars Sandved Dalen

 

Fra urbane høyhus i Sveits til skogholt i Norge

Vi besøkte NIBIOs høyteknologiske avdeling for Driftsteknikk og digitalisering på Ås. I kontorene jobber skogforskere tett sammen med matematikere, programmerere, elektronikkingeniører og eksperter på fjernmåling – altså fotografering fra satellitter, fly og droner.

En av dem vi møter i gangene er Binbin Xiang, nylig ansatt som postdoktor ved NIBIO. Xiang kommer fra ETH-universitet i Zürich i Sveits. Hennes spesialitet er behandling og prosessering av tredimensjonale punktskyer. I Sveits jobbet hun for det meste med bygninger og strukturer i urbane miljøer. Nå er oppmerksomheten rettet mot granskogen.

Til opplæringen av datamodellene benytter Xiang maskinlæring og laserskanningsdata hentet i de norske skoger.

En laserskanner sender ut pulser av infrarødt lys til omgivelsene og lyspunktene reflekteres tilbake til skanneren. Til sammen dannes det en såkalt punktsky som beskriver overflaten av bakken og vegetasjonen, slik som trærne i skogen. Denne informasjonen kan så benyttes til å beskrive hva slags skog vi har, hvilke treslag skogen består av og hvilke skogskjøtselstiltak som eventuelt bør igangsettes.

Jobben til Binbin Xiang er å få dataprogrammet, den kunstige intelligensen, til raskere å klassifisere de mange fargede prikkene, som utgjør «bildet» eller punktskyen, som fremstiller et skogholt. Hun forklarer at prinsippene i grunnen er de samme som når punktskyer fra laserskanning av en by skal deles opp eller segmenteres i veier, bygninger, biler og så videre.

− Problemet eller konseptet er likt. Vi skal lære opp dataprogrammet til å kjenne igjen de ulike delene. Det er bare det at det er så mye mer komplisert og sammensatt i en skog. Trærne har for eksempel overlappende trekroner som gjør det vanskelig å skille dem fra hverandre, sier Xiang.

− Det er enkelt for oss mennesker å se forskjell, men for en maskin er det veldig, veldig vanskelig.

Lidar laserskanning benyttes til å lage en punktsky som så kan benyttes til å identifisere enkelttrær og egenskapene til de ulike delene av treet – blant annet ved hjelp av maskinlæring og kunstig intelligens. Illustrasjon: NIBIO
Lidar laserskanning benyttes til å lage en punktsky som så kan benyttes til å identifisere enkelttrær og egenskapene til de ulike delene av treet – blant annet ved hjelp av maskinlæring og kunstig intelligens. Illustrasjon: NIBIO

 

Millioner av datapunkter for å beskrive et enkelt tre

Litt lenger ned i gangen sitter forsker og KI-ekspert Maciej Wielgosz. Han deltar i det fascinerende arbeidet med å identifisere trærne og skille dem fra hverandre. Wielgosz forklarer at hvert enkelt punkt i den tredimensjonale punktskyen får lagt til ekstra informasjon (i tillegg til plasseringen i rommet; x,y,z). Informasjonen forteller KI-programmet at «Dette punktet er i trekronen», «dette punktet er i stammen». Man kan også legge til annen type informasjon om punktet, for eksempel hvilket tre i skogen det tilhører eller hva slags bonitet det er der treet vokser. Bonitet sier noe om hvor gode vokseforholdene er i skogen.

Bare for ett tre kan det være snakk om millioner av punkter som blir beskrevet, og det kan ta årevis å gjøre klar datasettet som så skal benyttes til å trene opp KI-datamodellene.

− Mye av utfordringen med mange av KI-modellene er at de er ment for menneskeskapte strukturer – som en stol, et bord eller en bil. Når vi studerer natur, biologi, ting som har vanvittig varierte former – blir det straks mye mer krevende, sier Wielgosz.

− Når du bruker mobiltelefonen til å transkribere tekst benytter den en språkmodell som er trent opp til å kjenne igjen ord. Men da er det et begrenset antall bokstaver og et fast vokabular. Det blir som et avgrenset område. Ute i naturen vet vi jo ikke hvor stor variasjonen er. Det gjør det så vanskelig å opprette et vokabular for trærne og skogen.

− Vi ser for oss at vi ved hjelp av høyoppløselig lidar laserskanning, og KI som gjenkjenner enkelttrær, kan innføre ideen om å følge ett enkelt tre gjennom hele skogbrukets verdikjede, sier NIBIO-forsker Stefano Puliti. Foto: Lars Sandved Dalen
− Vi ser for oss at vi ved hjelp av høyoppløselig lidar laserskanning, og KI som gjenkjenner enkelttrær, kan innføre ideen om å følge ett enkelt tre gjennom hele skogbrukets verdikjede, sier NIBIO-forsker Stefano Puliti. Foto: Lars Sandved Dalen

 

Høyteknologisk drevet skifte fra bestandsskogbruk til forvaltning på enkelttrenivå

I dag lagres og analyseres mye av den innsamlede informasjonen i ForestSens – en skyløsning utviklet av NIBIO, basert på Oracle Cloud Infrastructure. På sikt er målet at mye av analysen også kan gjøres i skogen – i sanntid – med sensorer montert på hogstmaskinen eller lassbæreren. En lassbærer frakter tømmeret ut fra hogstfeltet til en velteplass for videre transport med tømmerbil.

NIBIO-forskerne samarbeider med aktører i både norsk og europeisk skogindustri og skogforskning. Det skjer i prosjektet SmartForest, finansiert som et senter for forskningsdrevet innovasjon (SFI) av Norges forskningsråd, og i EU-prosjektet SingleTree.

Målet er intet mindre enn å gå fra det tradisjonelle bestandsskogbruket til forvaltning av skogen på enkelttrenivå.

− Vi ser for oss at vi ved hjelp av høyoppløselig lidar laserskanning, og KI som gjenkjenner enkelttrær, kan innføre ideen om å følge ett enkelt tre gjennom hele skogbrukets verdikjede, sier NIBIO-forsker Stefano Puliti.

− For eksempel i forbindelse med lukkede hogster vil enkelttreforvaltning kunne bistå hogstmaskinene når de skal velge ut hvilke trær som skal høstes. Deretter kan hver enkelt tømmerstokk følges frem til videre foredling i industrien.

Fjernmåling Skogressurskart SR16
Fjernmåling

Fjernmåling betegner strengt tatt alle målemetoder som ikke direkte berører objektene som måles. Men begrepet brukes hovedsakelig for sensorer som opereres fra satellitter eller fly.

For terrestrisk laserskanning og lignende metoder der sensorene er i nærheten av det som måles kan betegnelsen proksimalmåling brukes (fra det engelske begrepet proximal sensing). Opptak fra droner kan defineres inn i begge kategorier.

Fjernmålingsdata lar seg klassifisere etter plattformtype (satellitt, fly), sensortype (aktiv, passiv) eller datatype (todimensjonal eller tredimensjonal).

Alle fjernmålingstyper har sine fordeler og ulemper, men grovt forenklet gjelder det at: Gjenopptaksrate for data basert på opptak fra satellitt er større enn for opptak fra fly. En større gjenopptaksrate gjør det mulig å følge endringer i skogen (for eksempel hogst eller tilvekst) og øker sannsynligheten for brukbare (skyfrie) bilder når det gjelder satellittdata.

Til gjengjeld er den romlige oppløsningen for data tatt opp fra fly vanligvis bedre enn for data fra satellitter. Todimensjonale data egner seg mer for å beskrive arealbruk og treslag, mens tredimensjonale data egner seg bedre for å beskrive egenskaper som sier noe om skogstruktur; slik som volum, biomasse eller høyde.

Aktive sensorer som laserskanning (lidar) og radar er mer uavhengig av værforholdene. Radaren kan for eksempel «se gjennom» skyer. Til gjengjeld dekker passive sensorer ofte større områder og kan være mye billigere.

I prosjektet SmartForest, finansiert som et senter for forskningsdrevet innovasjon (SFI) av Norges forskningsråd, og i EU-prosjektet SingleTree, har NIBIO-forskerne gått sammen med aktører i både norsk og europeisk skogindustri og skogforskning. Her er noen av de mange forskerne. Fra venstre: Binbin Xiang, Johannes Rahlf, Stefano Puliti, Maciej Wielgosz og Rasmus Astrup. Foto: Lars Sandved Dalen, NIBIO
I prosjektet SmartForest, finansiert som et senter for forskningsdrevet innovasjon (SFI) av Norges forskningsråd, og i EU-prosjektet SingleTree, har NIBIO-forskerne gått sammen med aktører i både norsk og europeisk skogindustri og skogforskning. Her er noen av de mange forskerne. Fra venstre: Binbin Xiang, Johannes Rahlf, Stefano Puliti, Maciej Wielgosz og Rasmus Astrup. Foto: Lars Sandved Dalen, NIBIO

 

Tekst frå www.nibio.no kan brukast med tilvising til opphavskjelda. Bilete på www.nibio.no kan ikkje brukast utan samtykke frå kommunikasjonseininga. NIBIO har ikkje ansvar for innhald på eksterne nettstader som det er lenka til.

Publikasjoner

To document

Abstract

This study focuses on advancing individual tree crown (ITC) segmentation in lidar data, developing a sensor- and platform-agnostic deep learning model transferable across a spectrum of dense laser scanning datasets from drone (ULS), to terrestrial (TLS), and mobile (MLS) laser scanning data. In a field where transferability across different data characteristics has been a longstanding challenge, this research marks a step towards versatile, efficient, and comprehensive 3D forest scene analysis. Central to this study is model performance evaluation based on platform type (ULS vs. MLS) and data density. This involved five distinct scenarios, each integrating different combinations of input training data, including ULS, MLS, and their augmented versions through random subsampling, to assess the model's transferability to varying resolutions and efficacy across different canopy layers. The core of the model, inspired by the PointGroup architecture, is a 3D convolutional neural network (CNN) with dedicated prediction heads for semantic and instance segmentation. The model underwent comprehensive validation on publicly available, machine learning-ready point cloud datasets. Additional analyses assessed model adaptability to different resolutions and performance across canopy layers. Our results reveal that point cloud random subsampling is an effective augmentation strategy and improves model performance and transferability. The model trained using the most aggressive augmentation, including point clouds as sparse as 10 points m−2, showed best performance and was found to be transferable to sparse lidar data and boosts detection and segmentation of codominant and dominated trees. Notably, the model showed consistent performance for point clouds with densities >50 points m−2 but exhibited a drop in performance at the sparsest level (10 points m−2), mainly due to increased omission rates. Benchmarking against current state-of-the-art methods revealed boosts of up to 20% in the detection rates, indicating the model's superior performance on multiple open benchmark datasets. Further, our experiments also set new performance baselines for the other public datasets. The comparison highlights the model's superior segmentation skill, mainly due to better detection and segmentation of understory trees below the canopy, with reduced computational demands compared to other recent methods. In conclusion, the present study demonstrates that it is indeed feasible to train a sensor-agnostic model that can handle diverse laser scanning data, going beyond current sensor-specific methodologies. Further, our study sets a new baseline for tree segmentation, especially in complex forest structures. By advancing the state-of-the-art in forest lidar analysis, our work also lays the foundation for future innovations in ecological modeling and forest management.