Extinct Species in Berlin

Extracting Berlin red list data from different published sources.

IUCN Red List is an inventory of the global conservation status and extinction risk of species. As conservation status can vary between locations, extinction can be defined relative to the locality as well. Because of this, there are other red lists for geo-political areas. In the case of Germany, the overall red list for Germany as well as the red lists for each state are available. While the country red lists are compiled in a singular format and available digitally, the lists for Berlin state are of varying structure and are only available as their initial research publication format (either as pdf or in print).

This project is an effort to extract species data from multiple sources to form a singular list that reflects extinct species in Berlin. The data extraction process is made available so the final research outcomes are reproducible.

Data Transformation Process

Tools and libraries

• Python
• Pandas
• NumPy
• Camelot
• PyGBIF
• Xmind
• Potentially: Databricks, Google Drive

How to setup

Setting up dependencies using the requirements file

  pip install -r requirements.txt

Development steps:

1. EDA - DONE
2. Data Extraction - DONE
3. Raw data transformation - Transformation step 1 - DONE
4. Adding taxonomy backbone - Transformation step 2 - DONE
5. Addng metadata table - Transformation step 3
6. Extinct species concatenated data list - Transformation step 4 - DONE
7. Basic README - DONE
8. Updating the transformation process for Makrolepidoptera - HERE
9. Publishing the transformation process - DONE
10. Publishing references DONE
11. How to reproduce the process - documentation v1 DONE
12. Moving transformation to Databricks
13. How to reproduce the process - documentation v2

Data Source

Main Source:

Species Lists – Red Lists of Endangered Plants, Animals and Fungi from Berlin / Artenlisten – Rote Listen der gefährdeten Pflanzen, Tiere und Pilze von Berlin

#	List Name	Author/s	Link
01	Rote Liste und Gesamtartenliste der Großschmetterlinge (Lepidoptera: Makrolepidoptera) von Berlin	Jörg Gelbrecht, Alessandro Kormannshaus, Bernd Krüger, Fred Ockruck, Bernd Schulze, Franz Theimer, Peter Weisbach, Hubert Woelky, Otfried Woelky & Michael Woelky	Link
02	Rote Liste und Gesamtartenliste der Sackträger (Lepidoptera: Psychidae) von Berlin	Michael Weidlich	Link
03	Rote Liste und Gesamtartenliste der Libellen (Odonata) von Berlin	Falk Petzold unter Mitarbeit von Peter Jahn	Link
04	Rote Liste und Gesamtartenliste der Heuschrecken und Grillen (Saltatoria: Ensifera et Caelifera) von Berlin	Bernd Machatzi, Andreas Ratsch, Rüdiger Prasse & Michael Ristow	Link
05	Rote Liste und Gesamtartenliste der Zikaden (Hemiptera: Fulgoromorpha und Cicadomorpha) von Berlin	Herbert Nickel & Roland Mühlethaler	Link
06	Rote Liste und Gesamtartenliste der Kamelhalsfliegen, Schlammfliegen und Netzflügler (Raphidioptera, Megaloptera, Neuroptera) von Berlin	Christoph Saure	Link
07	Rote Liste und Gesamtartenliste der Bienen und Wespen (Hymenoptera part.) von Berlin mit Angaben zu den Ameisen	Christoph Saure unter Mitarbeit von Thomas Ziska	Link
08	Rote Liste und Gesamtartenliste der Köcherfliegen (Trichoptera) von Berlin	Reinhard Müller & Wolfram Mey	Link
09	Rote Liste und Gesamtartenliste der Schnabelfliegen (Mecoptera) von Berlin	Christoph Saure	Link
10	Rote Liste und Gesamtartenliste der Raubfliegen (Diptera: Asilidae) von Berlin	Günter Degen	Link
11	Rote Liste und Gesamtartenliste der Eintagsfliegen (Ephemeroptera) von Berlin	Reinhard Muller	Link
12	Rote Liste und Gesamtartenliste der Schwebfliegen (Diptera: Syrphidae) von Berlin	Christoph Saure	Link
13	Rote Liste und Gesamtartenliste der Wanzen (Heteroptera) von Berlin	Jürgen Deckert & Gerhard Burghardt	Link
14	Rote Liste und Gesamtartenliste der Wasserkäfer (Coleoptera: Hydradephaga, Hydrophiloidea part., Hydraenidae, Elmidae und Dryopidae) von Berlin	Lars Hendrich & Reinhard Müller	Link
15	Rote Liste und Gesamtartenliste der Laufkäfer (Coleoptera: Carabidae) von Berlin	Karl-Hinrich Kielhorn	Link
16	Rote Liste und Gesamtartenliste der Prachtkäfer (Coleoptera: Buprestidae) von Berlin	Stephan Gottwald	Link
17	Rote Liste und Gesamtartenliste der Blattkäfer (Chrysomelidae und Megalopodidae) von Berlin	Uwe Heinig & Matthias Schöller unter Mitarbeit von Ulf Arnold, Jens Esser, Lars Hendrich, Hella Wendt und Herbert Winkelmann	Link
18	Rote Liste und Gesamtartenliste der Blatthornkäfer (Coleoptera: Scarabaeoidea) von Berlin	Jens Esser	Link
19	Rote Liste und Gesamtartenliste der Kurzflügelkäferartigen und Stutzkäfer (Coleoptera: Staphylinoidea und Histeridae) von Berlin	Jens Esser	Link
20	Rote Liste und Gesamtartenliste der Kapuzinerkäferartigen (Bostrichoidea), Buntkäferartigen (Cleroidea), Plattkäferartigen (Cucujoidea), Schnellkäferartigen (Elateroidea), Werftkäferartigen (Lymexyloidea) und Schwarzkäferartigen (Tenebrioidea) von Berlin (Coleoptera)	Jens Esser	Link
21	Rote Liste und Gesamtartenliste der Bockkäfer (Coleoptera: Cerambycidae) von Berlin	Jens Esser	Link
22	Rote Liste und Gesamtartenliste der Rüsselkäfer (Curculionoidea) von Berlin	Christoph Bayer & Herbert Winkelmann	Link
23	Rote Liste und Gesamtartenliste der Spinnen (Araneae) und Gesamtartenliste der Weberknechte (Opiliones) von Berlin	Ulrike Kielhorn	Link
24	Rote Liste und Gesamtartenliste der Weichtiere (Mollusca: Gastropoda und Bivalvia) von Berlin	Eva Hackenberg & Reinhard Müller	Link
25	Gesamtartenliste und Rote Liste der Fische und Neunaugen (Pisces et Cyclostomata) von Berlin		Link
26	Rote Liste und Gesamtartenliste der Kriechtiere (Reptilia) von Berlin	Klaus-Detlef Kühnel, Jens Scharon, Beate Kitzmann & Beate Schonert unter Mitarbeit von Daniel Bohle	Link
27	Rote Liste und Gesamtartenliste der Lurche (Amphibia) von Berlin	Klaus-Detlef Kühnel, Jens Scharon, Beate Kitzmann & Beate Schonert unter Mitarbeit von Angele Schonert (†)	Link
28	Rote Liste und Liste der Brutvögel (Aves) von Berlin	Klaus Witt & Klemens Steiof	Link
29	Rote Liste und Gesamtartenliste der Säugetiere (Mammalia) von Berlin	Jürgen Klawitter, Rainer Altenkamp, Carsten Kallasch, Dieter Köhler, Manfred Krauß, Susanne Rosenau & Tobias Teige	Link
30	Rote Liste und Gesamtartenliste der etablierten Farn- und Blütenpflanzen von Berlin	Birgit Seitz, Michael Ristow, Justus Meißner, Bernd Machatzi, Herbert Sukopp	Link
31	Rote Liste und Gesamtartenliste der Moose (Bryophyta) von Berlin	Jürgen Klawitter & Hanna Köstler	Link
32	Rote Liste und Gesamtartenliste der Flechten (Lichenes) von Berlin	Josephin Krause, Hans-Georg Wagner & Volker Otte	Link
33	Rote Liste und Gesamtartenliste der Röhrlinge s. l. (Boletales) von Berlin	Martin Schmidt unter Mitarbeit von Mitgliedern der Pilzkundlichen Arbeitsgemeinschaft Berlin-Brandenburg e.V. (PABB) und der Interessengemeinschaft Märkischer Mykologen (IMM)	Link
34	Rote Liste und Gesamtartenliste der flechtenbewohnenden (lichenicolen) Pilze von Berlin	Hans-Georg Wagner, Josephin Krause & Volker Otte	Link
35	Rote Liste und Gesamtartenliste der Brandpilze (Ustilaginales) von Berlin	Hildemar Scholz & Ilse Scholz	Link
36	Rote Liste und Gesamtartenliste der Armleuchteralgen (Characeae) von Berlin	Wolf-Henning Kusber, Regine Jahn & Heiko Korsch	Link
37	Rote Liste und Gesamtartenliste der limnischen Rotalgen (Rhodophyta) und Braunalgen (Phaeophyceae) von Berlin	Klaus Rudolph, Regine Jahn & Wolf-Henning Kusber	Link