9ο Πανελλήνιο Συνέδριο Χημείας Μεταπτυχιακών και Προπτυχιακών Φοιτητών · ΑΠΘ, 29–30 Νοεμβρίου 2026 9th Panhellenic Conference of Graduate and Undergraduate Chemistry Students · AUTh, 29–30 November 2026

Δυναμικό GAP για τον άνθρακα από τυχαία επιλεγμένες, μη επιμελημένες δομές: σύγκριση με το GAP-20 A GAP potential for carbon from randomly selected, uncurated structures: comparison with GAP-20

Χ. Δ. Χαλκίδης, Γ. Φανουργάκης C. D. Chalkidis, G. Fanourgakis

Εργαστήριο Κβαντικής και Υπολογιστικής Χημείας, Τμήμα Χημείας, Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης Laboratory of Quantum and Computational Chemistry, School of Chemistry, Aristotle University of Thessaloniki

ΠερίληψηAbstract

Τα δυναμικά μηχανικής μάθησης, όπως τα Gaussian Approximation Potentials (GAP; Bartók et al., 2010), προσεγγίζουν την κβαντομηχανική ακρίβεια με κόστος μικρότερο κατά τάξεις μεγέθους, μεταθέτουν όμως τον περιορισμό τους από την αναλυτική μορφή στα δεδομένα, των οποίων η επαναληπτική επιμέλεια απαιτεί χρόνο και εξειδίκευση. Εξετάζεται τι ακρίβεια προκύπτει χωρίς καμία επιμέλεια και τι την περιορίζει. Σύνολα εκπαίδευσης 50 έως 2.000 δομών αντλήθηκαν με στρωματοποιημένη τυχαία δειγματοληψία από την ίδια βάση δεδομένων 17.525 διαμορφώσεων άνθρακα από την οποία προήλθε με επιμέλεια το δημοσιευμένο δυναμικό GAP-20 (Rowe et al., 2020). Εκπαιδεύτηκαν 1.040 δυναμικά με περιγραφέα SOAP (Bartók et al., 2013), σε οκτώ ρυθμίσεις με δέκα επαναλήψεις ανά μέγεθος, και αξιολογήθηκαν σε κοινό σύνολο 203 δομών.

Το σφάλμα ενέργειας μειώνεται κατά 43% έως τις 700 περίπου δομές και αυξάνεται κατά 6,6% έως τις 2.000, όχι λόγω υπερπροσαρμογής αλλά εξαιτίας σπάνιων απωστικών δομών με ακραίες δυνάμεις, που εισέρχονται συχνότερα στα μεγαλύτερα σύνολα και υποβαθμίζουν την προσαρμογή. Η δεκαπλάσια χωρητικότητα (από 300 σε 3.000 αντιπροσωπευτικά σημεία) μειώνει το σφάλμα κατά 40,5%, όχι όμως τον ρυθμό αστοχίας στις απωστικές δομές, όπου και το GAP-20 έχει σφάλμα 33 φορές μεγαλύτερο απ’ ό,τι στις υπόλοιπες. Στις 116 δομές αξιολόγησης που δεν είδε ούτε το GAP-20, το καλύτερο δυναμικό φτάνει 0,0093 eV/άτομο έναντι 0,0103 του GAP-20, με 1.000 τυχαίες δομές αντί για 6.088 επιμελημένες (Σχήμα 1)· υπερέχει στις τεταγμένες και υστερεί στις άτακτες δομές.

Ο δεσμευτικός περιορισμός της ακρίβειας βρίσκεται επομένως στα δεδομένα, όχι στο μοντέλο· η επιμέλεια δεν είναι προαπαιτούμενο αλλά ένας από τους διαθέσιμους μοχλούς.

Machine learning potentials such as Gaussian Approximation Potentials (GAP; Bartók et al., 2010) approach quantum-mechanical accuracy at a cost orders of magnitude lower, but they shift their limitation from the functional form to the data, whose iterative curation demands time and expertise. We examine what accuracy is obtained without any curation, and what limits it. Training sets of 50 to 2,000 structures were drawn by stratified random sampling from the same database of 17,525 carbon configurations from which the published GAP-20 potential was curated (Rowe et al., 2020). We trained 1,040 potentials with the SOAP descriptor (Bartók et al., 2013), in eight model settings with ten repetitions per size, and evaluated them on a common set of 203 structures.

The energy error falls by 43% up to about 700 structures and then rises by 6.6% up to 2,000, not through overfitting but because of rare repulsive structures with extreme forces, which enter larger sets more often and degrade the fit. A tenfold increase in capacity (from 300 to 3,000 representative points) lowers the error by 40.5% but not the failure rate on the repulsive structures, where GAP-20, too, has an error 33 times larger than on the rest. On the 116 evaluation structures that neither model had seen, the best potential reaches 0.0093 eV/atom versus 0.0103 for GAP-20, using 1,000 random structures instead of 6,088 curated ones (Figure 1); it is better on ordered structures and worse on disordered ones.

The binding constraint on accuracy therefore lies in the data, not in the model; curation is not a prerequisite but one of the available levers.

(α) Διάμεσο σφάλμα ενέργειας ανά μέγεθος συνόλου εκπαίδευσης: P1c (900 σημεία), P1f (3.000 σημεία) και GAP-20· 0,90× στις 1.000 δομές (β) Λόγος σφάλματος P1f / GAP-20 ανά οικογένεια δομών: κάτω από 1 στις τεταγμένες (π.χ. γραφένιο), πάνω από 1 στις άτακτες (π.χ. άμορφες επιφάνειες)
(a) Median energy error against training-set size: P1c (900 points), P1f (3,000 points) and GAP-20; 0.90× at 1,000 structures (b) Error ratio P1f / GAP-20 per structural family: below 1 for ordered structures (e.g. graphene), above 1 for disordered ones (e.g. amorphous surfaces)
Σχήμα 1. (α) Διάμεσο |ΔE| στις 116 δομές που κανένα μοντέλο δεν είδε (σκίαση: ±1 τυπική απόκλιση μεταξύ επαναλήψεων). (β) Λόγος σφάλματος P1f/GAP-20 ανά οικογένεια, στις 1.000 δομές. Figure 1. (a) Median |ΔE| on the 116 structures that no model had seen (shading: ±1 standard deviation across repeats). (b) Error ratio P1f/GAP-20 per structural family, at 1,000 structures.

Τι ακρίβεια πετυχαίνει ένα δυναμικό μηχανικής μάθησης όταν οι δομές εκπαίδευσης αντλούνται τυχαία; What accuracy does a machine-learning potential reach when its training structures are drawn at random?

Με 1.000 τυχαίες, μη επιμελημένες δομές, ένα δυναμικό GAP φτάνει την ακρίβεια του GAP-20, που εκπαιδεύτηκε σε 6.088 επιμελημένες. With 1,000 random, uncurated structures, a GAP potential reaches the accuracy of GAP-20, which was trained on 6,088 curated ones.

GAP-20 · Rowe κ.ά., 2020Rowe et al., 2020 6.088 επιμελημένες6,088 curated
σφάλμαerror 0,01030.0103
Μεγάλο μοντέλοLarge model · αυτή η εργασίαthis work 1.000 τυχαίες1,000 random
σφάλμαerror 0,00930.0093

6× λιγότερες δομές, χωρίς καμία επιμέλεια6× fewer structures, with no curation at all

Κάθε τετράγωνο: μία δομή εκπαίδευσης. Σφάλμα: διάμεσο (eV/άτομο) στις 116 δομές που κανένα από τα δύο μοντέλα δεν είδε· λόγος 0,90. Each square: one training structure. Error: median (eV/atom) on the 116 structures that neither model had seen; ratio 0.90.

Διάμεσο σφάλμα ενέργειας στις 116 δομές, ανά μέγεθος συνόλου εκπαίδευσης: μοντέλο αναφοράς, μεγάλο μοντέλο και GAP-20 Median energy error on the 116 structures against training-set size: reference model, large model and GAP-20
Ακριβέστερο από το GAP-20 σε 9 από τα 13 μεγέθη· σκιά: ±1 τυπική απόκλιση. More accurate than GAP-20 at 9 of the 13 sizes; shading: ±1 standard deviation.

Πατήστε ένα σχήμα για να το δείτε σε πλήρες μέγεθος.Tap a figure to see it full size.

1 1.040 δυναμικά σε τυχαία δείγματα 50–2.000 δομών 1,040 potentials on random samples of 50–2,000 structures

Τα δυναμικά μηχανικής μάθησης (εδώ GAP με περιγραφέα SOAP) δίνουν ενέργειες DFT με κόστος μικρότερο κατά τάξεις μεγέθους· την ακρίβειά τους την ορίζουν οι δομές εκπαίδευσης. Machine-learning potentials (here GAP with the SOAP descriptor) give DFT energies at a cost orders of magnitude lower; their accuracy is set by the training structures.

8 ρυθμίσεις × 13 μεγέθη × 10 επαναλήψεις = 1.040 8 settings × 13 sizes × 10 repeats = 1,040

Σχεδιασμός: βάση 17.525 διαμορφώσεων, τυχαίο δείγμα 50–2.000 δομών, εκπαίδευση GAP, αξιολόγηση σε 203 σταθερές δομές· 10 επαναλήψεις Design: database of 17,525 configurations, random sample of 50–2,000 structures, GAP training, evaluation on 203 fixed structures; 10 repeats
Κάθε ρύθμιση αλλάζει μία παράμετρο, π.χ. τη «χωρητικότητα»: 300–3.000 αντιπροσωπευτικά σημεία. ~316 h στον «Αριστοτέλη» του ΑΠΘ (≈ 10.100 ώρες CPU). Each setting changes one parameter, e.g. the “capacity”: 300–3,000 representative points. ~316 h on AUTh’s “Aristotle” cluster (≈ 10,100 CPU hours).

2 Η καμπύλη κρύβει 3 απωστικές δομές, 14–48× χειρότερες The curve hides 3 repulsive structures, 14–48× worse

Καμπύλη μάθησης στις 203 δομές (−43,0% έως τις 700, +6,6% έως τις 2.000) και το ίδιο σφάλμα χωριστά για 3 απωστικές και 200 κανονικές δομές Learning curve on the 203 structures (−43.0% up to 700, +6.6% up to 2,000) and the same error split into 3 repulsive and 200 normal structures
Η άνοδος δεν είναι υπερπροσαρμογή (το χάσμα εκπαίδευσης–αξιολόγησης κλείνει, 7,6× → 1,1×): τη φέρνουν λίγες ακραίες δομές, που δεν προβλέπονται και χαλούν την προσαρμογή όταν μπουν στην εκπαίδευση. The rise is not overfitting (the training–validation gap closes, 7.6× → 1.1×): it comes from a few extreme structures, which are not predicted and which spoil the fit when they enter training.
Οι τρεις απωστικές δομές: κρυσταλλική (10 άτομα), διμερές (2 άτομα, 2,83 Å), υγρό (216 άτομα) The three repulsive structures: crystalline (10 atoms), dimer (2 atoms, 2.83 Å), liquid (216 atoms)
Απωστική: ενέργεια DFT πάνω από −4 eV/άτομο· οι κανονικές έχουν διάμεσο −7,20. Repulsive: DFT energy above −4 eV/atom; the normal structures have a median of −7.20.

3 Τρεις ανεξάρτητες ενδείξεις: το όριο είναι στα δεδομένα Three independent lines of evidence: the limit is in the data

αa Μεγαλύτερο μοντέλο: καλύτερο στις κανονικές, όχι στις απωστικές A larger model: better on the normal structures, not on the repulsive ones

Σφάλμα στις κανονικές και αστοχία στις απωστικές για 300, 1.500 και 3.000 σημεία Error on the normal structures and failure rate on the repulsive ones for 300, 1,500 and 3,000 points
Συνολικά −40,5% για 10× σημεία. Το σφάλμα του είχε προβλεφθεί πριν από την εκπαίδευση (0,0146–0,0166 eV/άτομο)· μετρήθηκε 0,0152. Overall −40.5% for 10× the points. Its error was predicted before training (0.0146–0.0166 eV/atom); the measured value was 0.0152.

βb Άλλη εκπαίδευση: ό,τι κερδίζουν οι κανονικές το χάνουν οι απωστικές Different training: what the normal structures gain, the repulsive ones lose

Αστοχία σε κανονικές και απωστικές για ενιαία ανοχή, αναφορά και φιλτράρισμα Failure rate on normal and repulsive structures for uniform tolerance, reference and filtering
Αστοχία: σφάλμα > 1 eV/άτομο. Ενιαία ανοχή για όλες τις δομές· φιλτράρισμα: χωρίς δομές με δύναμη > 50 eV/Å. Failure: error > 1 eV/atom. Uniform tolerance for all structures; filtering: no structures with a force > 50 eV/Å.

γc Το GAP-20 αποτυγχάνει στις ίδιες δομές GAP-20 fails on the same structures

Σφάλμα του GAP-20: 0,0131 στις κανονικές, 0,4360 στις απωστικές, 33× GAP-20 error: 0.0131 on normal, 0.4360 on repulsive structures, 33×
Ίδια τάξη μεγέθους με το δικό μας 14–48×, παρά την επιμέλεια και τα 9.000 σημεία του. The same order of magnitude as our 14–48×, despite its curation and its 9,000 points.

Σε μη επιμελημένη βάση, την ακρίβεια την περιορίζουν τα δεδομένα, όχι το μοντέλο.Η επιμέλεια δεν είναι προαπαιτούμενο, αλλά ένας από τους μοχλούς. On an uncurated database, accuracy is limited by the data, not by the model.Curation is not a prerequisite, but one of the levers.

Επόμενο βήμα: περισσότερες απωστικές δομές στην εκπαίδευση, με ενεργή μάθηση από τη διαφωνία μιας επιτροπής μοντέλων. Next step: more repulsive structures in training, through active learning driven by the disagreement of a committee of models.

Περιορισμοί: μόνο 3 απωστικές δομές αξιολόγησης· η αξιολόγηση προέρχεται από την ίδια βάση με τα δείγματά μας, άρα το 0,90 είναι ένδειξη ισοδυναμίας. Limitations: only 3 repulsive evaluation structures; the evaluation set comes from the same database as our samples, so the 0.90 is an indication of equivalence.

ΑναφορέςReferences

  1. Bartók, A. P., Payne, M. C., Kondor, R., & Csányi, G. (2010). Gaussian approximation potentials: The accuracy of quantum mechanics, without the electrons. Physical Review Letters, 104(13), 136403. https://doi.org/10.1103/PhysRevLett.104.136403
  2. Bartók, A. P., Kondor, R., & Csányi, G. (2013). On representing chemical environments. Physical Review B, 87(18), 184115. https://doi.org/10.1103/PhysRevB.87.184115
  3. Rowe, P., Deringer, V. L., Gasparotto, P., Csányi, G., & Michaelides, A. (2020). An accurate and transferable machine learning potential for carbon. The Journal of Chemical Physics, 153(3), 034702. https://doi.org/10.1063/5.0005084

ΕπικοινωνίαContact

Ερωτήσεις ή σχόλια για την εργασία; Γράψτε μου. Questions or comments about the work? Write to me.

chalchri@chem.auth.gr

Ευχαριστούμε το Κέντρο Ηλεκτρονικής Διακυβέρνησης ΑΠΘ για την υποδομή «Αριστοτέλης». We thank the IT Center of AUTh for the “Aristotle” computing infrastructure.