iam-git / WellMet (public) (License: MIT) (since 2021-08-31) (hash sha1)
WellMet is pure Python framework for spatial structural reliability analysis. Or, more specifically, for "failure probability estimation and detection of failure surfaces by adaptive sequential decomposition of the design domain".

/reader.py (5c8f8cc2a34798a0f25cb9bf50b5da8e86becf64) (8566 bytes) (mode 100644) (type blob)


import csv
import numpy as np
from .samplebox import SampleBox
from .f_models import Ingot

#č Mám hrozné vzpomínky z ladění csv-čka.
#č Pamatuji si, jak po opakované opravě chyby exportu
#č jsem vztekl a posunul celou tu funkcionalitu do tohoto modulu.
#č Teď jsem analyzoval, co to vlastně bylo, na jaké problémy jsem tehdy narazil.
#č No, vlastně, vidím, že export v BlackBox jíž byl doladěný před tím, 
#č než vznikl samostatný SampleBox. BlackBox tehdy inicializoval prazdný,
#č s prazdnými g_values, z f-ka bral pouze rozdělení. Hned pridaval hodnoty z
#č csv souboru, když se nic nepřidalo - exportoval hlavičky, při přidaní vzorku appendoval.
#č Po vzníku SampleBox se to stalo neudržitelným:
#č bylo třeba hlídat gm_signatures, aby byly stejné.
#č Rozhodující tehdy stal chybící export hlaviček pri inicializacii (jásná regrese),
#č ale i tak zajištění, třeba neprazdné gm_signature v BlackBoxu už by bylo otravné.
#č Každopadně, tahle spousta problemu tykala SampleBoxu kvůli tomu,  
#č že bylo třeba data i načítat, bylo třeba zajištovat správné rozdělení,
#č bylo třeba hlídat gm_signature v hlavičce.
#č Když ale zaměstnáme csv pro export odhadů, tak nás veškeré tyhle
#č pytloviny se nebudou tykat: krabička tyhle data nebude potřebovat,
#č hlavičku jednoduše vytvoříme jen když soubor ještě neexistuje
#č a je nám vlastně šuma, co se do souboru bude psat: 
#č nechaj krabička tam píše co chce.
#č Zkratka, csv zůstavá výbornou volbou pro uložiště dat i v roce 2021, doporučujem!
#č (strukturování odhadů a valka s pandas byly chybou)

def export_estimation(filename, stm_dict):
    with open(filename + '.csv', 'a', newline='', encoding='utf-8') as csvfile:
        csv_writer = csv.writer(csvfile, quoting=csv.QUOTE_NONNUMERIC)
        if csvfile.tell() == 0:
            csv_writer.writerow(stm_dict.keys())
        csv_writer.writerow(stm_dict.values())
        
        

class Reader:
    """
    stateful object to keep consistency of using append()
    First rule of writing API - write example of use
    # musel tedy tady bejt...
    
    zkusím takovehle delegování
    
    # reader bude pokažde otevirat/zavirat soubor, což není úplně ideální,
    # ale zás,
    # předpokladá se, že každej vzorek musí být schvalen vědeckou radou
    # csv umožňuje dozápis
    """
    
    # piece of black magic
    def __new__(cls, filename, f_model=None):
        """
        Здесь отталкиваемся от файла
        """
        sb = super().__new__(cls)
        sb.filename = filename
        try: # sample box nemá vůbec smysl schovavat
            sb.sample_box = reader(filename, f_model)
            sb.append_allowed = True
        except FileNotFoundError:
            # Штош...
            sb.append_allowed = False
            if f_model is not None:
                sb.sample_box = SampleBox(f_model)
            print("Reader:", filename + '.csv', "ӧвӧл")
        return sb
            
    @classmethod
    def FromSampleBox(cls, filename, sample_box):
        """
        Здесь отталкиваемся от сэмплбоксу
        """
        sb = super().__new__(cls)
        # nepotrebujeme žádné rozdělení, nic
        sb.sample_box = sample_box
        sb.filename = filename
        sb.append_allowed = False
        return sb
            
    def __len__(self):
        return self.sample_box.nsim
    
    def __call__(self):
        #č ne že bych chtěl sahat na kód readeru
        #č kvůli blbostem (kdo to, kruci, potřebuje?),
        #č ale formálně Reader
        #č musí být SampleBox compliant
        #č a musí být callable
        return self.sample_box()
                
    def __getitem__(sb, slice):
        # stačí vratit sample_box
        return sb.sample_box[slice]
    
    def __getattr__(sb, attr):
        if attr == 'reader':
            return sb
        # По всем (почти) вопросам обращайтесь 
        # на нашу горячую линию 
        elif attr == 'sample_box':
            return None
        else:
            return getattr(sb.sample_box, attr)        
            
#    def read(self):
#        return self.__sbox        
        
    def force_read(self):
        try:
            self.sample_box = reader(self.filename, self.sample_box.sampled_plan)
            self.append_allowed = True
            return self.sample_box
        except AttributeError:
            self.sample_box = reader(self.filename)
            self.append_allowed = True
            return self.sample_box
        except FileNotFoundError:
            # Штош...
            print("Reader:", self.filename + '.csv', "opravdu ӧвӧл")
            
    def write(self):
        export(self.filename, self.sample_box)
        self.append_allowed = True
    
    # что бы эта бурда могла делать?
#    def force_write(self):
#        self.__sbox = sample_box
#        export(self.__filename, sample_box)
        
    def add_sample(self, sample_box):
        if self.append_allowed and (self.sample_box.gm_signature == sample_box.gm_signature):
            self.sample_box.add_sample(sample_box)
            append(self.filename, sample_box)
        elif 'sample_box' in dir(self):
            self.sample_box.add_sample(sample_box)
            if self.sample_box.nsim > 0:
                export(self.filename, self.sample_box)
                self.append_allowed = True
        else:
            self.sample_box = sample_box
            if self.sample_box.nsim > 0:
                export(self.filename, self.sample_box)
                self.append_allowed = True
                
      
      # průbežný export
#        if bx.filename:
#            if gm_signature == input_sample.gm_signature:
#                reader.append(bx.filename + '.csv', input_sample)
#            else:
#                bx.export(bx.filename)
      
        
            

#
# import simulations
#
def reader(filename, f_model=None):
    rows = []
    with open(filename + '.csv', 'r', newline='', encoding='utf-8') as f:
        reader = csv.reader(f, quoting=csv.QUOTE_NONNUMERIC)
        for row in reader:
            rows.append(row)
            
    # předpokladam, že na prvních dvou řadcích jsou gm_signature a popísek
    data = np.atleast_2d(rows[2:])
    
    if f_model is None:
        # veškeré datové řadky, sloupy -  od (včetně) do (nezahrnuje)
        return SampleBox(Ingot(data[:,:-2]), data[:,-2:-1].flatten(), rows[0][0])
    else:
        sample = f_model()
        sample.add_sample(data[:,:-2])
        return SampleBox(sample, data[:,-2:-1].flatten(), rows[0][0])



def append(filename, sample_box):
    """
    Святые угодники, объясните мне кто-нибудь, почему я здесь не использ..овал
    context manager?
    """
    if sample_box.nsim == 0:
        return False
        
    with open(filename + '.csv', 'a', newline='', encoding='utf-8') as csvfile:
        csv_writer = csv.writer(csvfile, quoting=csv.QUOTE_NONNUMERIC)
        
        # bacha! není tu žádná kontrola, co se kam zapisuje!
        for i in range(sample_box.nsim):
            row = [sample_box.R[i, j] for j in range(sample_box.nvar)]
            row.append(sample_box.g_values[i])
            row.append(int(sample_box.failsi[i]))
            csv_writer.writerow(row)
        #csvfile.close()

def Export(filename, sample_box):
    """
    vratíme nový Reader objekt
    """
    export(filename, sample_box)
    return Reader.FromSampleBox(filename, sample_box)

def export(filename, sample_box):
    if sample_box.nsim == 0:
        return False
        
    with open(filename + '.csv', 'w', newline='', encoding='utf-8') as csvfile:
        csv_writer = csv.writer(csvfile, quoting=csv.QUOTE_NONNUMERIC)
        
        # gm_signature
        csv_writer.writerow([sample_box.gm_signature])
        
        # popísky 
        row = ['var ' + str(j+1) for j in range(sample_box.nvar)]
        row.append('value')
        row.append('failure')
        csv_writer.writerow(row)        
        
        for i in range(sample_box.nsim):
            row = [sample_box.R[i, j] for j in range(sample_box.nvar)]
            row.append(sample_box.g_values[i])
            row.append(int(sample_box.failsi[i]))
            csv_writer.writerow(row)
        # csvfile.close()
    
    


Mode Type Size Ref File
100644 blob 28117 0907e38499eeca10471c7d104d4b4db30b8b7084 IS_stat.py
100644 blob 6 0916b75b752887809bac2330f3de246c42c245cd __init__.py
100644 blob 72 458b7e2ca46acd9ec0d2caf3cc4d72e515bb73dc __main__.py
100644 blob 73368 3d245b8568158ac63c80fa0847631776a140db0f blackbox.py
100644 blob 11243 10c424c2ce5e8cdd0da97a5aba74c54d1ca71e0d candybox.py
100644 blob 60254 5e8651af086bf76d45b18fc711fe2ccd015c264a closedbox.py
100644 blob 29927 066a2d10ea1d21daa6feb79fa067e87941299ec4 convex_hull.py
100644 blob 101505 750fd8843bcd4bb2cb4e13fc4de9b92fcf16f409 dicebox.py
100644 blob 36886 d27b8a79485ea48402937e44102a2c44fcef4dc5 estimation.py
100644 blob 34394 3f0ab9294a9352a071de18553aa687c2a9e6917a f_models.py
100644 blob 35721 3daee87ec0bc670207356490e16f200fed0d4fc4 g_models.py
100644 blob 21043 ca09c8a3fdcda14efa46d4a98fc55855773dcbca ghull.py
100644 blob 2718 5d721d117448dbb96c554ea8f0e4651ffe9ac457 gp_plot.py
100644 blob 29393 96162a5d181b8307507ba2f44bafe984aa939163 lukiskon.py
100644 blob 3164 8aac057ad91bea3300c87b1ae30e717aab7e6002 misc.py
040000 tree - ea76ee9256f0f148427487c733a2dc4c00c9fc1a mplot
100644 blob 1462 437b0d372b6544c74fea0d2c480bb9fd218e1854 plot.py
100644 blob 2807 1feb1d43e90e027f35bbd0a6730ab18501cef63a plotly_plot.py
040000 tree - 195fa1f8abb1e3ea0913a85b10e7c51613b705ea qt_gui
100644 blob 8566 5c8f8cc2a34798a0f25cb9bf50b5da8e86becf64 reader.py
100644 blob 4284 a0e0b4e593204ff6254f23a67652804db07800a6 samplebox.py
100644 blob 6558 df0e88ea13c95cd1463a8ba1391e27766b95c3a5 sball.py
100644 blob 6739 0b6f1878277910356c460674c04d35abd80acf13 schemes.py
100644 blob 76 11b2fde4aa744a1bc9fa1b419bdfd29a25c4d3e8 shapeshare.py
100644 blob 54884 fbe116dab4fc19bb7568102de21f53f15a8fc6bf simplex.py
100644 blob 13090 2b9681eed730ecfadc6c61b234d2fb19db95d87d spring.py
100644 blob 10953 da8a8aaa8cac328ec0d1320e83cb802b562864e2 stm_df.py
040000 tree - 4cad9136391e4dd71294c2b0486ab93c31317313 testcases
100644 blob 2465 d829bff1dd721bdb8bbbed9a53db73efac471dac welford.py
100644 blob 25318 fcdabd880bf7199783cdb9c0c0ec88c9813a5b18 whitebox.py
Hints:
Before first commit, do not forget to setup your git environment:
git config --global user.name "your_name_here"
git config --global user.email "your@email_here"

Clone this repository using HTTP(S):
git clone https://rocketgit.com/user/iam-git/WellMet

Clone this repository using ssh (do not forget to upload a key first):
git clone ssh://rocketgit@ssh.rocketgit.com/user/iam-git/WellMet

Clone this repository using git:
git clone git://git.rocketgit.com/user/iam-git/WellMet

You are allowed to anonymously push to this repository.
This means that your pushed commits will automatically be transformed into a merge request:
... clone the repository ...
... make some changes and some commits ...
git push origin main