<div dir="ltr">Hi Matt,<div><br></div><div>Thank you for your reply. I've just re-run with daily output and the anomaly starts on the first day after the restart. The anomalies look to be consistent between restarts, so are not generated randomly. I will try running on a single processor to see if this also causes a problem. </div><div><br></div><div>Best,</div><div>Max</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Jul 16, 2024 at 5:38 PM Matthew Mazloff <<a href="mailto:mmazloff@ucsd.edu" target="_blank">mmazloff@ucsd.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Hi Max<br>
<br>
It may be chaos originating from roundoff differences when using different sets of machines in parallel computations. <br>
Do they differ on the first day of simulation or does it takes a few weeks/months before you notice it?<br>
<br>
Matt<br>
<br>
<br>
<br>
> On Jul 16, 2024, at 8:22 AM, Max Holloway <<a href="mailto:max@planetarytech.com" target="_blank">max@planetarytech.com</a>> wrote:<br>
> <br>
> Dear ECCO-support team,<br>
> <br>
> I am looking for some help in debugging my ECCO setup to allow model restarts and conserve physical fields. I am running the ECCO LLC270 iteration-42 state estimate described in Carroll et al. (2020), which spans the years 1992–2017, on a small MPI cluster (13 machines, 59 processes each) on Amazon Web Services (AWS) Cloud Computing Services.<br>
> <br>
> I have run a control simulation and am restarting the model from pickup files at various timesteps with an added alkalinity forcing. The problem I am having is that the physical fields of the restarted simulation do not match the control simulation (without restarts). I get a very small deviation in physics. So far I have got around this by re-running the baseline simulation with identical restart points, which allows for model conservation, but will result in a deviation in the solution of the ocean state estimate.<br>
> <br>
> Any help or suggestions on why my restarts differ from my control simulation would be much appreciated.<br>
> <br>
> In data I have ensured that pChkptFreq matches dumpFreq in the pickup and output files and I have set pickupStrictlyMatch=TRUE and writePickupAtEnd=TRUE.<br>
> For the restarts, in data.ctrl I have set doSinglePrecTapelev=.FALSE., doinitxx = .FALSE.,. and doPackDiag = .FALSE.,<br>
> <br>
> Many thanks,<br>
> Max<br>
> <br>
> _______________________________________________<br>
> ecco-support mailing list<br>
> <a href="mailto:ecco-support@mit.edu" target="_blank">ecco-support@mit.edu</a><br>
> <a href="https://urldefense.com/v3/__https://mailman.mit.edu/mailman/listinfo/ecco-support__;!!Mih3wA!EDTXhoDP8naMoO0rBkGYuZZMWOIphu8ueDdLUhYC9usGLMBV-ngkd9AcG8o8ViHBwr0sBjG3rrYfy5aoyg$" rel="noreferrer" target="_blank">https://urldefense.com/v3/__https://mailman.mit.edu/mailman/listinfo/ecco-support__;!!Mih3wA!EDTXhoDP8naMoO0rBkGYuZZMWOIphu8ueDdLUhYC9usGLMBV-ngkd9AcG8o8ViHBwr0sBjG3rrYfy5aoyg$</a> <br>
<br>
<br>
_______________________________________________<br>
ecco-support mailing list<br>
<a href="mailto:ecco-support@mit.edu" target="_blank">ecco-support@mit.edu</a><br>
<a href="https://mailman.mit.edu/mailman/listinfo/ecco-support" rel="noreferrer" target="_blank">https://mailman.mit.edu/mailman/listinfo/ecco-support</a><br>
</blockquote></div>