Solved 64GB SD card with two FAT32 partitions fast enough ?

[Norder]

Hello,
Today I tested the read/write speed of my SD card with M122 P104 S10.
The result was the following:
SD write speed for 10.0Mbyte file was 0.96Mbytes/sec
SD read speed for 10.0Mbyte file was 0.64Mbytes/sec

That was definitely too slow for me and I suspect that's why the printer jerked 2-3 times during the journey between filling the nozzle and the beginning of printing the skirt !?
And possibly for the disconnections during the Input Shaper data acquisition run !?

According to the Duet docs, the values ​​for a Duet2 Wifi should be around 2.23 MB/s.
But it doesn't say which value is meant... read or write speed.

But now I only had a SanDisk Ultra with 64GB.
So I divided it into two partitions to be able to format a FAT32 file format.

Everything worked fine, except that I used the recommended "SD Card Formatter" which I had installed for years (current version), because it always formats the entire SD and turns the two 32 partitions into a 64 partition with exFAT format.
So I was left with Windows' own "Disk Management" to create two partitions and format them at the same time (FAT32 / 32KB Cluster).
The second time, after the "SD Card Formatter" made the two partitions one again, I didn't want to wait so long for the formatting and clicked on the quick format.
Copy data for the Duet on it and it works.

The speeds are now at...
SD write speed for 10.0Mbyte file was 4.63Mbytes/sec
SD read speed for 10.0Mbyte file was 1.24Mbytes/sec

Although it's a fast SD card, I can't get to 2.23 MB/s.
Even with the slow formatting I had done earlier, I got the same values.

After the looong explanation, here are my two questions.
First... are the values ​​normal for a high quality SanDisk Class10 card ?
If not, what could be wrong ?

Secondly (actually thirdly ) can I use the second partition of the card with the Duet2 Wifi, for example as a tray for test prints or something similar ?
In the orders menu of the DWC I have the option of being able to select a second card, but it says "SD card not integrated".

Thank you for sticking through this far.

I'm interested in your answers.
Thanks

Google Translate
--- Original Text ---

Moinsen,
heute habe ich die Schreib- Lesegeschwindigkeit meiner SD Card mit M122 P104 S10 getestet.
Es kam folgendes dabei heraus:
SD write speed for 10.0Mbyte file was 0.96Mbytes/sec
SD read speed for 10.0Mbyte file was 0.64Mbytes/sec

Das war mir eindeutig zu langsam und ich vermute das deswegen 2-3 x der Drucker ruckelte bei der Fahrt zwischen Düse füllen und dem Anfang vom drucken des Skirts !?
Und gegebenenfalls für die Verbindungsabbrüche beim Input Shaper Datenerfassungslauf !?

Laut den Duet-docs sollen die Werte für ein Duet2 Wifi bei etwa 2,23 MB/s liegen.
Es steht aber nicht dabei welcher Wert gemeint ist... Lese- oder Schreibgeschwindigkeit.

Nun hatte ich aber nur noch eine SanDisk Ultra mit 64GB.
Also teilte ich sie in zwei Partitionen auf um ein FAT32 Dateiformat formatieren zu können.

Es hat auch alles gut geklappt, außer dass ich das empfohlene "SD Card Formater" welches ich schon seit Jahren installiert hatte (Aktuelle Version), denn es formatiert immer die komplette SD und macht aus den zwei 32er Partitionen wieder eine 64er mit exFAT Format.
Also blieb mir nur das Windows eigene "Datenträgerverwaltung" übrig mir wieder zwei Partitionen zu erzeugen und gleichzeitig zu formatieren (FAT32 / 32KB Cluster).
Beim zweiten mal, nachdem mir der "SD Card Formater" mir die beiden Partitionen wieder zu einer gemacht hat, wollte ich nicht mehr so lange auf die Formatierung warten und habe das Quickformat angeklickt.
Daten für das Duet drauf kopiert und es läuft.

Die Geschwindigkeiten liegen jetzt bei...
SD write speed for 10.0Mbyte file was 4.63Mbytes/sec
SD read speed for 10.0Mbyte file was 1.24Mbytes/sec

Obwohl es sich um eine schnelle SD Card handelt komme ich nicht auf die 2,23 MB/s.
Auch mit der langsamen Formatierung, die ich vorher gemacht hatte, kam ich auf die gleichen Werte.

Nach der laaangen Erklärung kommen jetzt meine zwei Fragen.
Erstens... sind die Werte für eine hochwertige SanDisk Class10 Karte normal ?
Wenn Nein, wo könnte der Fehler liegen ?

Zweitens (eigentlich drittens ) kann ich die zweite Partition der Karte mit dem Duet2 Wifi nutzen, zum Beispiel als Ablage für Testdrucke oder ähnliches ?
Im Aufträge Menü des DWC habe ich die Möglichkeit eine zweite Karte auswählen zu können, aber dort steht "SD Karte nicht eingebunden".

Danke das ihr bis hierhin durchgehalten habt.

Bin gespannt auf Eure Antworten.
Danke

[droftarts]

@norder The Gcode dictionary says that M122 P104 reports the write speed, so I guess the read speed reporting has been added recently. There has also been some improvements in RRF recently for SD card access that should have improved speeds. So I think the 2.23MB/s figure is write speed, in which case your new card looks like it is working very well, at around double this speed.

As far as I’m aware, there’s no way to mount the second partition of the SD card. The Duet just doesn’t have the memory space for a fully-featured operating system! The second card option is for the external SD card reader, usually integrated on a PanelDue.

Ian

[dc42]

@norder the read speed is expected to be lower than the write speed. This is because RRF uses a large write buffer (usually 8kb) to speed up file uploading. Reading doesn't normally need to be as fast, so the buffer is only 512b.

[Norder]

@droftarts and @dc42...
Thanks guys for the explanations.
Then I can be more than satisfied with the card.

Too bad that the second partition can not be used.
But well... I had a 4GB card before and didn't have any space problems, only the stuttering that I had for a short time was a bit annoying, but I then reduced some speed in the config.g and then it was fine again.
Unfortunately, I don't remember which setting it was exactly.
It happened when I was experimenting with speeds for input shaping.
I also had two disconnections from the IS plug-in. Only after I briefly unplugged the printer (switched off and on) did it work properly again.
Maybe it had something to do with the slow SD card ?

Google Translate
--- Original Text ---

Danke Männer für die Erklärungen.
Dann kann ich mit der Karte mehr als zufrieden sein.

Schade nur das die zweite Partition nicht genutzt werden kann.
Aber naja... ich hatte vorher eine 4GB Karte und hatte keine Platzprobleme, nur das ruckeln was ich eine kurze Zeit hatte war etwas nervig, aber ich habe dann irgendeine Geschwindigkeit in der config.g herunter gestellt und dann war es wieder gut.
Ich weiß leider nicht mehr welche Einstellung es genau war.
Es ist passiert als ich für das Input Shaping mit den Geschwindigkeiten experimentiert habe.
Auch hatte ich zwei Verbindungsabbrüche vom IS-PlugIn aus. Erst nachdem ich den Drucker kurz vom Netz genommen habe (Aus & An geschaltet) funktionierte es wieder einwandfrei.
Vielleicht hatte es mit der langsamen SD Karte zutun ?

[dc42]

@norder said in 64GB SD card with two FAT32 partitions fast enough ?:

I also had two disconnections from the IS plug-in. Only after I briefly unplugged the printer (switched off and on) did it work properly again.
Maybe it had something to do with the slow SD card ?

Yes, that's possible. The IS plugin generates data at a high rate, that needs to be written to the SD card fast enough to keep up.

[Norder]

When I say "two" disconnects, I mean... there were many disconnects in a row , the Duet lost the connection every few seconds, until I saw only one chance in taking the printer off the network for a short time, after that everything was fine again OK for the rest of the day.
Exactly the same spectacle the next day.
Hence two disconnects.

If someone has also experienced this situation (IS and disconnections) that only an OFF & ON helped and it was OK again afterwards... check if your SD card is fast enough.

@dc42
Can you still remember the chips for a defective IR probe that you once wanted to send me?
Unfortunately, it never came to that.
Maybe we can try again ?
There is no hurry, so this year would be OK too.
I think it's a pity to have a brand new IR probe lying around with just one tiny chip defective.
Here is the link to the thread where we wrote about it and you offered it to me.

Google Translate
--- Original Text ---

Wenn ich von "zwei" Verbindungsabbrüchen spreche, meine ich... es waren viele Verbindungsabbrüche hintereinander , alle paar Sekunden verlor das Duet die Verbindung, bis ich dann nur noch eine Chance darin sah den Drucker kurzzeitig vom Netz zu nehmen, danach war alles wieder OK für den Rest des Tag.
Am nächsten Tag genau das gleiche Schauspiel.
Daher zwei Verbindungsabbrüche.

Falls diese Situation (IS und Verbindungsabbrüche) auch jemand erlebt hat, das nur ein AUS & AN geholfen hat und es danach wieder OK war... macht mal ein Check ob eure SD Karte schnell genug ist.

@dc42
Kannst Du Dich noch an die Chips für einen defekten IR-Probe erinnern die Du mir mal zusenden wolltest ?
Dazu ist es ja leider nie gekommen.
Vielleicht können wir es noch einmal versuchen ?
Es eilt nicht, also dieses Jahr noch, wäre auch OK.
Ich finde es schade hier einen nagelneuen IR-Probe rumliegen zu haben wo nur so ein winziger Chip defekt ist.
Hier der Link zu dem Thread wo wir darüber geschrieben hatten und Du es mir angeboten hattest.

[Norder]

@dc42 said in 64GB SD card with two FAT32 partitions fast enough ?:

@norder the read speed is expected to be lower than the write speed. This is because RRF uses a large write buffer (usually 8kb) to speed up file uploading. Reading doesn't normally need to be as fast, so the buffer is only 512b.

Perhaps the description in the SD Card Speed Test docs should be edited again so that everyone understands what value is important ?
I was of the opinion that each of the two values (write and read speed) must be above the 2.23MB/s.

Maybe also the hint that you could divide a large SD card into partitions but only one partition would then be usable.
Nowadays not everyone has a small SD card with up to 32GB at hand, rather the larger cards are more common.

Would be helpful for some.
At least it wouldn't have needed this thread then.

(post edited)

[droftarts]

@norder I have updated the documentation here: https://docs.duet3d.com/en/User_manual/RepRapFirmware/SD_card#run-a-speed-test

Ian

[Norder]

@droftarts
I just noticed an error on the page.
Under the Formatting section it says:
For best upload speed choose the largest cluster size available, which is normally 64kb for FAT16 and 32kb for FAT32
Which is OK.

Under the section "Troubleshooting SD Card issues" > "Network disconnections after uploading large files" at point 6. it says:
Reformat the SD card, see SD card page here. If it is 4Gb or smaller, specify FAT16 format, with cluster size 64kb if you are given a choice. If it is larger than 4Gb then FAT16 will not be available, so use FAT32 and specify 64kb cluster size.

The same cluster size of 64kb is recommended for both formats (FAT16 and FAT 32).

Google Translate
--- Original Text ---

Auf der Seite ist mir gerade ein Fehler aufgefallen.
Unter dem Abschnitt "Formatierung" steht:
For best upload speed choose the largest cluster size available, which is normally 64kb for FAT16 and 32kb for FAT32
Was ja auch OK ist.

Unter dem Abschnitt "Troubleshooting SD Card issues" > "Network disconnections after uploading large files" bei Punkt 6. steht:
Reformat the SD card, see SD card page here. If it is 4Gb or smaller, specify FAT16 format, with cluster size 64kb if you are given a choice. If it is larger than 4Gb then FAT16 will not be available, so use FAT32 and specify 64kb cluster size.

Hier wird für beide Formate (FAT16 und FAT 32) die gleiche Clustergröße von 64kb empfohlen.

[Norder]

P.S.:

I think the information that a larger SD card than 32GB also works by creating a 32GB partition on it is missing in the "Formatting" section.
In addition, there is also a note that the "SD Card Formatter" tool does not work in this case.
Although you can select one of the partitions on the SD card in the tool, the tool basically formats the entire card, deleting all previous partitions and creating a single partition.
You would then have to reduce the partition of the SD card with Windows Disk Management.
This also works if there is less than 32GB of data on it, the data will not be deleted.

Or you can do it like I did and create the partitions and format them in Windows Disk Management.

You can't (yet) use the second partition, but if you have a 64GB SD card at home and would like to use it, then I don't understand why you should buy an additional 32GB card.

I think this information should not be missing.
If you read the page now, you are of the opinion that only cards up to 32GB work, which is not true.

Google Translate
--- Original Text ---

Ich bin der Meinung die Info, das eine größere SD Karte als 32GB auch funktioniert indem man dort eine 32GB Partition drauf erstellt, fehlt in dem Abschnitt "Formatierung".
Dazu dann auch der Hinweis dass das Tool "SD Card Formatter" in dem Fall nicht funktioniert.
Man kann zwar in dem Tool eine der Partitionen auf der SD Karte auswählen, aber das Tool formatiert grundsätzlich die komplette Karte und löscht dabei alle vorherigen Partitionen und erstellt eine einzige Partition.
Man müsste dann die Partition der SD Karte mit der Windows Datenträgerverwaltung verkleinern.
Das geht auch wenn dort weniger als 32GB Daten drauf vorhanden sind, die Daten werden dabei nicht gelöscht.

Oder man macht es so wie ich es getan habe und erstellt die Partitionen und formatiert diese in der Windows Datenträgerverwaltung.

Die zweite Partition kann man dann zwar (noch) nicht nutzen, aber wenn man zum Beispiel eine 64GB SD Karte zuhause hat und diese gerne nutzen würde, dann verstehe ich es nicht das man sich eine zusätzliche 32GB Karte kauft.

Ich finde diese Information sollte nicht fehlen.
Liest man sich die Seite jetzt durch, dann ist man der Meinung es funktionieren nur Karten bis 32GB, was ja so nicht stimmt.

[dc42]

@norder I think it it used to be the case that under Windows at least, a FAT32 partition could not be formatted using a cluster size of 64kb. That no longer seems to be the case. We will update the documentation.

[Norder]

@dc42
I have now gone to the Formatting section and formatted my 32GB partition with 32kb clusters.

So the information in section "Troubleshooting SD Card issues" > "Network disconnections after uploading large files" under point 6. is correct, and I should have selected 64kb clusters as formatting for my 32GB partition ?

Google Translate
--- Original Text ---

Ich bin jetzt nach der Angabe in der Sektion Formatting gegangen und habe meine 32GB Partition mit 32kb Cluster formatiert.

Also ist die Angabe in Sektion "Troubleshooting SD Card issues" > "Network disconnections after uploading large files" unter Punkt 6. richtig, und ich hätte für meine 32GB Partition 64kb Cluster als Formatierung auswählen sollen ?

[dc42]

@norder yes 64kB clusters might give a slightly higher upload speed.

[Norder]

@dc42
For info !

I reformatted the SD card from 32kb cluster to 64kb cluster and made some measurements with M122 P104 S10.

The average speed from 10 measurements for writing resulted in 4.02Mbytes/sec
The maximum value was 4.58 Mbytes/sec
The minimum value was 3.30 Mbytes/sec

I didn't reach the 4.63 Mbytes with the 32kb cluster formatting.

The reading speed has stayed the same.

Since I had a disconnection once when leveling the adjustment screw with the 32kb cluster formatting (I measure it with the IR probe instead of a piece of paper or a feeler gauge), I leave it with the 64kb cluster formatting to test whether this disconnection occurs again .

I think the speed is high enough, although the one with the 32kb cluster formatting was a bit faster.

If the connection breaks again, I will contact you again.

Until then, thanks for the quick help.
The thread can be marked as SOLVED.

Google Translate
--- Original Text ---

Zur Info !

Ich habe die SD Karte von 32kb Cluster auf 64kb Cluster neu formatiert und einige Messungen mit M122 P104 S10 gemacht.

Die Durchschnittsgeschwindigkeit aus 10 Messungen für das Schreiben ergab 4,02Mbytes/sek
Höchstwert lag bei 4,58 Mbytes/sek
Mindestwert lag bei 3,30 Mbytes/sek

Die 4,63 Mbytes mit der 32kb Cluster Formatierung habe ich nicht mehr erreicht.

Die Lese-Geschwindigkeit ist gleich geblieben.

Da ich bei der 32kb Cluster Formatierung einmal beim Leveln der Einstellschraube (ich messe es mit dem IR-Probe anstelle eines Stück Papiers oder einer Fühllehre) einen Verbindungsabbruch hatte, belasse ich es bei der 64kb Cluster Formatierung um zu testen ob dieser Verbindungsabbruch noch einmal vorkommt.

Ich denke die Geschwindigkeit ist hoch genug, auch wenn die mit der 32kb Cluster Formatierung ein bisschen schneller war.

Kommt es noch einmal zu Verbindungsabbrüchen, dann melde ich mich an dieser Stelle noch einmal.

Bis dahin, vielen Dank für die schnelle Hilfe.
Der Thread kann als GELÖST gekennzeichnet werden.

[droftarts]

@norder Thanks, I've made some changes to the SD card page. I think we will still say that the standard formatting is FAT16 with 64kB cluster for cards up to 4GB, and FAT32 with 32kB clusters up to 32GB. I've added some text for dealing with larger cards, i.e. format a 32GB FAT32 partition as the first partition with Windows Disk Management.

I have also found https://rufus.ie/en/ (Windows only) that I think can format USB sticks >32GB with FAT32, and with selectable cluster size. What I don't know is if it can format SD cards (and the SD card specification limits FAT32 to 32GB, I think) and if they are readable by RRF, as I don't have any cards over 32GB. Feel free to try, if you dare!

Ian

[Norder]

@droftarts
That sounds good.
Then there should be fewer questions on the subject in the future in the forum !?
I'll read it later.

I no longer have any problems with the SD card. There were also no more disconnections after the last formatting.

Unfortunately I don't have an SD card in the house at the moment which I could sacrifice to try out the tool.
The one that was in the duet before is now owned by someone else.

But with Windows Disk Management you can do all the necessary work steps and very comfortably.
It can also be used to resize partitions without destroying or reformatting the data.
In the past, this was only possible with tools from other companies, such as Paragon or Partition Magic, which were able to "move the partition sizes".

P.S.:
Rufus seems like a good tool to me based on the information on their website.
Many languages are supported and it looks like it is formatting partitions and not the whole drives or SD cards like the SD Card Formatter does.

Google Translate
--- Original Text ---

Das hört sich doch gut an.
Dann sollte es in Zukunft zu dem Thema vielleicht weniger Fragen im Forum geben !?
Ich werde es mir später mal durchlesen.

Probleme mit der SD Karte habe ich zur Zeit keine mehr. Auch Verbindungsabbrüche waren nach der letzten Formatierung keine mehr aufgetaucht.

Leider habe ich momentan keine SD Karte mehr im Haus welche ich mal opfern könnte um das Tool auszuprobieren.
Die die vorher im Duet steckte besitzt jetzt jemand anderes.

Aber mit der Windows Datenträgerverwaltung kann man alle nötigen Arbeitsschritte erledigen und das sehr komfortabel.
Man kann damit auch Partitionen eine neue Größe zuweisen ohne die Daten zu zerstören oder neu formatieren zu müssen.
Das war früher nur mit Tool anderer Firmen möglich, wie zB das Paragon oder Partition Magic, die dieses "Verschieben der Partitionsgrößen" konnten.

P.S.:
Rufus scheint mir ein gutes Tool zu sein, laut der Information auf deren Webseite.
Viele Sprachen werden unterstützt und es sieht so aus als formatiere es Partitionen und nicht gleich die ganzen Laufwerke bzw SD Karten wie der SD Card Formatter es macht..